هوش مصنوعی خیلی قبل از اینکه مفید باشد گران می شود

یکی از بزرگترین شگفتی‌های ساخت تیم‌های هوش مصنوعی این است که کار نمی‌کند.

به این ترتیب است که به سرعت گران می شود، کند و مقیاس بندی آن دشوار است.

آنچه به عنوان یک نمونه اولیه امیدوارکننده شروع می شود اغلب به یک سیستم محدود تبدیل می شود. زمان تأخیر وارد می شود. هزینه ها در حال افزایش است. همزمانی محدود می شود. و ناگهان چیزی که به نظر موفقیت آمیز است، به سختی در یک محصول واحد عرضه می شود.

در AIConf اخیر در احمدآباد، راجیو مهتا، متخصص یادگیری ماشین در فناوری Bacancy و متخصص ML دارای گواهینامه AWS، توضیح داد که چرا این اتفاق می افتد. اجرای یک مدل امری بی اهمیت است. ایجاد کارآمدی، در مقیاس و به روشی که منطقی اقتصادی داشته باشد، جایی است که کار واقعی آغاز می شود.

برای شرکت های در مرحله رشد، این تمایز همه چیز است.

چرا نسخه اول گمراه کننده است

دلیل اینکه این امر باعث می شود تیم ها غافلگیر شوند ساده است. اولین نسخه از هر سیستم هوش مصنوعی معمولاً کار می کند. این در یک نوت بوک، در یک نسخه آزمایشی، و اغلب حتی با تعداد انگشت شماری از کاربران کار می کند. این موفقیت اولیه یک حس کاذب از آمادگی ایجاد می کند.

آنچه در این مرحله نامرئی است محدودیت هایی است که بعداً ظاهر می شود. محدودیت‌های حافظه، تأخیر، همزمانی و هزینه با افزایش استفاده شروع به ترکیب می‌کنند. چیزی که به نظر یک پیشرفت به نظر می رسید به سرعت به یک مانع تبدیل می شود.

راجیو مهتا این را با مقایسه ای ساده اما قدرتمند نشان می دهد. مدل مشابه با پارامترهای 4B، بارگذاری شده به روش استاندارد، حافظه قابل توجهی مصرف می کند و تنها تعداد کمی از کاربران را پشتیبانی می کند. با بهینه سازی مناسب، همان مدل می تواند سفارشات بزرگتری را با کاربران بیشتری با عملکرد بسیار بالاتر اداره کند.

همون مدل نتیجه کاملا متفاوت

برای استارت‌آپ‌های مرحله رشد، این تفاوت بین ویژگی‌ای است که کار می‌کند و محصولی که مقیاس‌پذیر است.

هزینه واقعی انجام آن به روش ” ضمنی “

یکی از مهمترین موضوعات جلسه مهتا این است که مسیر پیش فرض تقریبا هرگز مسیر تولید نیست.

اکثر توسعه دهندگان با استفاده از دقت استاندارد، کتابخانه های استاندارد و پیکربندی های استاندارد، مدل ها را به ساده ترین شکل ممکن بارگذاری می کنند. این رویکرد برای آزمایش خوب است، اما زمانی که سیستم ها نیاز به مقیاس بندی دارند، به سرعت با مشکل مواجه می شوند.

استفاده زیاد از حافظه، همزمانی را محدود می کند. عملکرد آهسته بر تجربه کاربر تأثیر می گذارد. سیستم های ناکارآمد هزینه های زیرساخت را افزایش می دهند. برای یک شرکت در مرحله رشد، اینها مشکلات کوچکی نیستند. آنها مستقیماً بر حاشیه، قیمت و توانایی گسترش ویژگی های مبتنی بر هوش مصنوعی در محصول تأثیر می گذارند.

بینش کلیدی این است که عملکرد فقط آن چیزی نیست که یک مدل می تواند انجام دهد. این در مورد چگونگی مدیریت موثر آن است.

تصمیمات کوچک، تاثیر بزرگ

چیزی که این فضا را جالب می کند این است که بزرگترین دستاوردها از تغییر مدل حاصل نمی شود. آنها از تغییر روش استقرار آن ناشی می شوند.

راجیو مهتا مجموعه‌ای از بهینه‌سازی‌ها را انجام داد که با هم به طور چشمگیری عملکرد را تغییر می‌دهند.

کوانتیزاسیون ردپای حافظه را بدون تأثیر قابل توجهی بر کیفیت خروجی کاهش می دهد. به جای مصرف VRAM عظیم، مدل‌ها می‌توانند در کسری از فضا کار کنند و همزمانی بسیار بیشتری را باز کنند.

تکنیک های مدیریت حافظه مانند PagedAttention تکه تکه شدن را حذف می کند و به سیستم ها اجازه می دهد تا از منابع موجود بسیار کارآمدتر استفاده کنند. این امر با افزایش حجم کار و حرکت سیستم ها از موارد استفاده ساده بسیار مهم می شود.

مکانیسم های استنتاج نیز بیش از آن چیزی که اکثر تیم ها متوجه می شوند اهمیت دارند. ابزارهایی مانند vLLM، llama.cpp و دیگران به طور خاص برای ارائه مدل ها در مقیاس طراحی شده اند. استفاده از چارچوب‌های همه‌منظوره، عملکرد را روی میز باقی می‌گذارد، نه به این دلیل که تیم‌ها کار اشتباهی انجام می‌دهند، بلکه به این دلیل که ابزارها برای این مورد طراحی نشده‌اند.

حتی در سطح محاسباتی، بهینه‌سازی‌هایی مانند FlashAttention با کاهش تعداد دفعاتی که داده‌ها باید بین لایه‌های حافظه جابجا شوند، عملکرد را اساساً تغییر می‌دهند. این به طور مستقیم بر تأخیر و توان عملیاتی تأثیر می گذارد، به ویژه در برنامه های بلادرنگ.

هر یک از این راه حل ها به صورت جداگانه عملکرد را بهبود می بخشد. آنها با هم، آنچه را که در یک سخت افزار ممکن است کاملاً تغییر می دهند.

هوش مصنوعی به همان اندازه که یک مشکل فنی است یک مشکل اقتصادی است

یکی از مهم ترین نکات برای شرکت های در مرحله رشد این است که هوش مصنوعی فقط یک مشکل فنی نیست. اقتصادی است.

هر توکن یک قیمت دارد. هر میلی ثانیه تاخیر روی تجربه کاربر تاثیر می گذارد. هر ناکارآمدی با افزایش استفاده ترکیب می شود.

راجیو مهتا تاکید کرد که هزینه و عملکرد چقدر می تواند تنها بر اساس تصمیمات معماری تغییر کند. سیستم‌هایی که بهینه‌سازی نشده‌اند به سرعت برای کار کردن گران می‌شوند و میزان استفاده از هوش مصنوعی را در یک محصول خاص محدود می‌کنند.

از سوی دیگر، سیستم‌های بهینه‌سازی شده چیز بسیار ارزشمندتری را باز می‌کنند. آن‌ها به شرکت‌ها اجازه می‌دهند تا توانایی‌های هوش مصنوعی را بدون مقیاس‌سازی هزینه‌ها با همان نرخ مقیاس‌بندی کنند.

اهرم واقعی از اینجاست.

هنگام بزرگنمایی از گیر کردن خودداری کنید

یکی دیگر از زمینه هایی که مهتا بر آن تاکید کرد، انعطاف پذیری بود.

اکثر تیم‌ها مستقیماً بر اساس API ارائه‌دهنده یک مدل می‌سازند. شروع سریع است، اما محدودیت های طولانی مدت ایجاد می کند. تغییر مدل ها یا اضافه کردن مدل های جدید مستلزم طراحی مجدد بخش های بزرگ سیستم است.

جایگزین، معرفی یک لایه مسیریابی است که مدل های زیرین را انتزاع می کند. این به تیم ها اجازه می دهد تا انواع مختلف درخواست ها را بر اساس هزینه، پیچیدگی یا حساسیت به مدل های مختلف هدایت کنند.

درخواست های ساده را می توان با مدل های کوچکتر و سریعتر انجام داد. وظایف استدلالی پیچیده تر را می توان به مدل های بزرگتر هدایت کرد. بارهای کاری حساس می توانند در جای خود باقی بمانند.

این رویکرد بیشتر از بهبود عملکرد انجام می دهد. کنترل را به شرکت ها می دهد.

برای استارت‌آپ‌های مرحله رشد، با تکامل محصولات و تغییر الگوهای استفاده، این انعطاف‌پذیری اهمیت فزاینده‌ای پیدا می‌کند.

جایی که اکثر تیم ها اشتباه می کنند

اگر یک نکته از جلسه مهتا وجود داشته باشد، این است.

اکثر تیم‌ها مدل را بیش از حد شاخص می‌کنند و روی همه چیز در اطراف آن سرمایه‌گذاری کمتری می‌کنند.

همانطور که او گفت، این مدل تقریباً 20 درصد راه حل است. موتور استنتاج، مدیریت حافظه و معماری مسیریابی 80 درصد باقی مانده را تشکیل می دهند.

این عدم تعادل همه جا هست. تیم‌ها زمان خود را صرف ارزیابی مدل‌ها، آزمایش با اعلان‌ها و آزمایش نتایج می‌کنند، اما به اندازه کافی روی سیستم‌های مورد نیاز برای اجرای مؤثر آن مدل‌ها سرمایه‌گذاری نمی‌کنند.

برای شرکت هایی که در مرحله رشد هستند، این یک اشتباه مهم است. زیرا چالش این نیست که هوش مصنوعی یک بار کار کند. باعث شد که به طور مداوم، کارآمد و در مقیاس کار کند.

خط پایین

سخت ترین بخش هوش مصنوعی ایجاد چیزی نیست که کار کند.

چیزی را می سازد که با افزایش استفاده به کار خود ادامه می دهد.

جلسه راجیو مهتا این را روشن کرد. تفاوت بین نمونه اولیه و سیستم تولید در مدل نیست. این تمام چیزی است که او را احاطه کرده است. حافظه، استنتاج، مسیریابی و مدیریت هزینه تعیین می کند که آیا یک سیستم می تواند مقیاس پذیر باشد یا خیر.

برای شرکت هایی که در مرحله رشد هستند، این فرصت روشن است. تیم‌هایی که زودتر روی نحوه عملکرد سیستم‌هایشان سرمایه‌گذاری می‌کنند، تیم‌هایی هستند که می‌توانند هوش مصنوعی را به طور گسترده و پایدار به کار گیرند.

چون بالاخره هوش مصنوعی فقط هوش نیست.

این در مورد عملکرد است.

برای به‌روز ماندن از تمام رویدادهای آینده در York IE، ما را در لینکدین دنبال کنید.