چرا هوش مصنوعی شما یک روز کار می کند و روز بعد شکست می خورد؟

اگر زمانی را صرف ساختن با هوش مصنوعی کرده اید، احتمالاً این را تجربه کرده اید.

یک روز سیستم شگفت انگیز به نظر می رسد. به سوالات به خوبی پاسخ می دهد، نتایج مفیدی ایجاد می کند و شروع به احساس چیزی می کند که واقعاً می توانید به آن اعتماد کنید. روز بعد، با یک ورودی کمی متفاوت، او کاملاً از موضوع غافل شد. توهم آور یا چیزی به شما می دهد که آنقدر عمومی است که غیرقابل استفاده است.

همون مدل همین ابزارها نتیجه کاملا متفاوت

این ناهماهنگی بیشتر از همه تیم ها را ناامید می کند. همچنین این چیزی است که بسیاری از شرکت‌های در مرحله رشد را از انتقال هوش مصنوعی از آزمایش به جریان‌های کاری واقعی باز می‌دارد.

در AIConf اخیر در احمدآباد، Ravi Bhatia، مدیر ارشد مهندسی نرم افزار در Loopio، این مشکل را بیان کرد. مشکل از مدل نیست. به این ترتیب شما آن را به متن تغذیه می کنید.

متغیر پنهانی که اکثر تیم ها آن را نادیده می گیرند

وقتی تیم‌ها به بهبود عملکرد هوش مصنوعی فکر می‌کنند، معمولاً روی اهرم‌های واضحی مانند مدل‌های بهتر، درخواست‌های بهتر یا ویژگی‌های بیشتر تمرکز می‌کنند. اما همانطور که راوی باتیا در سخنرانی خود تاکید کرد، محرک واقعی عملکرد بسیار ساده تر است و بسیار نادیده گرفته می شود.

این همان چیزی است که اطلاعات در واقع در سیستم منتقل می شود و ساختار آن چگونه است.

همانطور که او گفت، کیفیت خروجی ارتباط مستقیمی با زمینه دارد. زباله داخل، زباله بیرون.

این پیامدهای عمیقی دارد. هر پاسخ نه تنها بر اساس سوال پرسیده شده، بلکه با هر چیزی که در اطراف آن است شکل می گیرد. تاریخچه تماس، داده‌های استخراج‌شده، نتایج ابزار، حافظه و دستورالعمل‌های سیستم همگی برای جلب توجه در یک پنجره محدود رقابت می‌کنند. وقتی این سیستم به خوبی طراحی نشود، عملکرد غیرقابل پیش بینی می شود.

چرا با افزایش مقیاس، عملکرد کاهش می یابد

راوی باتیا زمانی را صرف توضیح این موضوع کرد که چرا سیستم‌هایی که زود کار می‌کنند اغلب با مقیاس‌بندی خراب می‌شوند.

اکثر سیستم های هوش مصنوعی در ابتدا عملکرد خوبی دارند زیرا ساده هستند. ورودی‌های محدود، موارد استفاده محدود، و اعلان‌های تمیز، وضوح ایجاد می‌کنند. اما با افزایش استفاده شرکت ها، پیچیدگی افزایش می یابد. ابزارهای بیشتری متصل می شوند، داده های بیشتری استخراج می شود و تعاملات بیشتری در سیستم لایه بندی می شود.

در این مرحله، تیم ها معمولاً در یکی از دو تله می افتند.

برخی سیستم را اضافه بار می کنند. هر پیام، هر پاسخ ابزار، و هر قطعه داده به زمینه اضافه می شود. با تلاش مدل برای تمرکز، هزینه افزایش می‌یابد، تاخیر کاهش می‌یابد و دقت کاهش می‌یابد.

دیگران زمینه بسیار کمی را ارائه می دهند. این سیستم اطلاعات لازم را ندارد که منجر به توهم، پاسخ های نامناسب و اتلاف وقت می شود. باتیا به هر دو حالت شکست اشاره کرد و خاطرنشان کرد که آنها نه تنها برای تیم ها هزینه بلکه برای اعتماد نیز هزینه دارند.

برای شرکت های در مرحله رشد، این اغلب نقطه ای است که اعتماد به هوش مصنوعی شروع به کاهش می کند.

داده های بیشتر جواب نمی دهد

یکی از مهم ترین دیدگاه های جلسه باتیا این بود که اطلاعات بیشتر منجر به نتایج بهتر نمی شود.

در واقع، با افزایش زمینه، مدل‌ها در استدلال درباره آن کارآمدتر می‌شوند. جزئیات مهم پنهان می شوند، اطلاعات قبلی فراموش می شوند و نتایج کاهش می یابد. او این را به عنوان پوسیدگی زمینه توصیف کرد، جایی که سیستم از نظر فنی اطلاعات درستی دارد اما نمی تواند به طور قابل اعتماد آن را به سطح برساند.

اصلی که او از آن پیروی می کند ساده اما قدرتمند است. نشانه های کمتر، سیگنال بالاتر.

اینجاست که نظم و انضباط برای تیم های مرحله رشد وارد عمل می شود. این به معنای انتخاب ابزار مناسب به جای افشای همه گزینه های ممکن است. این به معنای ارجاع اسناد به جای بارگیری کل فایل ها است. این به این معنی است که تصمیم بگیرید چه چیزی در زمینه کوتاه مدت در مقابل حافظه بلند مدت تعلق دارد.

Bhatia از یک قیاس مفید استفاده می کند که با تیم های فنی طنین انداز می شود. Context RAM شماست. شما کل هارد دیسک خود را در حافظه بارگذاری نمی کنید، و همین اصل در اینجا نیز صدق می کند.

هوش مصنوعی اکنون یک مشکل زیرساختی است

نکته کلیدی دیگری که بهاتیا بیان کرد این است که زمینه فقط یک موضوع کیفیت نیست. این یک مسئله زیرساختی است.

هر توکن قیمتی دارد و با رشد پنجره‌های زمینه، سیستم‌ها گران‌تر و کندتر می‌شوند. او تأکید کرد که با رشد زمینه، پیچیدگی محاسباتی به گونه‌ای مقیاس می‌شود که مستقیماً بر تأخیر و هزینه تأثیر می‌گذارد.

اینجاست که تکنیک‌هایی مانند کش سریع حیاتی می‌شوند. اگر ساختار سیستم شما سازگار است، می توانید با کسری از هزینه، از تکه های بزرگی از زمینه استفاده مجدد کنید. اگر اینطور نباشد، آن کارایی را به طور کامل از دست می دهید.

برای استارت‌آپ‌های مرحله رشد، این مهم‌تر از آن چیزی است که به نظر می‌رسد. این بر حاشیه‌ها، مدل‌های قیمت‌گذاری و توانایی مقیاس‌بندی پایدار ویژگی‌های هوش مصنوعی تأثیر می‌گذارد.

جایی که بهترین تیم ها تمرکز می کنند

راوی باتیا همچنین مشخص کرد که تیم‌ها اگر می‌خواهند سریع عملکرد خود را بهبود بخشند، باید روی کجا تمرکز کنند.

استخراج.

دریافت اطلاعات مناسب در زمان مناسب تاثیر زیادی بر عملکرد سیستم دارد. بیشتر تیم‌ها تفاوت‌های ظریف را دست‌کم می‌گیرند. جستجوی کلمه کلیدی به تنهایی کافی نیست. درک معنایی برای مطابقت با هدف مورد نیاز است و بهترین سیستم ها هر دو رویکرد را ترکیب می کنند.

همچنین چالش‌های ساختاری مانند مسئله «گمشده در وسط» را برجسته می‌کند، که در آن مدل‌ها توجه بیشتری به اطلاعات در ابتدا و انتهای پنجره زمینه دارند تا در وسط.

برای شرکت های در مرحله رشد، بهبود استخراج اغلب بالاترین بازده سرمایه گذاری است که می توانند در بهره وری هوش مصنوعی داشته باشند.

چرا این موضوع تبدیل به یک موضوع رهبری می شود

بهاتیا تأکید کرد که از آنجایی که سیستم‌ها مقیاس می‌شوند، این فقط یک مسئله فنی نیست و تبدیل به یک موضوع رهبری می‌شود.

تیم چقدر در نحوه ساختن نظم دارد؟ آیا آنها عملکرد را اندازه گیری می کنند یا به شهود متکی هستند؟ آیا آنها تعریف روشنی از آنچه “خوب” به نظر می رسد دارند؟

او نسبت به عجله از نمایش به تولید بدون ارزیابی مناسب هشدار داد. در عوض، او ساخت «مجموعه‌های طلایی» از موارد آزمایشی را که سناریوهای دنیای واقعی را منعکس می‌کنند و استفاده از آنها برای اندازه‌گیری مداوم عملکرد توصیه می‌کند.

این چیزی است که تیم‌هایی را که آزمایش می‌کنند از تیم‌هایی که در مقیاس هستند جدا می‌کند.

خط پایین

دلیل اینکه هوش مصنوعی ناسازگار است، غیرقابل پیش بینی بودن آن نیست.

این به این دلیل است که اکثر سیستم هایی که آن را تغذیه می کنند، هستند.

پیام اصلی راوی بهاتیا واضح بود. اگر می خواهید هوش مصنوعی به طور مداوم کار کند، باید از زمینه آگاه باشید. چه چیزی وارد می شود، چه چیزی بیرون می ماند و چگونه اطلاعات در سیستم جریان می یابد، همه مهم هستند.

برای شرکت هایی که در مرحله رشد هستند، این یکی از مهم ترین تغییراتی است که باید درونی سازی شوند. تیم هایی که زمینه را به عنوان یک نگرانی درجه یک در نظر می گیرند، سیستم هایی را می سازند که سریع تر، دقیق تر و مقرون به صرفه تر باشند.

زیرا در پایان روز، هوش مصنوعی فقط به آنچه مدل می تواند انجام دهد نیست.

این مربوط به کاری است که شما به آن اجازه انجام می دهید.

برای همراهی با همه موارد آینده رویدادها در یورک، ایرلندما را دنبال کنید لینکدین.