هوش مصنوعی به دلیل الگوها شکست نمی خورد. به دلیل سیستم ها از کار می افتد.

در حال حاضر در بسیاری از شرکت ها ناامیدی بی سر و صدا وجود دارد.

آنها با هوش مصنوعی آزمایش کرده‌اند، نمونه‌های اولیه ساخته‌اند و در بسیاری از موارد چیزی را ارسال کرده‌اند که در یک نسخه نمایشی چشمگیر به نظر می‌رسد. با این حال، وقتی زمان تکیه بر آن، ارائه آن به مشتریان، یا اعتماد به آن در جریان های کاری دنیای واقعی فرا می رسد، همه چیز شروع به خراب شدن می کند.

در افتتاحیه York IE AIConf در احمدآباد، آشیش پاتل، معمار ارشد هوش مصنوعی، ML و علم داده در اوراکل، آنچه را که بسیاری از تیم‌ها تجربه می‌کنند، با کلمات بیان کرد: “دموها آسان هستند. قابلیت اطمینان سخت است.”

این خط شکاف بین آزمایش و عملکرد را نشان می‌دهد و به حقیقت عمیق‌تری اشاره می‌کند. هوش مصنوعی شکست نمی خورد زیرا مدل ها به اندازه کافی خوب نیستند. شکست می خورد زیرا سیستم های اطراف آن ها اینطور نیستند.

تله 90/10

اکثر تیم ها در دام آنچه آشیش به عنوان تله 90/10 توصیف می کند، می افتند. نود درصد تلاش صرف ساختن چیزی می شود که در یک محیط کنترل شده کار می کند، در حالی که ده درصد آخر، بخشی که آن را قابل اعتماد، مقیاس پذیر و آماده تولید می کند، جایی است که همه چیز شروع به آشکار شدن می کند.

بحث عقل نیست. ساختار یافته است. هنگامی که با موارد لبه مواجه می‌شوید، جریان‌های کاری استاتیک شکسته می‌شوند و سیستم‌ها اغلب فاقد حافظه، مدیریت خطا و یکپارچه‌سازی ابزار مناسب هستند. چیزی که شبیه یک سیستم هوشمند در نسخه آزمایشی به نظر می رسد به سرعت در دنیای واقعی شکننده است.

مهمتر از آن، تیم ها تمایل دارند مشکل را اشتباه تشخیص دهند. آنها فرض می کنند که مدل گلوگاه است، در حالی که در واقعیت، گلوگاه فقدان قابلیت های سیستمی در اطراف آن است.

این بینش گفتگو را از انتخاب مدل به طراحی سیستم تغییر می دهد. و اینجاست که کار واقعی شروع می شود.

چرا مدل های بهتر مشکل را حل نمی کنند؟

اگر مدل گلوگاه نیست، پس چیست؟ پاسخ زمینه است.

یک باور رایج وجود دارد که مدل های بهتر منجر به نتایج بهتر می شوند. احساس شهودی می کند. مدل‌های بزرگ‌تر، داده‌های آموزشی بیشتر و هوش بیشتر باید به پاسخ‌های بهتر منجر شود. اما در عمل، عملکرد به تنهایی توسط هوش هدایت نمی شود. بر اساس میزان اطلاع رسانی سیستم به آن اطلاعات هدایت می شود.

همانطور که Ashish توضیح داد، خروجی مدل فقط به اندازه داده های خاص و به روز ارائه شده در درخواست قابل اعتماد است. بدون زمینه، حتی پیشرفته ترین مدل ها به روش های ساده شکست می خورند. آنها کسب و کار، داده های شما یا محدودیت های شما را درک نمی کنند، بنابراین شکاف ها را پر می کنند. و آنها این کار را متقاعد کننده انجام می دهند.

به همین دلیل است که بسیاری از تیم ها با دقت مبارزه می کنند. آنها در تنظیم دقیق، مهندسی سریع و ابزارهای جدید سرمایه گذاری می کنند، زمانی که مشکل واقعی این است که سیستم اطلاعات منطقی و مرتبط را ارائه نمی دهد. Ashish یک قانون سرانگشتی پیشنهاد کرد که سر و صدا را کاهش می دهد: ابتدا از RAG استفاده کنید. نود درصد خطاهای عامل مربوط به زمینه است نه رفتار.

این بدان معناست که لایه استخراج شما مهمتر از انتخاب مدل شما است. کیفیت و در دسترس بودن داده ها نگرانی برای باطن نیست. آنها در قلب اجرا قرار دارند.

توهم یک مشکل طراحی است

همچنین یکی از چالش های مطرح شده در هوش مصنوعی را بازنگری می کند: توهم.

اکثر تیم‌ها توهمات را به عنوان یک مشکل در نظر می‌گیرند، چیزی که گهگاه اتفاق می‌افتد و باید بعد از آن کشف شود. اما این قاب بندی اصل مطلب را از دست می دهد. زباله داخل، زباله بیرون. زمینه اشتباه منجر به نتیجه اشتباه می شود.

مدل ها به گونه ای طراحی شده اند که مفید باشند. هنگامی که اطلاعات کافی ندارند، شکاف ها را با پاسخ های قابل قبول پر می کنند. آنها دچار اختلال نمی شوند. آنها دقیقاً همانطور که طراحی شده اند کار می کنند. شکست در سیستمی است که آنها را احاطه کرده است.

سه الگو وجود دارد که به ترتیب نمایش داده می شوند. اول، یک زمینه بد که در آن سیستم نمی تواند اطلاعات صحیح را بازیابی کند. دوم، هیچ لایه اعتبار سنجی که در آن خروجی ها هرگز قبل از استفاده بررسی نمی شوند. و سوم، معماری ناب که در آن هیچ افزونگی یا نظر دوم داخلی وجود ندارد.

رفع توهم به معنای نوشتن مسیرهای بهتر نیست. این در مورد ساختن سیستم های بهتر از طریق استنتاج قوی تر، اعتبار سنجی داخلی، و ساختارهایی است که اجازه می دهد خروجی ها قبل از اینکه مورد اعتماد قرار گیرند، آزمایش شوند.

از یک نماینده تا چندین

همانطور که تیم ها شروع به رسیدگی به این چالش ها می کنند، معماری به طور طبیعی تکامل می یابد. بیشتر آنها با یک ایده ساده شروع می کنند: یک عامل هوش مصنوعی قدرتمند بسازید که بتواند هر چیزی را مدیریت کند. این یک نقطه شروع منطقی است، اما به سرعت محدود می شود.

با پیچیده تر شدن وظایف، یک عامل با اضافه بار شناختی مواجه می شود. او مسئول زمینه های بیش از حد، تصمیمات بیش از حد، و مسئولیت های بیش از حد به طور همزمان است. با افزایش این بار، دقت کاهش می یابد و خطاها بیشتر می شود.

راه حل این نیست که یک عامل واحد هوشمندتر ایجاد کنید. ساختن سیستمی از عوامل است.

در معماری چند عاملی، هر عامل نقشی مشخص دارد. یکی تحقیق می کند، دیگری تحلیل می کند، دیگری اجرا می کند و دیگری بررسی می کند. به جای اینکه یک متخصص کلی تلاش کند همه چیز را انجام دهد، تیمی از متخصصان ایجاد می کنید. این ساختار چیزی را معرفی می کند که امروزه اکثر سیستم های هوش مصنوعی فاقد آن هستند: تأیید.

همانطور که Ashish اشاره می کند، در یک راه اندازی چند عامله، یک نماینده می تواند کار دیگری را دوباره بررسی کند. یک عامل نتیجه ای تولید می کند، دیگری آن را نقد می کند و سومی نتیجه را ترکیب می کند. سیستم قابل اعتمادتر می شود نه به این دلیل که هر مدل منحصر به فرد کامل است، بلکه به این دلیل که سیستم برای تشخیص خطاها طراحی شده است.

این تغییر از هوش ایزوله به هوش هماهنگ و از نتایج به نتایج است.

آنچه در واقع سیستم های کاری را از هم جدا می کند

در پایان جلسه، تمایز مشخص شد. امروزه دو نوع سیستم هوش مصنوعی در حال ساخت هستند.

اولی ها تجربی هستند. آنها در دموها چشمگیر هستند اما در تولید شکننده هستند و در بهترین حالت به دستورات، گردش کار خطی و فرضیات متکی هستند. دومی ساختار یافته اند. آنها برای شرایط دنیای واقعی، از جمله حافظه، بازیابی، اعتبارسنجی، ارکستراسیون و انعطاف‌پذیری طراحی شده‌اند.

این سیستم‌ها برای بازیابی زمانی طراحی شده‌اند که مشکلی پیش می‌آید، نه فقط زمانی که همه چیز درست پیش می‌رود. این تفاوت بین ساخت چیزی که شبیه هوش مصنوعی است و ساخت چیزی است که واقعاً کار می کند.

خط پایین

هوش مصنوعی فقط یک مشکل مدل نیست. این یک مشکل سیستمی است.

تیم هایی که در این مرحله بعدی پیروز می شوند، آنهایی نیستند که آخرین نسخه مدل را دنبال می کنند. آنها کسانی هستند که در معماری، زمینه، استخراج، اعتبارسنجی و هماهنگی سرمایه گذاری می کنند. آنها فراتر از دموها خواهند رفت و برای قابلیت اطمینان ساخت خواهند داشت.

زیرا در پایان روز، هدف ایجاد چیزی نیست که هوشمندانه به نظر برسد. ایجاد چیزی است که بتوان به آن اعتماد کرد. و این تنها زمانی اتفاق می افتد که سیستم برای پشتیبانی از آن طراحی شده باشد.

برای همراهی با همه موارد آینده رویدادها در یورک، ایرلندما را دنبال کنید لینکدین.