What OpenAI & Google engineers learned deploying 50+ AI products in production

در این پادکست، آیشواریا رانتی (Aishwaria Raanti)، محقق سابق الکسا و مایکروسافت، و کیتی باتوم (Kiti Bottom)، مهندس تیم کدکس در OpenAI، به بررسی چالش‌های اساسی در توسعه محصولات هوش مصنوعی می‌پردازند. آن‌ها با تکیه بر تجربه هدایت بیش از ۵۰ پروژه در شرکت‌هایی نظیر گوگل و آمازون، توضیح می‌دهند که چرا رویکردهای سنتی نرم‌افزاری در دنیای مدل‌های زبانی بزرگ (LLM) شکست می‌خورند. تمرکز اصلی این گفتگو بر مدیریت عدم قطعیت، تعادل بین خودمختاری سیستم و کنترل انسانی، و ارائه چارچوبی عملی برای کاهش شکست در پروژه‌های هوش مصنوعی است.

نکات کلیدی:
• تفاوت بنیادین محصولات هوش مصنوعی با نرم‌افزارهای سنتی در ماهیت غیرقطعی (Non-deterministic) آن‌هاست.
• ایجاد تعادل بین خودمختاری عامل (Agency) و کنترل انسانی (Control) کلید موفقیت در استقرار سیستم‌هاست.
• استفاده از چارچوب کالیبراسیون مداوم (Continuous Calibration) برای مدیریت رفتارهای پیش‌بینی نشده مدل.
• اهمیت تمرکز بر حل مسئله (Problem-first) به جای غرق شدن در پیچیدگی‌های فنی و ابزارهای ترند شده.
• نقش حیاتی رهبران در بازسازی شهود فنی خود و همراهی نزدیک با تیم‌های مهندسی در عصر جدید.

تفاوت‌های کلیدی: چرا هوش مصنوعی یک نرم‌افزار معمولی نیست؟

آیشواریا رانتی (Aishwaria Raanti) توضیح می‌دهد که اولین تفاوت بزرگ، عدم قطعیت در ورودی و خروجی است. در نرم‌افزارهای سنتی مانند وب‌سایت‌های رزرو هتل، مسیر کاربر کاملاً مشخص و خروجی سیستم قابل پیش‌بینی است. اما در محصولات هوش مصنوعی، کاربر با زبان طبیعی و به روش‌های بی‌شمار با سیستم تعامل می‌کند و مدل نیز به عنوان یک موتور احتمالات، ممکن است هر بار پاسخ متفاوتی بدهد.

تفاوت دوم در تضاد میان خودمختاری و کنترل نهفته است. هرچه به یک عامل هوشمند (Agent) اجازه تصمیم‌گیری بیشتری بدهید، کنترل مستقیم شما بر فرآیند کمتر می‌شود. بسیاری از شرکت‌ها به اشتباه سعی می‌کنند از روز اول سیستم‌های کاملاً خودکار بسازند، در حالی که باید اعتماد به سیستم را به صورت مرحله‌ای و با نظارت انسانی دقیق ایجاد کنند. این تغییر پارادایم مستلزم آن است که مدیران محصول و مهندسان به جای تمرکز بر کدهای ثابت، بر مدیریت رفتار سیستم تمرکز کنند.

استراتژی شروع کوچک: نردبان خودمختاری

کیتی باتوم (Kiti Bottom) پیشنهاد می‌کند که برای جلوگیری از شکست، باید از سطوح پایین خودمختاری شروع کرد. او مثال سیستم پشتیبانی مشتری را می‌زند؛ در مرحله اول، هوش مصنوعی فقط باید پاسخ‌ها را به اپراتور انسانی پیشنهاد دهد (High Control, Low Agency). در این مرحله، سیستم یاد می‌گیرد و خطاهای آن توسط انسان اصلاح می‌شود بدون اینکه تجربه مشتری آسیب ببیند.

با گذشت زمان و افزایش دقت، می‌توان به مرحله دوم رفت که در آن سیستم مستقیماً با مشتری چت می‌کند اما برای کارهای حساس مثل استرداد وجه، اجازه دسترسی ندارد. در نهایت، تنها زمانی که رفتار سیستم کاملاً کالیبره شد، می‌توان به آن اجازه داد تا کارهای پیچیده را به صورت مستقل انجام دهد. این رویکرد مرحله‌ای باعث می‌شود تیم‌ها به جای غرق شدن در پیچیدگی‌های فنی، روی حل واقعی مشکلات تمرکز کنند و داده‌های لازم برای بهبود مدل را در دنیای واقعی جمع‌آوری کنند.

فرهنگ سازمانی و نقش رهبری در عصر هوش مصنوعی

موفقیت در هوش مصنوعی فقط یک موضوع فنی نیست، بلکه به فرهنگ و رهبری وابسته است. آیشواریا اشاره می‌کند که رهبران موفق، مانند مدیرعامل راک‌اسپیس (Rackspace)، زمان مشخصی را در روز صرف یادگیری مستقیم و کار با ابزارها می‌کنند. آن‌ها باید بپذیرند که شهود قبلی‌شان ممکن است در دنیای هوش مصنوعی کار نکند و باید دوباره به یادگیرندگان فعال تبدیل شوند.

علاوه بر این، ایجاد فرهنگ توانمندسازی به جای ترس از جایگزینی ضروری است. متخصصان موضوعی (SMEs) در شرکت‌ها اغلب از همکاری با تیم‌های هوش مصنوعی می‌ترسند چون فکر می‌کنند شغلشان در خطر است. رهبران باید شفاف‌سازی کنند که هوش مصنوعی برای تقویت توانمندی‌های انسانی و حذف کارهای تکراری است. بدون همکاری صمیمانه این متخصصان، ساخت سیستمی که واقعاً نیازهای بیزنس را درک کند غیرممکن خواهد بود.

بحث داغ ارزیابی (Evals) در مقابل نظارت تولید

در مورد ارزیابی مدل‌ها، کیتی معتقد است که نباید بین ارزیابی‌های قبل از انتشار (Evals) و نظارت در حین تولید (Monitoring) یکی را انتخاب کرد. ارزیابی‌ها مجموعه‌ای از داده‌های تست هستند که تضمین می‌کنند سیستم حداقل‌های لازم را دارد و اشتباهات فاحش قبلی را تکرار نمی‌کند. اما ارزیابی‌ها هرگز نمی‌توانند تمام رفتارهای کاربران در دنیای واقعی را پیش‌بینی کنند.

نظارت در تولید به ما کمک می‌کند تا سیگنال‌های ضمنی را دریافت کنیم؛ مثلاً اگر کاربری در چت‌جی‌پی‌تی (Chat GPT) دکمه بازتولید پاسخ را می‌زند، این یک سیگنال منفی است حتی اگر بازخورد متنی ندهد. آیشواریا اضافه می‌کند که اصطلاح ارزیابی امروزه بیش از حد گسترده شده و گاهی با تحلیل خطا اشتباه گرفته می‌شود. تیم‌های موفق کسانی هستند که یک حلقه بازخورد عملی ایجاد می‌کنند تا الگوهای خطای جدید را شناسایی و به سرعت اصلاح کنند.

چارچوب توسعه و کالیبراسیون مداوم (CCCD)

این چارچوب که توسط مهمانان طراحی شده، الهام گرفته از مفهوم CI/CD در مهندسی نرم‌افزار است. بخش توسعه مداوم شامل تعیین محدوده توانمندی، جمع‌آوری داده‌های اولیه و طراحی معیارهای ارزیابی است. اما بخش حیاتی‌تر، کالیبراسیون مداوم است که پس از استقرار شروع می‌شود. در این مرحله، تیم باید الگوهای رفتاری غیرمنتظره را شناسایی کرده و معیارهای ارزیابی خود را بر اساس آن‌ها به‌روزرسانی کند.

هدف از این فرآیند، به حداقل رساندن غافلگیری‌هاست. کالیبراسیون زمانی کامل می‌شود که توزیع داده‌های ورودی کاربران پایدار شود و سیستم دیگر رفتار عجیبی نشان ندهد. با این حال، با معرفی مدل‌های جدیدتر (مثل ارتقا از GPT-4 به مدل‌های بالاتر)، این چرخه باید دوباره تکرار شود چون هر مدل ویژگی‌ها و نقاط ضعف منحصر به فرد خود را دارد. این فرآیند تضمین می‌کند که محصول هوش مصنوعی همگام با تغییرات تکنولوژی و رفتار کاربر، قابل اعتماد باقی می‌ماند.

آینده هوش مصنوعی: از عوامل فعال تا تجربه چندوجهی

در مورد آینده، کیتی باتوم (Kiti Bottom) پیش‌بینی می‌کند که سال ۲۰۲۶ سال عوامل پیش‌کننده (Proactive Agents) خواهد بود. این سیستم‌ها به جای منتظر ماندن برای دستور کاربر، با درک زمینه کاری، کارهایی مثل اصلاح باگ‌ها یا آماده‌سازی گزارش‌ها را قبل از شروع روز کاری انجام می‌دهند. این امر مستلزم اتصال عمیق‌تر هوش مصنوعی به جریان‌های کاری واقعی و داده‌های زنده شرکت‌هاست.

آیشواریا نیز بر اهمیت تجربیات چندوجهی (Multimodal) تاکید دارد. او معتقد است که ارتباط انسانی فقط متنی نیست و شامل لحن، حرکات و سیگنال‌های بصری است. مدل‌های آینده با درک بهتر تصویر و ویدیو، نه تنها اسناد پیچیده و دست‌نویس را تحلیل می‌کنند، بلکه تعاملات انسانی‌تری را رقم خواهند زد. این تحول باعث می‌شود هوش مصنوعی از یک ابزار ساده به یک همکار واقعی تبدیل شود که می‌تواند پیچیدگی‌های دنیای فیزیکی و دیجیتال را همزمان درک کند.

نتیجه‌گیری:
این پادکست به وضوح نشان می‌دهد که ساخت محصولات هوش مصنوعی موفق بیش از آنکه به قدرت مدل‌های زیربنایی وابسته باشد، به فرآیند توسعه و مدیریت رفتار سیستم بستگی دارد. آیشواریا و کیتی تاکید می‌کنند که دوران «کارهای شلوغ» و تکراری به پایان رسیده و اکنون ارزش واقعی در قضاوت، سلیقه طراحی و توانایی حل مسئله نهفته است.

نکته نهایی و کلیدی این گفتگو، مفهوم «رنج به عنوان مزیت رقابتی» (Pain is the new moat) است؛ شرکت‌هایی برنده خواهند بود که سختی یادگیری، تکرار مداوم و کالیبره کردن سیستم‌های خود را می‌پذیرند و به دنبال راه‌حل‌های سریع و «یک‌کلیکی» نیستند. برای موفقیت در این مسیر، تیم‌ها باید از خودمختاری کم شروع کرده، به شدت روی داده‌های خود تمرکز کنند و همیشه آماده باشند تا با تغییر رفتار کاربران، سیستم‌های خود را بازنگری کنند. هوش مصنوعی تنها یک ابزار است و موفقیت نهایی در گرو درک عمیق نیاز مشتری و استفاده هوشمندانه از این ابزار برای حل چالش‌های واقعی بیزنس است.