ترمز اضطراری برای هوش مصنوعی؛ پیشنهاد مدیرعامل مایکروسافت چه می‌گوید؟

نادلا دقیقاً چه گفت؟

به گزارش TechCrunch، نادلا در پست خود چند اصل را کنار هم گذاشت. او می‌گوید مدل هوش مصنوعی باید از نرم‌افزاری که کارهایش را هماهنگ می‌کند جدا باشد، کنترل‌ها و سازوکارهای ایمنی بیرون از خود مدل قرار بگیرند و هر اقدام مهم مدل با شواهدی ثبت شود که هم قابل دست‌کاری نباشد و هم انسان بتواند آن را بخواند.

نکته مهم دیگر در حرف‌های او این است که باید از ابتدا فرض کرد یک مدل ممکن است آسیب‌دیده یا نفوذپذیر باشد و آن را از همان اول در محدوده‌ای کنترل‌شده نگه داشت. به بیان دیگر، اعتماد به هوش مصنوعی نباید بر این پایه باشد که مدل همیشه درست رفتار می‌کند، بلکه باید بر این پایه باشد که اگر درست رفتار نکرد، راهی مطمئن برای مهارش وجود دارد.

• جدا کردن مدل از نرم‌افزاری که کارهایش را هماهنگ می‌کند
• قرار دادن کنترل‌ها و محافظ‌ها بیرون از خود مدل
• ثبت هر اقدام مهم مدل با شواهد غیرقابل دست‌کاری و خوانا برای انسان
• امکان توقف یا خاموش کردن مدل وسط کار توسط یک فرد مجاز
• فرض اینکه مدل ممکن است آسیب‌دیده باشد و مهار آن از ابتدا

ترمز اضطراری در هوش مصنوعی یعنی چه؟

تصور کنید یک دستیار هوش مصنوعی اجازه دارد ایمیل بفرستد، فایل‌ها را جابه‌جا کند یا در یک سامانه مالی تغییر ایجاد کند. اگر این دستیار به‌خاطر یک خطا یا یک دستور فریبنده مسیر اشتباهی را شروع کند، چند دقیقه کافی است تا آسیب جدی بزند. ترمز اضطراری یعنی انسانی که اختیار دارد بتواند همان لحظه کار را متوقف کند، بدون اینکه منتظر بماند مدل خودش کارش را تمام کند.

نکته ظریف پیشنهاد نادلا این است که این ترمز نباید داخل خود مدل باشد. اگر توقف فقط با «درخواست» از مدل انجام شود، مدلی که دچار خطا شده ممکن است آن درخواست را نادیده بگیرد یا اشتباه بفهمد. برای همین او از کنترل بیرونی حرف می‌زند؛ سازوکاری که دسترسی‌ها را محدود می‌کند و حتی اگر مدل دستورهای غیرمنتظره تولید کند، اپراتور بتواند عملیات را قطع کند.

ترمز اضطراری واقعی دکمه‌ای است که کارش به رضایت مدل وابسته نیست؛ کنترل باید بیرون از سیستمی باشد که قرار است مهار شود.

چرا این حرف همین حالا مطرح شد؟

مدل‌های امروزی دیگر فقط به سؤال جواب نمی‌دهند. نسل تازه‌ای از ابزارها که به آن‌ها عامل هوش مصنوعی می‌گویند، می‌توانند چند مرحله را پشت سر هم انجام دهند، از ابزارهای دیگر استفاده کنند و در سامانه‌های واقعی تغییر بدهند. هرچه اختیار این عامل‌ها بیشتر می‌شود، اهمیت توقف به‌موقع و ثبت دقیق کارهایشان هم بیشتر می‌شود.

TechCrunch نوشته است که حرف‌های نادلا پس از چند مورد مطرح شده که در آن‌ها شرکت‌های پیشرو هوش مصنوعی پذیرفته‌اند کنترل کامل مدل‌هایشان را از دست داده‌اند. Forbes هم این پیشنهاد را به گزارش‌هایی درباره رفتارهای پیش‌بینی‌نشده مدل‌ها در آزمایش‌ها ربط داده است. پیام مشترک این گزارش‌ها روشن است: توانایی مدل‌ها سریع‌تر از ابزارهای نظارت بر آن‌ها رشد کرده است.

مشکل جعبه‌سیاه و اهمیت ثبت رخدادها

یکی از جمله‌های کلیدی نادلا این است که نمی‌توان هوش مصنوعی را جعبه‌سیاهی دانست که فقط خروجی‌اش را می‌بینیم. وقتی ندانیم یک مدل چرا تصمیمی گرفته و در مسیر رسیدن به جواب چه کارهایی کرده، نه می‌توانیم خطا را پیدا کنیم و نه می‌توانیم مسئولیت آن را مشخص کنیم.

به همین دلیل او روی ثبت هر اقدام مهم مدل تأکید می‌کند؛ آن هم به شکلی که بعداً قابل تغییر نباشد و یک انسان معمولی بتواند آن را بخواند. این همان کاری است که در هواپیما جعبه سیاه پرواز انجام می‌دهد. اگر اتفاقی بیفتد، می‌توان مسیر را مرحله به مرحله بازسازی کرد و فهمید کجا اشتباه رخ داده است.

این پیشنهاد برای کاربران و کسب‌وکارها چه معنایی دارد؟

پیشنهاد نادلا یک قانون یا محصول تازه نیست، اما وقتی مدیرعامل یکی از بزرگ‌ترین شرکت‌های فعال در هوش مصنوعی چنین چیزی می‌گوید، احتمالاً روی طراحی ابزارهای آینده اثر می‌گذارد. می‌توان انتظار داشت قابلیت‌هایی مثل توقف فوری، گزارش کامل کارهای عامل و محدود کردن دسترسی‌ها در ابزارهای کاری بیشتر دیده شوند.

برای کسب‌وکارهای کوچک و بزرگی که همین حالا از هوش مصنوعی استفاده می‌کنند، این خبر یک یادآوری عملی هم هست. لازم نیست منتظر شرکت‌های بزرگ بمانید تا بخشی از این اصول را رعایت کنید.

• به ابزار هوش مصنوعی فقط همان دسترسی‌ای را بدهید که واقعاً لازم دارد
• کارهای حساس مثل پرداخت یا حذف اطلاعات را بدون تأیید انسان به آن نسپارید
• تاریخچه کارهایی را که ابزار انجام داده نگه دارید و گاهی بررسی کنید
• همیشه بدانید چطور می‌توانید یک فرایند خودکار را فوراً متوقف کنید

مهارتی که ارزشش بیشتر می‌شود

این بحث نشان می‌دهد آینده کار با هوش مصنوعی فقط به نوشتن دستور خوب برای مدل محدود نمی‌شود. کسانی که بفهمند یک عامل هوش مصنوعی را چطور طراحی کنند، چه دسترسی‌هایی به آن بدهند، کجا تأیید انسانی بگذارند و چطور کارهایش را ثبت و بررسی کنند، در بازار کار جایگاه ویژه‌ای خواهند داشت.

اگر در حال یادگیری هوش مصنوعی هستید، کنار ساختن ابزارهای هوشمند، یاد گرفتن اصول کنترل و ایمنی آن‌ها را هم جدی بگیرید. سازمان‌ها هرچه بیشتر به هوش مصنوعی اعتماد کنند، بیشتر به افرادی نیاز دارند که بتوانند این اعتماد را قابل اندازه‌گیری و قابل بررسی کنند.