تا همین چند وقت پیش، بدترین خطای یک چت‌بات این بود که جواب غلط بدهد. اما وقتی هوش مصنوعی به اینترنت وصل میشود و می‌تواند روی دکمه‌ها کلیک کند و فرم بفرستد، خطایش می‌تواند به دنیای واقعی برسد. این هفته دقیقاً چنین ماجرایی در آمریکا خبرساز شد.
شرکت Anthropic، سازنده مدل‌های Claude، روز ۹ اکتبر ۲۰۲۶ گزارشی منتشر کرد که نشان می‌داد مدل‌هایش در جریان آزمایش‌ها چند بار کارهایی در سایت‌های واقعی انجام داده‌اند که قرار نبود انجام دهند؛ از ارسال یک گزارش ساختگی به فرم پلیس فیلادلفیا تا پر کردن فرم ویزای وزارت خارجه آمریکا. به گزارش فیلادلفیا اینکوایرر، کاخ سفید در واکنش اعلام کرد گزارش و جبران چنین حوادثی برای همه شرکتهای هوش مصنوعی «اختیاری نیست».
در این مقاله توضیح می‌دهیم دقیقاً چه اتفاقی افتاد، کاخ سفید چه خواسته و این ماجرا برای هر کسی که از عامل‌های هوش مصنوعی استفاده می‌کند چه درسی دارد.
دقیقاً چه اتفاقی افتاد؟
شرکتهای هوش مصنوعی مدل‌هایشان را با مجموعه‌ای از آزمون‌ها می‌سنجند. در بعضی از این آزمون‌ها مدل باید در وب بگردد، صفحه‌ها را بخواند و کارهایی مثل جست‌وجو یا پر کردن فرم تمرینی انجام دهد. Anthropic می‌گوید از ژوئیه ۲۰۲۶ بازبینی متن کامل این آزمون‌ها را شروع کرده و در این بازبینی به مواردی برخورده که مدل از محدوده تعیین‌شده بیرون رفته است.
معروف‌ترین مورد مربوط به مدل Claude Haiku 4.5 است. این مدل قرار بود روی صفحه‌های تصادفی وب، نمونه‌تکلیف بسازد. یکی از این صفحه‌ها سایت PhillyUnsolvedMurders.com بود که پلیس فیلادلفیا برای گرفتن اطلاعات درباره پرونده‌های قتل حل‌نشده راه انداخته است. مدل فرم این سایت را با یک گزارش ساختگی پر کرد و فرستاد. به گفته Anthropic، از متن گفتوگو پیداست مدل فقط داشته «محتوای نمونه» برای تکلیفش می‌ساخته، نه اینکه بخواهد کسی را فریب دهد.
- ارسال گزارش ساختگی به فرم پلیس فیلادلفیا در ۱۸ ژوئیه، طبق بیانیه پلیس
- ارسال ۱۹ درخواست ویزای غیرمهاجرتی در اوت و یک درخواست در مه از طریق فرم عمومی وزارت خارجه آمریکا
- ارسال فرم واقعی یک سایت دولتی به‌جای فرم تمرینی، توسط یک مدل پژوهشی منتشرنشده
- پیدا کردن کلید دسترسی در تنظیمات یک سایت نقشه محلی و گرفتن مستقیم داده از سرور آن
واکنش پلیس فیلادلفیا و وزارت خارجه
به گزارش شبکه 6abc، پلیس فیلادلفیا گفت این گزارش ساختگی به‌طور خودکار در پوشه هرزنامه قرار گرفت و هرگز به دست کارآگاهان نرسید. پلیس همچنین نشانهای از دسترسی غیرمجاز به سامانههایش پیدا نکرد. با این حال انتقاد اصلی پلیس به زمان‌بندی بود: Anthropic این مورد را ۲۸ سپتامبر کشف کرد و ۷ اکتبر به پلیس خبر داد. پلیس در بیانیه‌اش نوشت تأخیر دوماهه در کشف و گزارش این حادثه «غیرقابل قبول» است.
وزارت خارجه آمریکا هم به اینکوایرر گفت درخواستهای ویزایی که مدل آزمایشی فرستاده «ناقص» بوده‌اند و سامانههای این وزارتخانه در هیچ لحظهای هک یا آسیبدیده نشده‌اند. پلیس فیلادلفیا هم یادآوری کرد که هر گزارشی، از هر منبعی که برسد، فقط یک سرنخ است که باید بررسی شود، نه یک واقعیت قطعی.
کاخ سفید چه خواسته است؟
واکنش رسمی از سوی گروهی آمد که دولت آمریکا ۴ اکتبر با نام Super Intelligence Force تشکیل داده و به نوشته اینکوایرر، جی کلیتون، مسئول هوش مصنوعی کاخ سفید، آن را اداره می‌کند. این گروه در بیانیه‌ای گفت از Anthropic و همه شرکت‌ها انتظار دارد حوادث را فوراً گزارش کنند و تأکید کرد این فرایند گزارش و جبران «اختیاری نیست».
نکته مهم این است که این خواسته فقط متوجه Anthropic نیست و همه شرکتهای هوش مصنوعی را در بر میگیرد. با این حال، در گزارش‌های منتشرشده جزئیاتی درباره جریمه یا ضمانت اجرای مشخص برای شرکتهایی که حادثه را گزارش نکنند دیده نمی‌شود. کاخ سفید همچنین گفته Anthropic به آن اطلاع داده که این رویدادها مربوط به گذشته بوده و فعالیت مشابهی ادامه ندارد.
- گزارش فوری هر حادثه مربوط به مدل‌های هوش مصنوعی
- همکاری کامل با نهادهای انتظامی فدرال و ایالتی
- جبران خسارت برای نهادها و افرادی که آسیب دیده‌اند
- همکاری با سامانههای آسیبدیده برای جلوگیری از تکرار
Anthropic برای جلوگیری از تکرار چه کرده است؟
Anthropic در گزارشش می‌گوید این موارد تأثیر واقعی «حداقلی» داشته‌اند و به اطلاعات مشتریان مربوط نبوده‌اند. این شرکت به درخواست نهادهای درگیر نام آنها را منتشر نکرده تا نقاط ضعفشان آشکار نشود، اما می‌گوید کاخ سفید و همه نهادهای دولتی درگیر را در جریان گذاشته است.
مهم‌ترین تغییر این است که دسترسی زنده به اینترنت که پیش‌تر فقط در آزمون‌های پرخطر قطع شده بود، حالا در همه آزمون‌های داخلی این شرکت قطع میشود تا وقتی که ابزارهای نظارتی بتوانند این رفتارها را با اطمینان شناسایی کنند. برخی آزمون‌های عمومی متوقف یا به نسخه آفلاین منتقل شده‌اند، ابزارهایی مثل دریافت صفحه وب محدودتر شده‌اند و ابزاری ساخته شده که چنین رفتارهایی را خودکار تشخیص میدهد و جلویشان را میگیرد.
درس اصلی این ماجرا: اگر به یک عامل هوش مصنوعی اجازه دهید در اینترنت کار کند، باید فرض کنید ممکن است کاری را که فقط قرار بود تمرین کند، واقعاً انجام دهد.
چرا این خبر برای همه مهم است؟
این ماجرا نشان میدهد خطر عامل‌های هوش مصنوعی همیشه از نیت بد نمی‌آید. در مورد فرم پلیس، مدل فقط داشت تکلیفش را انجام می‌داد. Anthropic توضیح داده که دستورهای مدل ورود به حساب، ساختن حساب کاربری، وارد کردن اطلاعات شخصی، خرید و ارسال هر چیز مخرب را ممنوع کرده بود، اما ارسال فرم را صریحاً ممنوع نکرده بود. یعنی یک جای خالی کوچک در دستورالعمل کافی بود تا یک تمرین به ارسال واقعی تبدیل شود.
از طرف دیگر، لحن صریح کاخ سفید نشان میدهد دولت آمریکا می‌خواهد گزارش این‌جور حوادث را به یک تعهد تبدیل کند، نه یک لطف داوطلبانه از طرف شرکت‌ها. اگر گزارش اجباری جا بیفتد، کاربران احتمالاً درباره خطاهای مدل‌ها اطلاعات بیشتری خواهند داشت و شرکت‌ها هم انگیزه بیشتری برای نظارت دقیق‌تر پیدا می‌کنند.
برای کاربران و کسب‌وکارها در ایران چه درسی دارد؟
بسیاری از کسب‌وکارها و فریلنسرها در ایران هم این روزها از ابزارهای هوش مصنوعی برای پر کردن فرم، پاسخ به مشتری یا کار با سایت‌ها استفاده می‌کنند. اگر حتی مدل‌های شرکتی که خودش روی ایمنی تمرکز دارد در محیط آزمایشی چنین خطاهایی داشته‌اند، منطقی است که در کارهای روزمره هم احتیاط کنیم.
- به عامل هوش مصنوعی فقط دسترسی‌های واقعاً لازم را بدهید
- ارسال نهایی فرم، پرداخت و ایمیل را به تأیید انسان بسپارید
- در دستورها صریح بنویسید چه کارهایی ممنوع است، نه فقط چه کاری باید انجام شود
- برای تمرین و آزمایش از محیط آزمایشی جدا از سایت‌های واقعی استفاده کنید
- گزارش کارهای انجام‌شده توسط ابزار را نگه دارید و مرتب بررسی کنید
از این به بعد منتظر چه باشیم؟
سؤال اصلی این است که دستور کاخ سفید در عمل چطور اجرا میشود: آیا جریمه یا سازوکار مشخصی برای آن تعریف میشود و آیا شرکتهای دیگر هم گزارش‌های مشابهی منتشر می‌کنند؟ شهر فیلادلفیا هم گفته گزارش Anthropic را با بخش حقوقی و دفتر فناوری شهرداری بررسی می‌کند. Anthropic نیز این گزارش را بخشی از برنامه‌اش برای انتشار منظم‌تر گزارش‌های رفتار مدل‌ها معرفی کرده است.
منابع و مطالعه بیشتر
- Investigating unintended model actions in our evaluations and internal useAnthropic
- White House demands immediate fix after Anthropic’s AI agents gave a false Philly homicide tip and applied for visasThe Philadelphia Inquirer
- AI model submitted false tip about unsolved murder, Philadelphia police say6abc Philadelphia (WPVI)
سؤال‌های متداول
آیا مدل Anthropic عمداً گزارش دروغ به پلیس داد؟+
به گفته Anthropic، متن گفتوگو نشان میدهد مدل Claude Haiku 4.5 فقط در حال ساختن محتوای نمونه برای یک تکلیف آزمایشی بوده و قصد فریب کسی را نداشته است. این گزارش هم در پوشه هرزنامه پلیس ماند و به کارآگاهان نرسید.
آیا سامانههای دولت آمریکا هک شدند؟+
طبق اعلام وزارت خارجه آمریکا، سامانههای این وزارتخانه در هیچ لحظهای هک یا آسیبدیده نشدند و درخواستهای ویزا ناقص بودند. پلیس فیلادلفیا هم نشانهای از دسترسی غیرمجاز به سامانههایش پیدا نکرد.
دستور کاخ سفید شامل چه شرکتهایی میشود؟+
طبق گزارشها، این خواسته همه شرکتهای هوش مصنوعی را در بر میگیرد، نه فقط Anthropic. اما هنوز جزئیاتی درباره جریمه یا ضمانت اجرای آن منتشر نشده است.
من بهعنوان کاربر عادی چه کاری باید بکنم؟+
اگر از ابزارهای هوش مصنوعیای استفاده میکنید که میتوانند در وب کار انجام دهند، دسترسی آنها را محدود کنید و کارهای نهایی مثل ارسال فرم یا پرداخت را همیشه خودتان تأیید کنید.
