اگر وبلاگ، فروشگاه اینترنتی یا سایت خبری دارید، احتمالاً این سؤال برایتان پیش آمده که آیا نوشته‌ها و تجربه‌های شما خوراک مدل‌های هوش مصنوعی می‌شوند و راهی برای گفتن «نه» وجود دارد یا نه. تا امروز پاسخ کمی دردسر داشت: باید ربات هر شرکت را جداگانه می‌شناختید و برایش قانون می‌نوشتید؛ GPTBot برای OpenAI، ClaudeBot برای Anthropic و Google-Extended برای گوگل.
روز ۳۰ اکتبر ۲۰۲۶ گوگل، OpenAI، مایکروسافت و Anthropic اعلام کردند از یک علامت مشترک در فایل robots.txt پشتیبانی می‌کنند. با این علامت، صاحب سایت می‌تواند یک بار و یک جا بگوید محتوایش برای آموزش مدل‌های مولد استفاده نشود. در این راهنما می‌بینیم این علامت چطور نوشته میشود، هر شرکت چه زمانی آن را اجرا میکند و چرا اضافه کردنش به معنی محافظت کامل نیست.
دقیقاً چه چیزی تغییر کرد؟
فایل robots.txt یک فایل متنی ساده در ریشه سایت است که به ربات‌ها می‌گوید صاحب سایت چه می‌خواهد. علامت تازه نامی دارد به شکل __usage_ai-training و کوین کلی از Anthropic آن را در یک پیشنویس فنی با عنوان «علامت ماشین‌خوان ترجیح آموزش» پیشنهاد کرده است. این نام، ربات واقعی نیست؛ برچسبی است که نظر شما را درباره نوعی از استفاده بیان میکند.
نکته مهم اینجاست که این سند هنوز استاندارد رسمی نیست. در صفحه IETF، نهادی که استانداردهای اینترنت را تدوین میکند، این متن پیش‌نویسی فردی معرفی شده که تأیید این نهاد را ندارد و اگر به‌روز نشود، ماه مه ۲۰۲۷ منقضی میشود. وزن واقعی ماجرا از قول شرکت‌های بزرگ میآید، نه از جایگاه رسمی سند.
این علامت چطور نوشته میشود؟
شکل نوشتن آن با قانونهای معمول robots.txt فرقی ندارد. یک گروه تازه می‌سازید و به جای نام ربات، نام این علامت را در خط User-Agent می‌نویسید. بعد با Disallow و Allow مشخص می‌کنید کدام مسیرها مجاز هستند. مثال‌هایی که در گزارش‌های Coywolf و H2S Media آمده این سه الگو را نشان می‌دهند:
- منع آموزش در کل سایت: User-Agent: __usage_ai-training و در خط بعد Disallow: /
- منع آموزش در کل سایت با یک استثنا: همان دو خط بالا، به‌علاوه Allow: /press-kit/ برای پوشه اخبار مطبوعاتی
- محافظت از یک بخش: User-Agent: __usage_ai-training و در خط بعد Disallow: /premium/
دام رایج: قانون کلی User-Agent: * شامل این علامت نمی‌شود. متن پیشنویس صریحاً می‌گوید چنین گروهی نباید به معنی این علامت تفسیر شود، پس باید نام آن را جداگانه بنویسید.
هر شرکت از چه زمانی اجرا میکند؟
اعلام مشترک به معنی اجرای هم‌زمان نیست. هیچ تاریخ واحدی وجود ندارد و اگر امروز این علامت را اضافه کنید، فعلاً اثرش در همه شرکت‌ها یکسان نخواهد بود. این خلاصه وضعیت هر شرکت است:
- Anthropic: جلوتر از بقیه است و اجرا را شروع کرده، اما طبق گزارش H2S Media پوشش کامل همه سرویس‌هایش زمان می‌برد.
- OpenAI: گفته در ماههای آینده از این علامت پیروی میکند و تاریخ دقیقی نداده است.
- گوگل: جان مولر در وبلاگ رسمی نوشته هدف، پشتیبانی در سال ۲۰۲۷ است و به‌روزرسانی‌های بعدی را قول داده است.
- مایکروسافت: از اول فوریه ۲۰۲۷ ترجیحات تازه را هنگام خزش صفحات اجرا میکند.
- متا: طبق گزارش Techzine از این ایده حمایت کرده، اما نگفته آن را اجرا میکند یا نه.
این علامت چه کارهایی نمیکند؟
مهم‌ترین سوءتفاهم این است که robots.txt را قفل بدانیم. این فایل یک درخواست است و هر شرکت باید خودش تصمیم بگیرد به آن پایبند باشد. Coywolf تأکید میکند که این علامت الزام‌آور نیست و برای مقابله با ربات‌هایی که آن را نادیده می‌گیرند، به سرویس‌هایی مانند مسدودسازی ربات در کلودفلر نیاز دارید. Techzine هم یادآوری میکند که ربات‌ها می‌توانند این فایل را نادیده بگیرند.
محتوایی که قبلاً جمع شده هم مسئله جداگانه‌ای است. پیشنویس درباره دادههای گذشته تکلیف روشنی تعیین نمیکند و H2S Media می‌نویسد این ترجیح فقط برای استفاده از این به بعد کاربرد دارد. پس نباید انتظار داشته باشید نوشته‌ای که پیش‌تر برداشته شده، با اضافه کردن یک خط از مدلها پاک شود. پیشنویس همچنین می‌گوید توافق‌های خصوصی می‌توانند بر این ترجیحات مقدم باشند.
آموزش مدل با حضور در پاسخ‌های هوش مصنوعی فرق دارد
این بخش برای کسب‌وکارها از همه مهم‌تر است. آموزش یعنی محتوای شما برای یادگیری مدل به کار برود. اما «گراندینگ» یعنی مدل هنگام پاسخ دادن به یک منبع وب تکیه کند و گاهی همان منبع را نشان دهد؛ مسیری که می‌تواند برای سایت شما بازدید بیاورد.
مایکروسافت این دو را جدا کرده است. آموزش از راه robots.txt یا تنظیمات صفحه کنترل میشود و گراندینگ فقط در سطح صفحه سه حالت دارد: مجاز، محدود به سرویس‌های خود مایکروسافت، یا ممنوع. مایکروسافت می‌گوید این انتخاب‌ها حضور در نتایج جست‌وجوی بینگ را تغییر نمی‌دهند، اما محدود کردن گراندینگ می‌تواند دیده شدن برند را در تجربه‌های هوش مصنوعی کم کند.
گوگل هم گفته اگر سایتی با علامت مشترک از آموزش خارج شود و Google-Extended را جداگانه مشخص نکرده باشد، با آن مانند سایتی رفتار میکند که Google-Extended را بسته است. در همان نوشته آمده سایت‌هایی که Google-Extended را صریحاً مجاز کرده‌اند، می‌توانند از راه گراندینگ در پاسخ‌های برنامه‌های Gemini دیده شوند و کلیک بگیرند. پس اگر حضور در این پاسخ‌ها برایتان مهم است، پیش از بستن کل سایت این نکته را بسنجید.
برای سایت ایرانی چه تصمیمی منطقی است؟
پاسخ یکسانی برای همه وجود ندارد و به این برمی‌گردد که ارزش سایت شما از کجا میآید. اگر دارایی اصلی‌تان محتوای اختصاصی است، مانند دوره آموزشی، پژوهش یا مقاله پولی، بستن همان بخش‌ها منطقی است. اگر هدفتان شناخته شدن و جذب مشتری است، مثل یک فروشگاه یا سایت خدماتی، بستن کامل ممکن است فایده‌اش کمتر از هزینه‌اش باشد. راه میانه این است که فقط بخش‌های ارزشمند را ببندید و صفحات معرفی و محصول را باز بگذارید.
قبل از هر تغییری این چند قدم را بردارید. این فهرست کوتاه، بر اساس توصیه‌های همین گزارشها تنظیم شده است.
- فایل robots.txt فعلی را نگه دارید و قانونهای GPTBot و Google-Extended را حذف نکنید.
- علامت تازه را به عنوان گروهی جدا اضافه کنید و به قانون کلی ستاره تکیه نکنید.
- اگر از Googlebot یا Bingbot قانونی دارید به آن دست نزنید؛ این علامت برای آموزش است، نه خزش جست‌وجو.
- اگر از NoArchive یا NoCache برای محدود کردن بینگ استفاده می‌کنید، مهلت اول مارس ۲۰۲۷ مایکروسافت را یادداشت کنید.
- اگر با ربات‌های پرمصرف مشکل دارید، robots.txt را کافی ندانید و مسدودسازی در سطح سرور یا CDN را هم در نظر بگیرید.
از این به بعد چه چیزی را باید زیر نظر داشت؟
سه چیز مهم است: اینکه OpenAI و گوگل تاریخ دقیق اعلام کنند، اینکه متا موضع روشنی بگیرد و اینکه کارگروه AIPREF در IETF به کجا برسد. Coywolf می‌نویسد راه‌حل‌های دیگری هم در میدان هستند؛ از سربرگ Content-Usage در پیشنویس همین کارگروه تا Content-Signal کلودفلر و استاندارد RSL. Techzine هم توضیح میدهد RSL به ناشران اجازه میدهد برای دسترسی ربات‌ها پول بخواهند. فشار ترافیکی هم واقعی است؛ همین گزارش از افزایش ۵۰ درصدی مصرف پهنای باند ویکی‌مدیا به‌خاطر ربات‌های هوش مصنوعی خبر میدهد.
منابع و مطالعه بیشتر
- Google Search Central blog post on a shared AI training control in robots.txtGoogle Search Central Blog
- Your content, your choice: clearer preferences for training and groundingMicrosoft Bing Blogs
- Machine-Readable Training Preference SignalIETF Datatracker
- Google, OpenAI, Microsoft, and Anthropic back a shared robots.txt AI training signalCoywolf
- AI companies to support shared anti-scraping standardTechzine Global
- Google, OpenAI, Microsoft and Anthropic Agree on One AI Training Opt-OutH2S Media
سؤال‌های متداول
اگر این علامت را اضافه کنم، رتبهام در گوگل پایین میآید؟+
این علامت درباره آموزش مدلهاست و H2S Media گزارش میدهد خزش و نمایهسازی عادی Googlebot و Bingbot را تغییر نمیدهد. مایکروسافت هم صریحاً گفته ترجیحات تازه حضور در نتایج بینگ را عوض نمیکند.
آیا امروز اضافه کردن این علامت فایدهای دارد؟+
اضافه کردنش زیانی برای قانونهای فعلی ندارد، اما اثرش هنوز کامل نیست. Anthropic اجرا را شروع کرده، مایکروسافت از فوریه ۲۰۲۷ و گوگل در سال ۲۰۲۷ اجرا میکند و OpenAI ماههای آینده را گفته است. پس قانونهای اختصاصی هر شرکت را نگه دارید.
آیا محتوایی که قبلاً برداشته شده حذف میشود؟+
در پیشنویس چنین چیزی نیامده و گزارشها میگویند این ترجیح فقط برای استفادههای بعدی کاربرد دارد. بنابراین نباید آن را راهی برای پاک کردن دادههای گذشته از مدلها بدانید.
اگر فقط User-Agent: * را ببندم کافی است؟+
نه. طبق متن پیشنویس، گروه ستاره نباید به معنی این علامت تفسیر شود. اگر میخواهید ترجیحتان درباره آموزش خوانده شود، باید نام __usage_ai-training را جداگانه بنویسید.
