چندین شرکت بزرگ حوزه هوش مصنوعی از جمله Anthropic، Google، Microsoft و OpenAI موافقت کرده‌اند از مکانیزم جدیدی پشتیبانی کنند که به ناشران رسانه‌ای اجازه می‌دهد تنها با افزودن چند خط متن ساده، از به‌کارگیری محتوای خود برای آموزش مدل‌های هوش مصنوعی انصراف دهند. این استاندارد پیشنهادی که «توکن سیاست‌گذاری» (policy token) برای آموزش هوش مصنوعی نامیده می‌شود، در حالی مطرح شده است که ناشران دیجیتال در تلاش‌اند کنترل بیشتری بر نحوه جمع‌آوری و استخراج اطلاعات خود توسط شرکت‌های فناوری داشته باشند؛ تلاشی که پیش‌تر از طریق مسدودسازی ربات‌ها، پیگیری‌های حقوقی و مذاکره برای قراردادهای اعطای مجوز دنبال می‌شد.
دستورالعمل جدید در فایل robots.txt و فرایند استانداردسازی
ایده اصلی این مکانیزم بر افزودن یک خط کد به فایل robots.txt مبتنی است؛ فایلی که وب‌سایت‌ها از آن برای اعلام مجوز دسترسی به خزنده‌های وب (web crawlers) استفاده می‌کنند. در الگوی جدید، ناشران می‌توانند عبارت User-Agent: __usage_ai-training را درج کرده و در خطوط بعدی با کلمات «disallow» یا «allow» دسترسی خزنده‌ها را تعیین کنند. همچنین امکان تعریف استثنائاتی نظیر مجوز دادن به استخراج بخش‌های خاص مانند کیت‌های خبری وجود دارد. پیش از این ناشران مجبور بودند هر خزنده را به‌طور جداگانه نام ببرند، اما توکن جدید امکان تنظیم یک‌باره ترجیحات را فراهم می‌سازد.
این پیشنهاد توسط کوین کلی (Kevin Kelley)، مدیر فنی استانداردها در Anthropic نوشته شد و در تاریخ ۳۰ اکتبر به کارگروه مهندسی اینترنت (IETF) ارائه گردید. گروهی موسوم به «ترجیحات هوش مصنوعی» (AIPREF) در IETF با حضور شرکت‌های Anthropic، Google، Microsoft و OpenAI شکل گرفته است تا این استاندارد را بررسی کند. با این حال، الکس اسپرینگر (Alex Springer)، مدیر فنی ائتلاف ناشران SPUR، هشدار داده است که اعلام حمایت یک‌جانبه غول‌های فناوری از یک پیش‌نویس بررسی‌نشده، بر خلاف روند اجماع عمومی در IETF است و این شرکت‌ها سعی دارند استانداردی فرضی را تحمیل کنند که نیازهای واقعی صاحبان محتوا را برآورده نمی‌کند. او همچنین تاکید کرد که این اقدام دیدگاهی را عادی‌سازی می‌کند که بر اساس آن، محتوا به‌طور پیش‌فرض قابل استفاده برای هوش مصنوعی است مگر آنکه ناشر صریحاً انصراف دهد.
جدول زمانی پذیرش توسط غول‌های فناوری
پذیرش این توکن توسط شرکت‌های مختلف فناوری با رویکردها و زمان‌بندی‌های متفاوتی همراه شده است. Anthropic اعلام کرده که فرایند به‌کارگیری این سیگنال را آغاز کرده است. OpenAI نیز در پستی وبلاگی مشخص ساخت که در ماه‌های آینده از این توکن پشتیبانی خواهد کرد، اما تاکید کرد که این ابزار جایگزین کنترل‌های موجود آن برای خزنده‌ها نخواهد شد.
در این میان، Google هدف‌گذاری خود برای پشتیبانی از این پروتکل را سال ۲۰۲۷ اعلام کرده و آن را مکملی برای ابزارهای قبلی مانند Google-Extended دانسته است که در سال ۲۰۲۳ برای محدود کردن آموزش مدل‌های Gemini راه‌اندازی شده بود. Microsoft نیز اعلام نموده علاوه بر رعایت این توکن، امکان انصراف ناشران از «زمینه سازی هوش مصنوعی» (AI grounding) یا همان استخراج اطلاعات در لحظه را فراهم می‌کند. ترجیحات جدید Microsoft از ۱ فوریه ۲۰۲۷ جایگزین گزینه‌های قبلی NoArchive و NoCache خواهند شد. از سوی دیگر، Meta اگرچه به صراحت تعهدی برای تبعیت اعلام نکرده، اما اندی استون (Andy Stone)، سخنگوی شرکت، در شبکه اجتماعی X از ایجاد یک سیگنال مشترک برای اعلام ترجیحات ناشران استقبال کرده است.
چالش‌های اجرایی و تردیدها درباره کارایی واقعی
با وجود استقبال اولیه، کارشناسان نسبت به ضمانت اجرایی این ابزار تردیدهای جدی دارند. فایل robots.txt از نظر فنی بیشتر یک توصیه است تا یک پروتکل الزام‌آور. داده‌های شرکت ارزیابی رؤیت‌پذیری هوش مصنوعی ScalePost که فعالیت بیش از ۵۰ رسانه را بررسی کرده نشان می‌دهد طی ۳۰ روز، خزنده‌های چهار شرکت یادشده حدود ۱ میلیارد درخواست ارسال کرده‌اند، اما تنها ۰.۱۵ درصد از این درخواست‌ها برای بررسی فایل robots.txt بوده است.
کارشناس دیگری به نام بانیستر (Bannister) این اقدام را بیشتر یک مانور بازاریابی بی‌فایده دانسته که بسیار دیر ارائه شده است. او اشاره می‌کند که ابزارهایی از این دست مانند قفل کردن در خانه هستند که جلوی برخی از سارقان را می‌گیرند اما امنیت کامل ایجاد نمی‌کنند. به گفته او، حتی اگر خزنده‌ها به این توکن احترام بگذارند، شرکت‌های هوش مصنوعی می‌توانند داده‌های مورد نیاز خود را از طریق طرف‌های ثالث یا پایگاه‌های داده باز مانند Common Crawl خریداری و تامین کنند بدون آنکه توافق‌نامه‌ای را نقض کرده باشند.
علاوه بر این، انصراف از آموزش هوش مصنوعی می‌تواند بر «رؤیت‌پذیری برند» (AI visibility) نیز تاثیر بگذارد. Microsoft رسماً اعلام کرده که غیرفعال کردن خزنده‌ها برای grounding به کاهش دیده شدن برند در تجربه‌های هوش مصنوعی منجر می‌شود. از سوی دیگر، این توکن جدید هیچ ارتباطی با «استنتاج هوش مصنوعی» (AI inference) یا بازخوانی زنده محتوا ندارد؛ حوزه‌ای که اکنون محور اصلی قراردادهای تجاری و اعطای مجوز میان رسانه‌ها و شرکت‌های فناوری را تشکیل می‌دهد.