یک خط در robots.txt برای آموزش مدل‌های مولد

اوپن‌ای‌آی روز ۳۰ اکتبر نوشت یک سیگنال مشترک در فایل robots.txt را محترم می‌شمارد تا صاحب سایت با یک قاعده به چند شرکت بگوید محتوای صفحاتش صرف آموزش مدل‌های مولد پایه نشود. این تعهد داوطلبانه است، کنترل‌های فعلی خزنده‌ها را کنار نمی‌گذارد و شرکت گفته پیاده‌سازی را در ماه‌های آینده انجام می‌دهد. زمینه را کارگروه ترجیحات هوش مصنوعی در کارگروه مهندسی اینترنت، IETF، دانسته است.

انگجت روز ۳۱ اکتبر نوشت گوگل، انتروپیک، اوپن‌ای‌آی و مایکروسافت این سیگنال را پذیرفته‌اند. پیشنهاد را کوین کلی، مسئول فنی استانداردها در انتروپیک، به IETF داده است. در همان گزارش، شناسهٔ عامل کاربری __usage_ai-training است و این قاعده جلوی دیده شدن سایت در جست‌وجو را نمی‌گیرد. انگجت زمان‌بندی را این‌طور از اعلام شرکت‌ها آورده: انتروپیک پشتیبانی را شروع کرده، اوپن‌ای‌آی در ماه‌های آینده، گوگل اوایل ۲۰۲۷ و مایکروسافت از ۱ فوریهٔ ۲۰۲۷. خزش‌هایی که پیش از این انجام شده با این خط برنمی‌گردد.

منبع: اوپن‌ای‌آی، ۳۰ اکتبر ۲۰۲۶؛ گزارش انگجت از اعلام شرکت‌ها، ۳۱ اکتبر ۲۰۲۶.

نماگرفت سال ۲۰۱۴ از وِی‌بک ماشین: خزنده به‌خاطر robots.txt نتوانسته فیس‌بوک را ذخیره کند. اینترنت آرشیو، مالکیت عمومی. این تصویر اعلامیهٔ این هفته نیست و فقط نمونه‌ای قدیمی از اثر همین فایل است.