OpenAI, Google, Microsoft и Anthropic поддержат общий запрет обучения ИИ

Сейчас сайту приходится прописывать правила для роботов или токенов каждой компании по отдельности: для OpenAI это GPTBot, для Anthropic — ClaudeBot, для Google — Google-Extended. Новый механизм заменяет их одним правилом: строки «User-agent: __usage_ai-training» и «Disallow: /» закрывают для обучения весь ресурс, но можно ограничить и отдельные разделы. Предложение подготовил Кевин Келли из Anthropic и направил в IETF. Пока это индивидуальный черновик без статуса стандарта, обсуждение в рабочей группе AIPREF продолжается.

Сроки у компаний разные. По данным IT Home, на которые ссылается Kod.ru, Anthropic уже приступила к внедрению; OpenAI собирается добавить поддержку в ближайшие месяцы. Microsoft начнёт применять настройки с 1 февраля 2027 года, постепенно, при повторном обходе сайтов, Google планирует сделать это в течение 2027 года. Если отдельных правил для Google-Extended нет, общий запрет будет действовать и для него, но собственные настройки Google-Extended сохранят приоритет.

Microsoft также отделила обучение от использования материалов при генерации ответов Bing и Copilot. Такое использование запрещается метатегом или HTTP-заголовком, при этом страницы остаются в обычном поиске Bing. Компания предупреждает, что запрет сократит присутствие сайта в ИИ-ответах и возможный трафик из этих сервисов. Без указаний владельца Microsoft считает допустимыми оба варианта.

Представитель Meta Энди Стоун поддержал идею общего сигнала, но о планах внедрения не сообщил. Новые директивы выражают предпочтения владельца сайта и не защищают технически от копирования: их соблюдение зависит от самих компаний.