Google, Microsoft, OpenAI и Anthropic пообещали признавать один общий запрет на обучение Искусственного интеллекта на чужих материалах. Владелец сайта прописывает его в файле robots.txt, обычном текстовом документе в корневой папке, где указано, каким автоматическим программам что разрешено читать. Сейчас так не получается: у каждой компании собственный сборщик страниц, у OpenAI он называется GPTBot, у Anthropic — ClaudeBot. Чтобы запретить обучение, каждый приходится закрывать в файле отдельной записью, и пропущенный продолжает читать сайт. Редактору регионального издания или хозяину Интернет-магазина нужно указывать всех поименно.
Новое правило добавляет в файл группу с особым названием __usage_ai-training. Это условное обозначение, а не настоящая программа: под ним перечисляют, что из материалов сайта брать для обучения нельзя. Например, Disallow: / закрывает все страницы, а ниже можно оставить исключения. Скажем, Allow: /press/ сохранит доступ к папке для прессы. Привычная строка со звездочкой, обращенная сразу ко всем, не сработает, потому что написание должно совпасть дословно. Тем, кто ведет сайт и не хочет, чтобы на его данных обучались ИИ-модели, достаточно будет дописать пару команд в давно существующий файл.
Сроки внедрения новинки у компаний разные. Anthropic уже начала поддерживать новое правило, то есть робот уже читает запрет при сборе страниц, хотя автор идеи предупредил, что на доработку уйдет время. Microsoft с 1 февраля 2027 года начнет считаться с новыми настройками в поисковике Bing и заменит ими теги NoArchive и NoCache, которые применяет с 2023 года. Google называет начало 2027 года, а OpenAI обещает сделать это в ближайшие месяцы. Прежние правила для отдельных сборщиков информации при этом остаются в силе, и запрет для GPTBot или ClaudeBot продолжит действовать так же, как сейчас. Новый сигнал их дополняет и не отменяет.
Автор идеи — руководитель по стандартам из Anthropic. Он оформил ее как черновик в IETF (организации, которая описывает технические правила работы Интернета). Стандарты там обычно рождаются так: сначала кто-то публикует идею, затем ее обсуждают специалисты, и лишь после этого IETF может утвердить его. Но до этого пока далеко. Черновик остается личной инициативой одного автора, IETF его не одобряла, и действовать он перестанет 3 мая 2027 года, если его не обновят. Зато в разговоре участвовали сотрудники ряда крупных СМИ и издательских объединений, а Google заявила, что предложение соответствует европейскому кодексу практик для универсальных моделей ИИ. Параллельно рабочая группа той же организации готовит словарь пометок вроде train-ai=n, который описывает, для чего ресурс можно использовать.
Защитой от копирования сигнал не служит. По словам OpenAI, это координация, а не средство безопасности, так что программа, которая игнорирует robots.txt, пропустит и новую запись. Страницы по-прежнему можно скачивать, запрет касается только обучения моделей, а уже собранные данные никто удалять не будет. Частные договоренности сайта с ИИ-лабораторией способны его перекрыть.
Есть и обратная сторона. У Google давно работает собственный переключатель Google-Extended, который запрещает использовать сайт для обучения ее моделей, в том числе Gemini. Новая запись по сути делает то же самое, только она должна стать единым стандартом для всех разработчиков ИИ. Поэтому, если сайт добавил ее и ничего не написал про Google-Extended, Google решит, что он закрыт для обучения Gemini. При этом сотрудник Google Джон Мюллер уточнил: страницы, для которых Google-Extended разрешен, могут попадать в ответы приложения Gemini и приводить оттуда читателей. Microsoft отделяет обучение от «заземления» (случаев, когда ИИ строит ответ на живой странице) и признает: закрыв такой доступ, сайт заметно потеряет в видимости. Место в обычной выдаче Bing запрет не меняет. Выходит развилка: беречь тексты или оставаться на виду у нейросетей.
Новостные издатели в разных странах добиваются не только запрета, но и денег. В Австралии государственные вещатели ABC и SBS требуют, чтобы ИИ-компании возмещали использование их материалов. В июле Cloudflare, крупный сервис защиты и ускорения сайтов, потребовала от ИИ-сборщиков платить или оказаться заблокированными, а ее глава говорил, что объем бот-трафика может в 1000 раз превысить человеческий. Новая инициатива платы не предусматривает, зато дает юристам и редакциям понятный довод для разговора с ИИ-лабораториями.
Из других гигантов вне этой четверки остается Meta. Энди Стоун, глава ее коммуникаций, поддержал общий сигнал в соцсети X, однако будет ли его учитывать сама Meta, он не сказал. Об остальных ИИ-лабораториях, включая китайские DeepSeek, Alibaba и ByteDance, в сообщениях об инициативе ничего не говорится, обещаний от них нет. Для этих компаний ожидание не новость: по данным Kasada (фирмы, которая выявляет вредоносных ботов), в 2024 году сборщик ByteDance под названием Bytespider вообще не обращал внимание на robots.txt.
