OpenAI внедряет невидимые водяные знаки для текстов в ChatGPT и Codex

Нововведение обусловлено вступлением в силу европейского закона об искусственном интеллекте, обязывающего создателей генеративных моделей обеспечивать машинное распознавание созданного контента. В ближайшие недели скрытые метки станут внедряться в ответы на всех тарифных планах в ЕС. Кроме того, клиенты API по всему миру получили возможность добровольно включать эту функцию для ряда моделей, а доступ к детектору меток на начальном этапе предоставляется только аккредитованным исследователям и профильным организациям.

Метод textGrain не использует скрытые символы или пробелы, а вносит статистический паттерн на этапе подбора слов и токенов нейросетью. По данным внутренних бенчмарков OpenAI, процедура почти не отражается на качестве генерации. Вместе с тем разработчики отмечают уязвимость технологии: в тексте из 400 токенов замена 10% слов снижает точность детектора с 92% до 66%, а замена 25% слов — до 17%. Детектор также хуже справляется с короткими фрагментами и точными дисциплинами с ограниченным выбором формулировок.

В компании подчеркнули, что водяной знак textGrain не идентифицирует пользователя, не раскрывает тексты его запросов, не оценивает долю участия человека в написании и не служит подтверждением фактической точности информации.