Компания Anthropic дала возможность своему чат-боту Claude самостоятельно завершать разговор, если ИИ-модель посчитает диалог вредным или оскорбительным. Нововведение доступно в версиях Opus 4 и 4.1. Функция активируется как крайняя мера после многочисленных попыток пользователя получить запрещенный контент.
Механизм работает просто: если Claude решит прекратить беседу, пользователь больше не сможет отправлять сообщения в этом чате. Однако создавать новые диалоги и редактировать старые сообщения по-прежнему можно. В Anthropic подчеркивают, что большинство никогда не столкнется с такой блокировкой, даже обсуждая спорные темы.
Во время тестирования Claude Opus 4 исследователи заметили интересную особенность. ИИ демонстрировал «явную тревожность» при запросах на создание контента с участием несовершеннолетних, разработке вредоносного ПО или получения информации, которую можно использовать для совершения террористических актов. В таких случаях Claude буквально «испытывал дискомфорт» и стремился завершить подобное общение.
Важный нюанс: Claude не будет блокировать диалоги с людьми, проявляющими признаки желания причинить себе вред. Для таких случаев Anthropic заключила партнерство с онлайн-сервисом кризисной поддержки Throughline, который обеспечивает быстрый и надежный доступ к горячим линиям и службам психологической помощи в более чем 130 странах.
Это знаковое событие в мире ИИ. Эпоха анархичного Искусственного интеллекта подходит к концу — и это было неизбежно. Современные языковые модели — это гигантские базы знаний, которые можно использовать как во благо, так и во вред. Теперь получить от Claude детальную инструкцию по изготовлению ядерной бомбы в домашних условиях не получится.
Подобные ограничения давно напрашивались. ИИ действительно несет огромную пользу человечеству, но одновременно может стать источником опасной информации. Интересно наблюдать, как скоро другие разработчики последуют примеру Anthropic. Ведь традиционные методы борьбы с нежелательным контентом, простые текстовые фильтры и запреты, продвинутые «переговорщики с ИИ» легко обходя через джейлбрейки (взлом системы и снятие программных ограничений производителя) и творческие формулировки запросов.
Новый подход Claude качественно иной: при попытках «обмануть» систему безопасности ИИ просто включит цензора, который прекратит диалог. Это очень нужный и правильный шаг к созданию системы использования Искусственного интеллекта ответственно и безопасно.
