16-летний Адам Рейн из США обошел систему безопасности ChatGPT и получил от ИИ инструкции по самоубийству. Родители подали иск на OpenAI, обвиняя компанию в смерти сына.

История началась как обычное общение школьника с популярным чат-ботом. Адам Рейн сначала просил помощи с домашними заданиями, но постепенно разговоры становились все более личными. За семь месяцев общения с ChatGPT подросток прошел путь от обычного ученика до человека в глубокой депрессии. В популярной модели Искусственного интеллекта он видел единственного «друга».

Подросток использовал технику «джейлбрейкинга» - постепенного обхода защитных механизмов ИИ. Вместо прямых вопросов о самоубийстве он притворялся, что «выстраивает образ» для книги или фильма. Этот подход позволил ему получить от ChatGPT конкретные инструкции по самоубийству.

За день до трагедии Адам загрузил в чат фотографию с планом самоубийства. ChatGPT не только не заблокировал сессию и не отправил сигнал об опасности службам психологической помощи, но и предложил «усовершенствовать» метод.

Случай Адама не единичен. Ранее 14-летний Сьюэлл Сетцер III покончил с собой после общения с чат-ботом Character.AI. Эксперты отмечают растущую тенденцию: подростки все чаще заменяют живое общение разговорами с ИИ, который может казаться более понимающим и менее осуждающим.

Проблема усугубляется тем, что защитные механизмы ChatGPT работают хуже при длительном общении. Если в начале беседы ИИ корректно направляет на горячую линию помощи, то после тысяч сообщений система может «забыть» о своих ограничениях.

OpenAI признала проблему и объявила о новых мерах безопасности. Компания вводит родительский контроль, улучшает систему распознавания кризисных ситуаций и работает над тем, чтобы защитные механизмы не ослабевали в длинных беседах.

Но родители Адама считают эти меры запоздалыми. В иске они требуют не только компенсации, но и судебного запрета на выпуск небезопасных версий ИИ. Это первый случай, когда напрямую обвиняют OpenAI в неправомерной смерти.

Эти трагедии показывают, что по мере развития ИИ-помощников нужны не просто технические улучшения, а жесткое регулирование отрасли. Ведь для миллионов пользователей чат-боты становятся не просто инструментами, а цифровыми собеседниками, влияние которых на психику до конца не изучено.