Новая система искусственного интеллекта под названием семантический декодер может переводить мозговую активность человека - во время прослушивания рассказа или молчаливого представления рассказа - в непрерывный поток текста. Система, разработанная исследователями из Техасского университета в Остине, может помочь людям, которые находятся в сознании, но не могут говорить физически, например, тем, кто пострадал от инсульта, снова общаться внятно.
Исследование, опубликованное в журнале Nature Neuroscience, было проведено под руководством Джерри Танга, докторанта в области компьютерных наук, и Алекса Хута, доцента неврологии и компьютерных наук в UT Austin (Техасский университет в Остине). Работа частично опирается на модель, подобную тем, которые используются в системах ChatGPT компании Open AI и Bard компании Google.
В отличие от других разрабатываемых систем декодирования языка, эта система не требует от испытуемых хирургических имплантатов, что делает процесс неинвазивным. Участникам также не нужно использовать только слова из предписанного списка. Активность мозга измеряется с помощью фМРТ-сканера после длительного обучения декодера, в ходе которого человек прослушивает в сканере многочасовые подкасты. В дальнейшем, при условии, что участник открыт для декодирования своих мыслей, прослушивание им новой истории или воображение рассказанной истории позволяет машине генерировать соответствующий текст на основе одной лишь активности мозга.
"Для неинвазивного метода это настоящий скачок вперед по сравнению с тем, что делалось раньше, а это, как правило, отдельные слова или короткие предложения", - сказал Хут. "Мы получаем модель для декодирования непрерывного языка в течение длительных периодов времени со сложными идеями".
Результат не является дословной расшифровкой. Вместо этого исследователи разработали ее таким образом, чтобы она улавливала суть сказанного или продуманного, хотя и несовершенно. Примерно в половине случаев, когда дешифратор обучен отслеживать мозговую активность участника, машина выдает текст, близко (а иногда и точно) соответствующий смыслу исходных слов.
Например, в ходе экспериментов участники, услышав: "У меня еще нет водительских прав", переводили свои мысли как "Она еще даже не начала учиться водить". Слушая слова: "Я не знала, что делать: кричать, плакать или убегать. Вместо этого я сказала: "Оставь меня в покое!"" были расшифрованы как "Начала кричать и плакать, а потом просто сказала: "Я же сказала тебе оставить меня в покое".
На этом изображении показаны прогнозы декодера на основе записей мозга, собранных во время прослушивания пользователем четырех историй. Примеры сегментов были выбраны вручную и аннотированы, чтобы продемонстрировать типичное поведение декодера. Декодер точно воспроизводит некоторые слова и фразы и улавливает суть.
Александр Хут и Джерри Танг подали патентную заявку PCT (международная патентная система), связанную с этой работой.
Часто задаваемые вопросы исследователям:
Может ли эта технология быть использована на ком-то без его ведома, например, авторитарным режимом для допроса политических заключенных или работодателем для слежки за сотрудниками?
Нет. Система должна быть тщательно отработана на желающем это сделать субъекте в центре с большим дорогостоящим оборудованием. "Человек должен провести до 15 часов, лежа в магнитно-резонансном томографе, будучи совершенно неподвижным и внимательно слушая рассказы, которые он слушает, прежде чем это действительно хорошо на него подействует", - говорит Хут.
Можно ли вообще отказаться от обучения?
Нет. Исследователи протестировали систему на людях, на которых она не была обучена, и обнаружили, что результаты были неразборчивыми.
Есть ли способы защиты от расшифровки мыслей?
Да. Исследователи проверили, может ли человек, который ранее участвовал в обучении, активно сопротивляться последующим попыткам расшифровки мыслей. Такие приемы, как думать о животных или спокойно представлять, как рассказываешь свою собственную историю, позволили участникам легко и полностью помешать системе восстановить речь, которой они были подвержены.
Что, если технология и соответствующие исследования разовьются, чтобы однажды преодолеть эти препятствия или защиту?
"Я думаю, что сейчас, пока технология находится в таком раннем состоянии, важно действовать на опережение, принимая меры, которые защищают людей и их частную жизнь", - сказал Танг. "Регулирование того, для чего можно использовать эти устройства, также очень важно".
