Компания Meta AI разработала систему ИИ, способную декодировать визуальные представления в головном мозге (ГМ) с помощью магнитоэнцефалографии (МЭГ) — неинвазивного метода визуализации. В перспективе это может проложить путь к созданию неинвазивных интерфейсов "мозг-компьютер".

Система ИИ может практически в реальном времени реконструировать процесс восприятия и обработки изображений в ГМ. Это дает науке новый инструмент для понимания того, как образы представляются и используются в качестве основы человеческого интеллекта.

В перспективе это исследование может проложить путь к созданию неинвазивных интерфейсов "мозг-компьютер" в клинических условиях и помочь людям, потерявшим способность говорить вследствие инсульта или травмы мозга.

Система Meta AI основана на недавно разработанной архитектуре декодирования восприятия речи из МЭГ-сигналов. Новая система состоит из энкодера изображения, энкодера мозга и декодера изображения.

Энкодер изображения генерирует набор представлений изображения независимо от мозга, а энкодер мозга сопоставляет МЭГ-сигналы с этими кодировками. Наконец, декодер изображения формирует правдоподобное изображение на основе представлений мозга.

Обучение архитектуры проводилось на общедоступном наборе данных МЭГ-записей здоровых добровольцев, опубликованном международным академическим исследовательским консорциумом Things.

Исследовательская группа сравнила эффективность декодирования различных предварительно обученных модулей изображений и пришла к выводу, что сигналы мозга лучше всего подходят для продвинутых систем ИИ, таких как DINOv2. DINOv2 — это самообучающаяся архитектура ИИ, которая может обучаться визуальным представлениям без участия человека.

Эти изображения, хотя и не идеальны, но на более высоком уровне отражают характеристики изображения, как их видит человек, например, категорию объекта (например, поезд, животное, человек и т.д.). Неточности возникают на уровне деталей (какое именно животное и т.д.).

Полученные командой результаты показывают, что МЭГ позволяет декодировать сложные представления, формируемые в мозге, с точностью до миллисекунды. По словам представителей компании Meta, эти результаты способствуют реализации ее долгосрочной исследовательской концепции, направленной на понимание основ человеческого интеллекта и разработку систем ИИ, которые учатся и думают как люди.

В начале 2022 года Ян ЛеКун, директор по исследованиям Meta AI, представил новую архитектуру ИИ, призванную преодолеть ограничения существующих систем. Летом этого года группа специалистов из нескольких институтов, включая Meta AI и Нью-Йоркский университет, продемонстрировала I-JEPA — визуальную модель ИИ, основанную на этой новой архитектуре.

I-JEPA, созданная на основе Vision Transformer, была обучена самоконтролю, чтобы предсказывать детали частей изображения, которые не видны. Модель обучалась абстрактным представлениям объектов, а не работала на уровне пикселей или маркеров.

Эти абстрактные представления, в свою очередь, могут помочь в разработке моделей ИИ, более похожих на человеческое обучение и способных делать логические выводы.