Компания Meta представила V-JEPA (Video Joint Embedding Predictive Architecture) — новую модель искусственного интеллекта (ИИ), которая учится понимать и взаимодействовать с физическим миром, просматривая видео. Инициатива JEPA направлена на то, чтобы наделить ИИ способностью планировать, рассуждать и выполнять сложные задачи, формируя внутреннюю модель своего окружения.

Разработанная Яном Лекуном, вице-президентом и главным научным сотрудником Meta по ИИ, и его командой, V-JEPA предназначена для предсказания и понимания сложных взаимодействий в видео, подобно тому, как младенец узнает о гравитации, наблюдая за падением предметов. Модель работает, заполняя недостающие или непонятные части видео, не восстанавливая каждый пиксель, а декодируя абстрактное представление сцены, что, как объясняет Meta, похоже на то, как мы обрабатываем изображения в нашем сознании.

Идея V-JEPA заключается в том, что предсказания должны происходить в концептуальном пространстве более высокого уровня, что позволяет сосредоточиться на том, что важно для понимания и выполнения задач, не зацикливаясь на несущественных деталях. Например, при распознавании дерева на видео модель не должна учитывать движение каждого листа.

Заглядывая в будущее, команда Мета видит потенциал в расширении возможностей V-JEPA на аудио и улучшении его способности планировать и прогнозировать на более длительные промежутки времени. В настоящее время V-JEPA отлично справляется с распознаванием краткосрочных действий, но более долгосрочное прогнозирование представляет интерес для дальнейших исследований.

Конечная цель состоит в том, чтобы эти модели могли делать пространственные и временные предсказания будущих событий, причем важную роль в этом уравнении будет играть видеообучение.

Meta выпустила V-JEPA под некоммерческой лицензией Creative Commons. Прочитать полный текст статьи можно здесь. Код на GitHub.