На выставке SIGGRAPH компания Meta анонсировала Segment Anything Model 2 (SAM 2) — ИИ-модель для сегментации объектов в режиме реальном времени. Модель работает как со статическими изображениями, так и с динамическим видеоконтентом. В архитектуре модели использована инновационная конструкция потоковой памяти, позволяющая последовательно обрабатывать видеокадры. Благодаря такому подходу SAM 2 особенно хорошо подходит для приложений реального времени, открывая новые возможности для видеомонтажа, аналитики в автономных транспортных средствах, робототехнике и научных исследованиях.

В эталонных тестах SAM 2 продемонстрировала превосходную производительность, опередив предыдущие подходы как по точности, так и по скорости. Модель универсальна и способна сегментировать практически любые объекты на изображениях и видео — даже те, с которыми она никогда раньше не сталкивалась. Meta выпустила SAM 2 с открытым исходным кодом под лицензией Apache 2.0. Это решение позволит разработчикам и исследователям по всему миру свободно развивать и интегрировать технологию в свои проекты, что потенциально ускорит инновации в этой области.

Наряду с самой моделью Meta представила SA-V, набор данных, призванный расширить границы исследований в области сегментации видео. SA-V включает в себя около 51 000 реальных видео и более 600 000 пространственно-временных масок, предоставляя богатый ресурс для обучения и оценки будущих моделей сегментации.

Ссылки на модель, набор данных и исследовательскую работу Meta.