Первый ИИ компании Meta, идентифицирующий объекты SAM, был настолько хорош, что теперь выпустил SAM 2.

Спустя более года после запуска модели Segment Anything Model (SAM) и ее набора данных маски 1B, Meta сделала еще одно объявление. Материнская компания Facebook представила SAM 2, новую модель искусственного интеллекта, которая позволяет идентифицировать визуальные объекты и следить за ними в режиме реального времени.

По словам Меты, SAM и его SA-1B добились успеха, потому что у них были приложения смешанной реальности в таких областях, как морская наука и даже медицина. Настолько, что Meta теперь расширяет возможности сегментации видео для SAM 2, по сравнению с предыдущим SAM только с изображениями, а коды также доступны на GitHub.

«SAM 2 может сегментировать любой объект и последовательно отслеживать его по всем кадрам видео в режиме реального времени, открывая новые возможности для редактирования видео и новый опыт в смешанной реальности», — описывает Мета.

Мета также сообщает, что модель Segment Anything Model следующего поколения в шесть раз быстрее и точнее, чем ее предшественница, превосходно справляясь с различными тестами и реальными приложениями для сегментации видео. Он требует меньше человеческого взаимодействия для эффективной сегментации видео и поддерживает вывод в реальном времени со скоростью примерно 44 кадра в секунду (fps).

Выпущенный под разрешительной лицензией Apache 2.0, код SAM 2, веса и новый набор данных SA-V находятся в свободном доступе.

Его предшественник, первый ЗРК, легко интегрировался в различные системы и может работать с различными типами изображений прямо из коробки. Набор данных SA-1B, содержащий более 1.1 миллиарда масок, был создан с использованием сочетания ручных и автоматических методов, что ускоряет и упрощает сбор данных.

Вы можете попробовать демо-версию SAM 2. здесь.