Компания NVIDIA объявила о значительном расширении двух фреймворков на платформе NVIDIA Jetson для Edge AI и робототехники. В числе обновлений — новая лаборатория генеративного ИИ Jetson Generative AI Lab для разработчиков, использующих новейшие модели генеративного ИИ с открытым исходным кодом, и фреймворк для робототехники NVIDIA Isaac ROS 2.0, который стал общедоступным.
Более 10 000 компаний, работающих на платформе NVIDIA Jetson, теперь могут использовать новый генеративный ИИ, API и микросервисы для ускорения промышленной цифровизации. NVIDIA надеется, что новая Generative AI Lab ускорит разработку приложений ИИ и их развертывание на периферии.
ИИ все чаще используется для решения все более сложных сценариев, в которые могут попасть роботы. Перепрограммирование роботов и систем ИИ на лету в соответствии с меняющимися условиями, производственными линиями и потребностями заказчиков в автоматизации может занимать много времени и требовать высокой квалификации.
С помощью генеративного ИИ роботизированные модели могут распознавать вещи, которые ранее не встречались в процессе обучения. А интерфейс на естественном языке может упростить разработку и управление ИИ на периферии.
Лаборатория генеративного ИИ Jetson предоставляет разработчикам доступ к оптимизированным инструментам и учебным пособиям по развертыванию открытых LLM, диффузионных моделей для генерации интерактивных изображений, языковых моделей зрения (VLM) и трансформаторов зрения (ViT). Эти инструменты объединяют искусственное зрение с обработкой естественного языка, что позволяет роботам получить полное представление о сцене.
Разработчики также получат доступ к инструментарию NVIDIA TAO Toolkit, который поможет им создавать эффективные и точные модели ИИ для edge приложений.
С помощью TAO разработчики могут настраивать и оптимизировать такие фундаментальные модели, как NVIDIA NV-DINOv2, или публичные модели, такие как OpenCLIP, для создания высокоточных моделей ИИ-зрения с небольшим количеством данных. TAO также включает VisualChangeNet, новую модель на основе трансформаторов для контроля дефектов.
Фреймворк NVIDIA Isaac используют для разработки высокопроизводительных робототехнических систем в различных областях, включая сельское хозяйство, автоматизацию складов, доставку грузов "на последнюю милю", сервисные роботы и прочее.
Построенная на базе Robot Operating System (ROS), Isaac ROS привносит восприятие в автоматизацию, давая глаза и уши тому, что движется. С выходом последней версии Isaac ROS 2.0 разработчики могут создавать и выводить на рынок высокопроизводительные роботизированные системы с помощью Jetson.
Усовершенствования в последней версии включают встроенную поддержку ROS 2.0 Humble, мост NITROS ROS, CUDA NITROS, интеграцию камеры Stereolabs ZED, поддержку Nova Carter и производительность ESS 3.0.
"ROS продолжает расти и развиваться, предоставляя программное обеспечение с открытым исходным кодом для всего робототехнического сообщества", — сообщил Джефф Биггс (Geoff Biggs), технический директор Open Source Robotics Foundation. "Новые готовые пакеты ROS 2.0 от NVIDIA, представленные в этом выпуске, ускорят этот рост, сделав ROS 2.0 доступной для огромного сообщества разработчиков NVIDIA Jetson".
