Компании Raspberry Pi и Sony совместно выпустили новый модуль камеры с поддержкой искусственного интеллекта (ИИ). В Raspberry Pi AI Camera интегрирован датчик изображения Sony IMX500 со встроенным ИИ-ускорителем, что позволяет пользователям запускать модели нейронных сетей непосредственно на устройстве без необходимости использования дополнительного оборудования, такого как GPU или внешние ускорители.

AI Camera построена на базе 12,3-мегапиксельного сенсора Sony IMX500 Intelligent Vision Sensor и оснащена микроконтроллером Raspberry Pi RP2040 для управления нейросетями и прошивкой. Такая комбинация позволяет обрабатывать изображения и делать выводы в режиме реального времени, освобождая процессор Raspberry Pi для других задач.

Основные технические характеристики AI Camera включают:

— Разрешение: 4056х3040 при 10 кадрах в секунду и 2028х1520 при 30 кадрах в секунду;

— Размер пикселя: 1,55 мкм х 1,55 мкм;

— Поле зрения: 78 градусов с ручной регулировкой фокуса;

— Совместимость: Работает со всеми моделями Raspberry Pi, включая Raspberry Pi Zero.

Одной из отличительных особенностей камеры является ее бесшовная интеграция с существующим программным стеком Raspberry Pi. Устройство использует фреймворк libcamera, позволяющий разработчикам без труда получать синхронизированные кадры изображений и результаты работы нейронных сетей. Такая интеграция упрощает создание приложений, таких как обнаружение объектов и оценка позы, без обширного кодирования. Например, запуск таких распространенных моделей, как MobileNet SSD для обнаружения объектов или PoseNet для оценки позы, может быть осуществлен с минимальным количеством строк кода с помощью таких библиотек, как Picamera2.

Несмотря на то, что AI Camera предлагает значительные преимущества, Raspberry Pi также предлагает AI Kit (который она запустила в июне), более мощную альтернативу, способную выполнять тринадцать триллионов операций в секунду. Однако AI Kit совместим только с Raspberry Pi 5 и требует отдельного модуля камеры. Выбор между AI Camera и AI Kit зависит от конкретных потребностей проекта, таких как требования к производительности и совместимость оборудования.

Появление камеры AI Camera открывает новые возможности для разработчиков, заинтересованных в ИИ-приложениях. Потенциальные варианты использования могут быть самыми разнообразными: от датчиков для умных городов, отслеживающих транспортные потоки, до промышленных систем контроля качества. Компактные размеры устройства — 25х24х11,9 мм — и совместимость со всеми моделями Raspberry Pi делают его универсальным инструментом как для любителей, так и для профессионалов.

Руководство по началу работы с AI Camera.

ИИ-камера Raspberry Pi уже доступна по цене 70 долларов, и компания обязалась поддерживать ее производство как минимум до января 2028 года.