Apple выпустила SHARP — модель Искусственного интеллекта с открытым исходным кодом, которая преобразует простую фотографию в реалистичную 3D-сцену менее чем за секунду. Технология использует метод 3D Gaussian Splatting (трёхмерное гауссово сплаттинг — способ представления сцены как набора миллионов маленьких цветных и размытых точек в пространстве) и обеспечивает улучшение на 25-34% по сравнению с предыдущими лидерами рынка, при этом работая значительно быстрее. Код и веса модели опубликованы на GitHub под лицензией Apache-2.0, что позволяет всем желающим использовать технологию бесплатно.
Традиционные методы создания 3D-сцен требуют десятки или сотни фотографий с разных ракурсов и минуты вычислений на мощных GPU. SHARP переворачивает эту логику: модель берёт одно изображение размером 1536×1536 пикселей, пропускает его через нейросеть и выдаёт около 1,2 миллиона 3D-гауссианов — этих самых «размытых пятен» цвета и света, расположенных в пространстве. Когда они собираются вместе, получается полноценная 3D-сцена, которую можно рендерить в реальном времени со скоростью более 100 кадров в секунду на обычной видеокарте.
Модель обучалась на 700 тысячах синтетических сцен и 2,65 миллиона реальных фотографий из Интернета. Это позволило ей научиться распознавать типичные паттерны глубины и геометрии — например, что стены обычно плоские, а небо находится далеко. Когда SHARP видит новую фотографию, она предсказывает глубину каждого пикселя, уточняет её на основе выученных закономерностей и генерирует все параметры миллионов гауссианов за один проход.
Правда, есть нюанс: нейросеть точно воспроизводит только близлежащие видимые точки, а не синтезирует скрытые части сцены. То есть виртуальную камеру нельзя отодвинуть слишком далеко от исходной позиции — примерно на полметра максимум. SHARP также испытывает трудности со сложными отражениями, может неправильно размещать объекты и иногда путает небо с изогнутой поверхностью.
И все-таки зачем это надо? С одной стороны, Apple хоть в какой-то области в сфере ИИ занимает не последнее место. Но на самом деле, технология будет очень востребованной. Самое очевидное применение — очки дополненной и виртуальной реальности. Apple уже выпустила Vision Pro, которые умеют создавать и просматривать пространственные фото. SHARP идеально вписывается в эту экосистему: любую фотографию из вашего архива можно будет мгновенно превратить в объёмную сцену и «заглянуть за угол», словно вы снова оказались в этом месте. iPhone 15 Pro и более новые модели уже умеют снимать пространственные видео, но для этого все-таки нужны две камеры. SHARP может делать то же самое с обычными плоскими снимками.
Технология находит применение и в других сферах. Дизайнеры интерьеров могут сфотографировать пустую комнату и сразу на iPad увидеть 3D-модель, чтобы расставить виртуальную мебель — точность масштаба в тестах достигает 3%. Инди-разработчики игр фотографируют каменную стену и спокойно создают реальную «живую» фактуру фона для геймплея. Музеи смогут превращать архивные чёрно-белые фотографии в исследуемые 3D-пространства, позволяя студентам виртуально гулять по историческим местам. Медицинские школы конвертируют анатомические диаграммы в интерактивные 3D-модели. Энтузиасты на Reddit и Instagram уже делятся результатами: один пользователь сообщил о генерации исследуемой сцены примерно за 10 секунд на MacBook Pro.
В отличие от большинства своих разработок, эта модель с открытым исходным кодом, то есть любой может воспользоваться ей для создания своих проектов. Это позиционирует Apple как лидера в нише 3D-генерации и привлекает сообщество исследователей и разработчиков, которые будут тестировать, улучшать и адаптировать технологию, что генерирует обратную связь для будущих обновлений и расширяет экосистему за пределы собственных продуктов Apple.
В условиях усиливающейся конкуренции с OpenAI и Google, которые тратят миллиарды на приобретение стартапов и переманивание талантов стомиллионными бонусами, Apple выбрала более осторожную и, возможно, более умную стратегию. Вместо того чтобы соревноваться в создании универсальных больших языковых моделей, компания фокусируется на конкретных задачах, которые улучшают пользовательский опыт на её устройствах. SHARP — часть этой стратегии: технология подчёркивает сильные стороны аппаратного обеспечения Apple (Neural Engine, LiDAR в некоторых iPhone) и дополняет существующие функции вроде Spatial Photos.
