Исследовательское подразделение Apple совместно с учеными из Калифорнийского университета разработала новую модель ИИ с открытым исходным кодом, которая может редактировать изображения, используя инструкции на естественном языке. Она называется "MGIE", что расшифровывается как Multimodal Large Language Models Guided Image Editing.

MGIE использует мультимодальные модели большого языка (MLLM) для интерпретации команд пользователя и выполнения манипуляций с изображениями с точностью до пикселя. MLLM могут обрабатывать как текст, так и изображения, и уже зарекомендовали себя в таких приложениях, как ChatGPT, который понимает изображения с помощью GPT-4V и генерирует новые с помощью DALL-E 3.

MGIE использует эти возможности и впервые позволяет выполнять комплексные задачи по обработке изображений, от простой корректировки цвета до сложного манипулирования объектами.

Еще одна особенность MGIE — возможность выполнять глобальные и локальные манипуляции. Модель может выполнять выразительное редактирование на основе инструкций и применять обычные для Photoshop редактирования, такие как обрезка, масштабирование, поворот, зеркальное отражение и добавление фильтров.

Она также понимает сложные инструкции, такие как изменение фона, добавление или удаление объектов и объединение нескольких изображений.



MGIE доступен как проект с открытым исходным кодом на GitHub. Также есть демонстрация на Hugging Face.

Выпуск MGIE подчеркивает растущие амбиции Apple в области исследований и разработок ИИ. Генеральный директор Apple Тим Кук недавно подтвердил грядущее появление возможностей генеративного ИИ в iOS 18 и выразил "невероятное волнение" по поводу работы Apple в этой области. Исследования, подобные вышеприведенным, должны дать некоторое представление о том, что Apple планирует в плане новых функций для iOS.