PixArt-Σ от Huawei — это новый генератор изображений с искусственным интеллектом (ИИ), способный создавать изображения с разрешением 4K. Эта модель преобразования текста в изображение была разработана в сотрудничестве с несколькими китайскими университетами и основана на предыдущих результатах PixArt-α (Alpha) и PixArt-δ (Delta).
PixArt-Σ (Sigma) предлагает улучшенное качество изображения, оперативную точность и эффективность в работе с обучающими данными. ИИ-модель генерирует сверхчеткие изображения с разрешением до 3 840 х 2 560 пикселей без промежуточного апскейла, даже при необычном соотношении сторон. Предыдущие модели PixArt были ограничены разрешением 1 024 х 1 024 пикселей.
PixArt-Σ обучалась на 33 млн изображений с разрешением не менее 1K и 2,3 млн изображений с разрешением 4K, что в два раза превышает обучающую базу данных PixArt-α.
Так как более высокое разрешение приводит к более высоким вычислительным требованиям, исследователи компенсировали это с помощью стратегии обучения "от слабого к сильному". Эта стратегия включает в себя специальные методы тонкой настройки, которые позволяют быстро и эффективно переходить от слабых моделей к сильным.
Среди использованных ими методов — применение более мощного автокодировщика переменных (VAE), который лучше "понимает" изображения, масштабирование от низкого разрешения к высокому, а также переход от модели без сжатия ключевых значений (KV) к модели со сжатием KV, которая фокусируется на наиболее важных аспектах изображения.
Помимо разрешения изображений в обучающих данных, важную роль играет точность описаний. Хотя исследователи наблюдали галлюцинации при использовании LLaVA в PixArt-α, эту проблему в значительной степени устранили с помощью share-captioner на базе GPT-4V. Этот инструмент с открытым исходным кодом пишет подробные и точные подписи к изображениям, собранные для обучения модели PixArt-Σ.
По сравнению с другими моделями, PixArt-Σ показала лучшую производительность в плане качества изображения и быстрого согласования, чем существующие модели диффузии текста и изображения с открытым исходным кодом, такие как SDXL (2,6 млрд) и SD Cascade (5,1 млрд), несмотря на относительно небольшое количество параметров — 600 млн.
Как сообщает Huawei, PixArt-Σ является отличной альтернативой таким ИИ-генераторам изображений как Adobe Firefly 2, Google Imagen 2, OpenAI DALL-E 3 и Midjourney v6.
