Компания Stability AI представила SDXL Turbo, новую модель преобразования текста в изображение. Используя новую технику под названием Adversarial Diffusion Distillation (ADD), SDXL Turbo может создавать детальные изображения в режиме реального времени из коротких текстовых подсказок, сохраняя при этом высокую точность.

ADD позволяет SDXL Turbo сократить процесс преобразования текста в изображение всего до одного шага, в то время как предыдущие модели, такие как SDXL 1.0, требовали 50 шагов для вывода изображения. Такое значительное повышение эффективности позволяет существенно сократить вычислительные мощности и время, необходимые для создания изображений, сохраняя при этом высокое качество изображения.

В SDXL Turbo устранены распространенные проблемы, как размытость или чрезмерная гладкость изображений, так как она сочетает в себе сильные стороны диффузионных моделей и генеративных адверсарных сетей (GAN).

С практической точки зрения скорость SDXL Turbo поразительна. На графическом процессоре A100 модель может сгенерировать изображение размером 512x512 всего за 207 мс — время, включающее оперативное кодирование, денуазирование (удаление шумов с изображения) и декодирование. ADD позволяет на порядок быстрее генерировать изображения по сравнению с многоступенчатыми подходами, открывая новые возможности для приложений по созданию изображений в реальном времени с использованием подсказок на естественном языке.

Однако текущий выпуск SDXL Turbo имеет некоторые ограничения, которые стоит отметить. Изображения имеют фиксированное разрешение 512х512 пикселей, и модель не может отображать разборчивый текст. Лица и человеческие фигуры не всегда отображаются правильно. 

Протестировать бесплатную демо-версию Stable Diffusion XL Turbo можно на Clipdrop. В настоящее время SDXL Turbo выпускается под некоммерческой исследовательской лицензией, которая разрешает личное некоммерческое использование. Весовые коэффициенты и код модели доступны на Hugging Face.