Кристофер Моравек (Christopher Moravec), который сам себя называет "создателем идей", воплотил в жизнь одну их своих задумок, в которой смартфоны и голосовые помощники при постоянном прослушивании частных разговоров генерируют актуальные произведения искусства.

Только вместо смартфона Моравек решил использовать умную фоторамку WhisperFrame, установленную в гостиной. Она прослушивает разговор, а затем генерирует на основе этой беседы произведения искусства. Фоторамка создает совершенно новую картину после каждых 5 минут оживленного диалога. Если разговора не было, WhisperFrame отображает рандомно выбранные фотографии, сгенерированных ранее.

Умная фоторамка использует несколько совершенно разных генеративных ИИ, чтобы изменять свой показ в зависимости от темы беседы.

Запись разговора делается в виде 15-20-секундных циклов, затем передается в интерфейс прикладного программирования (API) OpenAI Whisper для автоматической транскрипции в текст. По истечении пяти минут эти фрагменты поступают в большую языковую модель (LLM) GPT-4 с предложением выделить одну ключевую тему и превратить ее в текстовую подсказку для Stable Diffusion, которая генерирует изображение. Это изображение появляется на экране WhisperFrame.

Кристофер Моравек создал еще одну такую фоторамку с ИИ для рабочего места. Эта фоторамка генерирует фотографии во время конференции, делая своего рода заметки о собрании.

Более подробную информацию о данном проекте можно получить на сайте Моравека; все созданные изображения WhisperFrame можно просмотреть здесь.