Компания Nvidia анонсировала новое демонстрационное приложение Chat with RTX, которое позволяет пользователям бесплатно обучать локального чат-бота с помощью своего контента, например, документов, заметок, видео или других данных.

Приложение использует технологии Retrieval Augmented Generation (RAG), TensorRT-LLM и ускорение RTX, благодаря которым можно задавать вопросы персональному чат-боту и получать на них быстрые контекстные ответы. 

Чат-бот работает локально на ПК или рабочей станции с Windows RTX, что обеспечивает дополнительную защиту данных по сравнению со стандартным облачным чат-ботом.

Chat with RTX поддерживает различные форматы файлов, включая текстовые, PDF, doc/docx и XML. Пользователи могут просто указать приложению соответствующие папки, и оно загрузит файлы в библиотеку.

Пользователи также могут указать URL-адрес плейлиста YouTube, и приложение загрузит транскрипты видео в плейлисте и сделает их доступными для просмотра. Google Bard предлагает аналогичную функцию, но только при наличии аккаунта Google в Google Cloud. Chat with RTX обрабатывает транскрипт локально.

Технологическая демонстрация Chat with RTX основана на проекте TensorRT-LLM RAG Developer Reference Project, доступном на GitHub. По словам Nvidia, разработчики могут использовать этот эталон для создания и развертывания своих приложений на базе RAG для RTX с ускорением TensorRT-LLM.

Помимо чата с RTX, Nvidia также представила на CES RTX Remix —платформу для создания RTX-ремастеров классических игр, бета-версия которой будет доступна в январе, и Nvidia ACE Microservices, которая обеспечивает игры интеллектуальными и динамичными цифровыми аватарами на основе генеративного ИИ.

Nvidia также выпустила ускорение TensorRT для моделей Stable Diffusion XL (SDXL) Turbo и Latent Consistency, которое, как ожидается, обеспечит прирост производительности до 60 %. Теперь доступна обновленная версия расширения Stable Diffusion WebUI TensorRT с улучшенной поддержкой SDXL, SDXL Turbo, LCM — Low-Rank Adaptation (LoRA).