NVIDIA выпустила Chat with RTX — чат-бот с искусственным интеллектом (ИИ), работающий локально на ПК с Windows на базе графических процессоров NVIDIA RTX. Приложение было впервые представлено на выставке CES в прошлом месяце и представляло собой демоверсию, демонстрирующую потенциал ускорения больших языковых моделей с помощью аппаратного обеспечения RTX.

Настоящее волшебство Chat with RTX заключается в том, что оно позволяет пользователям легко подключать свой собственный контент — документы, заметки и даже видео с YouTube — к модели с открытым исходным кодом, такой как Llama 2 и Mistral. Приложение использует технологии Retrieval Augmented Generation (RAG), TensorRT-LLM и ускорение RTX, что позволяет получать от персонализированного чат-бота быстрые, соответствующие запросу, ответы. Поскольку Chat with RTX работает полностью локально на машине пользователя с Windows RTX, результаты получаются быстрыми и конфиденциальными. Нет необходимости полагаться на облачные сервисы или делиться данными с третьими лицами. Кроме того, это также позволяет работать без подключения к Интернету.

Приложение Chat with RTX доступно для бесплатной загрузки. Для работы с ним пользователям потребуется как минимум GPU серии RTX 30 с 8 ГБ VRAM, а также 16 ГБ системной оперативной памяти и Windows 11.

Разработчикам Chat with RTX дает возможность создавать специализированные LLM-приложения с использованием фреймворка NVIDIA TensorRT-LLM и ускорения GeForce RTX. Чат-бот построен с использованием эталонного проекта для разработчиков TensorRT-LLM RAG, который доступен на GitHub.