NVIDIA представила личного чат-бота на базе ИИ: он работает локально на ПК и требует видеокарту RTX 30 или новее
Сегодня, 13 февраля, компания NVIDIA официально представила раннюю версию собственного чат-бота Chat with RTX на базе искусственного интеллекта, которого можно запускать локально на персональном компьютере. И хотя на текущий момент приложение является лишь демонстрационной версией, которую ещё будут дорабатывать, набор функций уже сейчас впечатляет. Например, пользователь может передать чат-боту ссылку на ролик с YouTube, после чего искусственный интеллект «просмотрит» контент и напишет короткий синопсис ролика. Более того, ИИ позволяет искать упоминания по ключевым словам, что в определённых ситуациях сильно упрощает жизнь. Особенно это полезно с длинными роликами или подкастами, когда нужно найти конкретную информацию.
Аналогичным образом чат-бот умеет взаимодействовать с документами — Chat with RTX может за считанные секунды «прочитать» документ и выдать необходимые данные, краткий пересказ или тезисы с наиболее важными моментами. Например, журналист из издания The Verge «скормил» ИИ огромный внутренний документ компании Microsoft, который был опубликован в рамках судебного заседания в прошлом году, и попросил его описать стратегию Xbox Game Pass. Система проанализировала увесистую документацию компании и выдала вполне внятное объяснение того, как эта подписка работает, как её монетизируют и многое другое. Обычному человеку на это понадобилось бы несколько часов.
Также новый чат-бот на ПК пользователя может сканировать PDF-документы, предоставляя необходимую информацию или проверяя различного рода факты. Важно отметить, что в данном случае получить ответы на вопросы по документу можно мгновенно — без каких-либо задержек. У CharGPT или Copilot задержки всё же имеются — это связано с необходимостью отправить запрос на сервер, после чего получить ответ из облака. Но, конечно, недостатки тоже имеются — на текущий момент приложение способно делать ошибки, оно не запоминает контекст общения в чате, не справляется с большим количеством документов и действительно выглядит как ранняя демонстрационная версия. Данный чат-бот просто устанавливает на ПК пользователя веб-сервер и Python, после чего обращается к моделям Mistral или Llama 2 для обработки запросов.
Естественно, всю тяжёлую работу выполняют тензорные ядра в составе графического ускорителя ПК. Из-за этого требования иметь RTX 30 или RTX 40 вполне объяснимы, как и необходимость в 8 ГБ видеопамяти. Установка приложения на достаточно производительном компьютере отнимает примерно 30 минут, в памяти системы софт занимает примерно 40 ГБ, плюс нужно примерно 3 ГБ ОЗУ (хотя в требованиях указано 16 ГБ). И, что самое странное, чат-бот работает только на Windows 11 — на Windows 10 поддержка не заявлена.