Nvidia выпустила Chat with RTX — локальную генеративную нейросеть
Скачать языковую модель можно бесплатно.
Nvidia представила генеративного чат-бота, который способен работать локально на компьютере с Windows. Доступ к интернету при этом не потребуется.
В программе можно выбрать одну из двух больших языковых моделей — Mistral или Llama 2. Chat with RTX может сканировать локальные файлы и находить ответы в них. Поддерживаются файлы с расширениями *.txt, *.pdf, *.doc, *.docx и *.xml. Помимо этого, нейросеть Chat with RTX способна собирать информацию из видео и плейлистов на YouTube.
Поскольку нейросеть работает локально и не обращается к облачным серверам, все данные пользователя остаются непосредственно на компьютере.
Для запуска нейросети на компьютере понадобится как минимум видеокарта RTX серии 30 или 40 с 8 ГБ видеопамяти, 16 ГБ оперативной памяти и достаточный объём дискового пространства. Например, один лишь установочный файл весит 35 гигабайт, при том, что это лишь «техническая демонстрация». Редакция Rozetked уже загружает установочный файл и будет тестировать новинку. Скачать нейросеть можно по ссылке.