Nvidia Chat RTX

kvisaz — 14.02.2024 Nvidia выпустила свою версию интерфейса для локальных нейронок - Chat with RTX.

Это не новая нейронка, это программа, пакет для запуска чужих опенсорсных моделей, которые к тому же неполные.

Единственный плюс, что увидел сейчас - это возможность проиндексировать пакет своих текстовых файлов, чтобы нейронка отвечала по ним. Это я еще не попробовал.

Во всем остальном это запредельно, намного, чудовищно хуже классической уже Убабуги.


мои впечатления от Chat with RTX

- предельно плохо качается
- в комплекте 2 модели - LLama 13b и Mistral 7b с квантизацией 4. А нахера мне квантизация, если у меня 7b модели полностью влазят в 4090? (это не было бы вопросом, если бы пакет предназначался для всех, но Chat with RTX предназначен только для владельцев карт от NVidia)

- с такой квантизацией скорость и в угабуге будет отличной
- поменять модели пока непонятно как
- настроек в интерфейсе нет, угабуга тут - запредельный шедевр возможностей
- из-за явного отсутствия системного промпта в настройках которых нет - предельно тяжело заставить Chat with RTX говорить на иных языках кроме английского, угабуга опять рулит

Единственный плюс, что я вижу
- тут интегрирован RAG, то есть можно указать папку со своими текстовыми файлами, и в ответах Chat with RTX будет брать факты оттуда, но не факт, что всегда поймет (я прочитал обзоры англоязычных по тестам Chat with RTX)

Короче, это пока игрушка, демка, полезная только для генерации англоязычных ответах на какой-то базе документов

Если база документов не нужна, ее нет, и нужно просто баловаться с локальными нейронками - лучше отдельно скачать УбаБугу (https://github.com/oobabooga/text-generation-webui)

и в нее скачать модели с HuggingFace типа
- Мистраля 7B
- perlthoughts_Chupacabra-7B-v2
- teknium_OpenHermes-2.5-Mistral-7B
- Intel_neural-chat-7b-v3-3

настроить им системный промпт, чтобы они говорили на нужном языке и может стилем - и будет в 1000 раз интереснее и быстрее, особенно при закачке

Если у вас RTX карты - вы по сути ничего не выигрываете от этого чата Nvidia, кроме готовой интеграции RAG, то есть опции "читай мои текстовые файлы и отвечай по ним, если релевантны"

Игрушка, пшик, растрата гигабайтов, я пока жалею потраченного времени

Оставить комментарий

Популярные посты:

• Ранее
• Архив