Ограниченность памяти у небольших нейронок

kvisaz — 02.12.2023 а, я еще забыл сказать главное в предыдущем. Вес всех файлов "семибитки" - 13-15 гигабайт. В сравнении со многими другими современными программами, к примеру, игр - это семечки. Проблема в том, что весь этот вес должен поместиться в видеопамяти. Даже с умножающим коэффицентом.



Тут я хотел написать о других решениях, которые используют обычную память (квантизация и запуск на процессоре), качать из хаба https://huggingface.co/TheBloke/ , запускаются через программу OobaBooga (под Windows в СНГ встало нормально, open-source)

Но есть вещь поважнее. В 15 гигабайт, как ни крути, а невозможно запихать полноценное универсальное знание. Поэтому что с них требовать.

Поэтому наиболее здравым подходом сейчас является использование узко обученных "семибиток" или подключение к ним баз документов (подход RAG).

Когда мы спрашиваем что-то у локальной нейронки, в первую очередь надо смотреть на то, как она понимает диалог, инструкции, как пытается рассуждать. Другими словами, перед нами умный студент или глупый (то, что они оба не смогли поместить в своей памяти все учебники, это очевидно, см. выше).

Будущее - за связками "нейронка" + "база данных".

Оставить комментарий

Популярные посты:

• Ранее
• Архив