Хороший поиск по базе данных - вот что нужно нейронкам

kvisaz — 16.11.2024 Краткое понятное содержание поста: нейронкам нужны серьезные добавки с классическим поиском и классическими базами данных, чтобы делать приложения лучше.


Я немного покурил о RAG, точнее посмотрел, как курят о нем другие. Несколько раз упоминал об этом подходе, это технология своеобразных баз данных (векторных баз), которые хранят в себе данные в формате, понятном нейронкам. Уже с этой формулировкой должен возникнуть вопрос нуба - а что, обычный текст не понятен нейронкам? Но специалисты решили, что RAG улучшает качество нейронок, снижает галлюцинации, так что я смирился и внимал.

Дискуссии на Reddit :
- первая
- вторая

1. RAG действительно поднимает точность нейронок в некоторой области
2. Но он хуже классических баз данных для поиска точных вхождений и, к примеру, лажает при поиске детали по номеру (он подбирает другую с похожим номером)
3. Качество деградирует при росте базы (очевидно при росте схожих знаний по п.2)

Потому коллективный разум там пришел к выводам
- RAG недостаточен, нейронке нужна сложная обвязка, то есть дополнение программами, в том числе классическими базами данных и обычными (до-нейронными) методами поиска.


Такой же звоночек о неточности RAG прозвучал для меня, когда я читал переписки в репозитории Cline (это редактор кода на нейронках).
- Планов векторизации нет, я обнаружил, что RAG довольно неэффективен для поиска кода, и я добавил несколько инструментов, которые должны помочь Клоду искать в кодовой базе наиболее эффективным способом (поиск по регулярным выражениям, определения исходного кода и т. д.). Закрываю этот тикет. (разработчик)

Так получилось, что я прочитал это сообщение первым и был разочарован - как же так, а как же магия, как же волшебные слова "векторные базы", "поиск по эмбеддингам", "RAG повышает точность". Но потом я прошерстил форумы и нашел дискуссию, ссылку на которую поставил первой.


Выводы
RAG не всесилен. А нейронку, как я уже несколько раз пытался сказать, следует воспринимать как базовый простой элемент, кубик, транзистор, на основе которой надо строить схемы. Сам по себе этот транзистор убог и имеет кучу проблем, как все базовые элементы.

Современный чат с нейронкой, который обычные люди воспринимают благосклонно, потому что не имеют ничего лучше, это сляпанные наскоро впечатляющие демки с кучей проблем и неявных минусов, как примитивные радиосхемы на одном-двух транзисторах без массы сопутствующих деталей и каскадов.

Оставить комментарий

Популярные посты:

• Ранее
• Архив