Уменьшение ерунды в ответах и дистилляция галлюцинаций нейронки

kvisaz — 21.04.2023 Комментарии к дайджесту ИП не лезут в память GPT4 даже только 1 уровня с 1 страницы, а по тем кусочкам, что лезет, выходит обычная суммаризация.

Поэтому продолжаю баловаться с кусочечными текстами.

Вот этот промпт можно поставить для анализа нескольких ответов по одному запросу. Это в теории должно привести к улучшению "истинности" или как минимум к анализу наиболее часто встречающихся заблуждений.



Скормил "Кто такой Колобок" в GPT3.5, четыре ответа засунул в GPT4. Все ответы, кстати, были очень хороши - как будто даже в 3.5 подтянули знание русских народных сказок. Пару месяцев назад было бредовее.

Ответ GPT4


Я вижу только одно сомнительное утверждение тут - "Я от бабы-яги ушел, от дедушки-мороза ушел, и от тебя, зайца, уйду" - и оно справедливо занесено в список гипотез.

Промпт можно модифицировать, чтобы читать только общее, отсеивая гипотезы, но мне было любопытно.

Я исхожу из гипотезы, что когда нейронка галлюцинирует - она выдумывает нечто случайное, поэтому такой способ должен работать как уменьшение галлюцинаций.

При локальном запуске нейронки, с 10, а лучше 100 кратным суммирование общей информации, вероятно, мы будем получать только чистое знание. Или, как я сказал, наиболее часто встречающееся заблуждение и безумство толпы )

Я попробую подобрать вопросы, на которых нейронка сходит с ума гораздо лучше, чем с Колобком, и привести примеры явного улучшения. Этот пост считайте просто примером.

PS: это, блин, простой метрологический прием - усреднение показаний выдачи. Почему я первый об этом пишу? (правильнее сказать - читаю?))))

pps: 100-кратное или даже 10-кратное пока не светит - размеры промпта и памяти у нейронок слишком малы. Максимум 4-5 развернутых ответов на кириллице. С короткими ответами - вероятно можно догнать до двух десятков. На английском - до полусотни?

ЗЗЗЫ: окей, конечно, ограничение на объем можно попытаться обойти многократной возгонкой. Допустим у нас есть 100 ответов, а в память лезет только 5.
- делаем первую дистилляцию по 5 ответов - получаем 20
- делаем вторую дистилляцию по 20 - получаем 4
- загоняем 4 и получаем нечто общее для всей сотни ответов. Но на гипотезы надо поставить фильтр при возгонке - скажем, "два упоминания", иначе память забьется все равно и никаких ответов не будет на каком-то этапе

Оставить комментарий

Популярные посты:

• Ранее
• Архив