.Два хука для параллельных запросов к нейронкам

kvisaz — 26.08.2024 Как настоящий профи, задаю вопросы сразу двум нейронкам. Шутка, но
- это позволяет избежать значительно снижает "запрос не могу выполнить", так как два отказа у меня еще ни разу не выпадало вместе
- при выпадении двух ответов позволяет выбрать лучший

Я делаю это на https://lmarena.ai/, бесплатном кормильце, который в одном месте дает доступ почти ко всем значимым нейронкам, от французского Клода до илонмасковского Грока. В будущем хотел бы делать это на домашних нейронках, но пока они в пеленках, а lmarena работает даже без VPN.

Но это не сказка, а присказка. Сказка вот в чем - два отличных приема, которые освоил в последнее время

Первый - запрос "Обучающий текст по схеме Иггдрасиль". Шутка, просто "обучающий текст по схеме дерево"





Если бы задавал такие запросы одной нейронке - непременно бы взвыл, но вдвоем две разные нейронки дают неплохой дополняющий текст. Работаю с программированием, разумеется, если вы собрались мосты там считать или квантовую механику расспрашивать - приготовьтесь жить под землей, не считаю нейронки достаточно квалифицированными для узких и сложных тем.

Второй хук - это промпт по схеме "Закончи или продолжи, если не закончил" В первую очередь он закрывает проблему "разорванный на середине или в начале ответ" - нейронка после такого начинает бодро строчить дальше, если ответ был разорван (сами решайте, к чему это относится - к саморефлексии или рефлексии запроса)



Он же решает проблему синхронизации ответов у параллельных нейронок. На lmarena.ai в силу сбоя или разности длины ответов у параллельных нейронок часто бывает так, что одна уже ответила, а другая еще не раскочегарилась или вообще упала с криком "поднимите мне веки и заплатите за API". А поле ввода для промпта - одно. Что туда писать в таких случаях? А вот что сверху.

Работает отлично, ни разу не подвел - упавшие нейронки встают и пишут, закончившие просто пишут COMPLETED.

В будущем все это хотелось бы перевести на полуавтоматические рельсы и отправлять сразу по 10-20 запросов, плюс подключить запрос для объединения всех ответов в один текст (за вычетом противоречий). Но это уже пускай сегодня делают вундеркинды, а я пока вручную буду.




Промпт-инженеринг жив!

Оставить комментарий

Популярные посты:

• Ранее
• Архив