Шаг за шагом

snormer — 06.01.2023

Опять нейросети. Я боюсь, какое-то время (пол года?) буду писать в основном про них. Не специально, просто это интересная мне тема и мне не всё понятно. Вынужден записывать то, что думаю. Disclaimer: я пишу для себя, структурировать и практика, т.к. с печатным словом у меня очень плохо. Я вообще удивлён, что кто-то это читает...

Итак, про приказ языковой модели «думать по шагам» при ответе. Подтверждение сам себе, что мысли были верные.

Вот здесь проверили несколько гипотез:
— Работает универсально, для всех проверенных моделей. Т.е. это общий базовый принцип для языковых трансформеров.
— На что влияет: больше всего помогает в решении арифметических и логических задач, а так же в операциях с символами. Сильно меньше помогает в общих рассуждениях (знания о мире), но работает и там.
— Проверили несколько других техник постановки задачи и формы вопроса. Ни одна другая и близко не даёт похожего прироста в эффективности.

Вот в этой работе японцы подошли системно, проверили вариации в форме самого запроса. Получили красивую табличку: в четыре с лишним раза больше правильных ответов на тестовом наборе задач, по сравнению с прямым вопросом на text-davinci-002

Теперь, почему это всё.

Модель (по архитектуре способная только предсказывать следующее слово в последовательности) именно рассуждает, используя пространство ввода/вывода как оперативную память.

Это «мысли нейросети». Некоторым образом аналог наших сознательных. Они не в чёрном ящике нейронных связей (там думать нечему), а вот тут. "Сознание как эпифеномен" как-то так и должно выглядеть, собственно. Вот, распишитесь.

И (не у одного меня такие мысли, сразу во многих местах видел) напрашивается сделать тогда моделям скрытое пространство для рассуждения. Чтобы развязать «мыслительный процесс» и текстовый вывод. Обучить «думать молча».

Оставить комментарий

Популярные посты:

scribonianus

Apple Watch SE: оптимальный выбор умных часов для здоровья и повседневной жизни

budetlyanin108

Почему Тайленол вызывает хронические заболевания, такие как аутизм? ч.2

cand_orel

К истокам журнала... Камбоджа улыбнула. Байон

kilativ

Доля чернокожих в населении Европы

inna_sharfik

С восприятием ароматов всё не так просто

dottore_mafioso

Успеть бы...

royal_news

Принцесса Стефания с детьми и Александром Гримальди на благотворительном

royal_news

Король Абдалла II простудился

euro_royals

Разжаловали

• Ранее
• Архив