Как работает ChatGPT3

kvisaz — 06.03.2023 Эту статью надо медленно раскуривать и перечитывать - https://vc.ru/future/623774-evolyuciya-neyrosetey-ot-t9-do-chatgpt-obyasnyaem-na-prostom-russkom-kak-rabotayut-yazykovye-modeli

Цитаты:

"добавление всего одной фразы перед ответом на вопрос существенно улучшает качество модели. И эта магическая фраза – «let’s think step by step» (давай подумаем шаг за шагом). Внезапно оказалось, что это побуждает модель рассуждать последовательно, делать выводы на основе собственных суждений, и приходить к правильному ответу гораздо чаще, чем без этой фразы"

"в отличие от GPT-2, сама модель теперь имеет размер больше (700 Гб), чем весь массив текста для ее обучения (420 Гб). Получается как будто бы парадокс: наш «нейромозг» в данном случае в процессе изучения сырых данных генерирует информацию о разных взаимозависимостях внутри них, которая превышает по объему исходную информацию."

"«универсальный Халк» в виде GPT-3 (которую никто никаким «узким» задачам не обучал) с легкостью кладет на лопатки многие специализированные модели, которые существовали до нее: так, перевод текстов с французского или немецкого на английский сразу начал даваться GPT-3 легче и лучше, чем любым другим специально заточенным под это нейросетям. Как?! "


"Напоминаю, что речь идет про лингвистическую модель, чье предназначение вообще-то заключалось ровно в одном – пытаться угадать одно следующее слово к заданному тексту... "

Оставить комментарий

Популярные посты:

• Ранее
• Архив