Как работает ChatGPT3

топ 100 блогов kvisaz06.03.2023 Эту статью надо медленно раскуривать и перечитывать - https://vc.ru/future/623774-evolyuciya-neyrosetey-ot-t9-do-chatgpt-obyasnyaem-na-prostom-russkom-kak-rabotayut-yazykovye-modeli

Цитаты:

"добавление всего одной фразы перед ответом на вопрос существенно улучшает качество модели. И эта магическая фраза – «let’s think step by step» (давай подумаем шаг за шагом). Внезапно оказалось, что это побуждает модель рассуждать последовательно, делать выводы на основе собственных суждений, и приходить к правильному ответу гораздо чаще, чем без этой фразы"

"в отличие от GPT-2, сама модель теперь имеет размер больше (700 Гб), чем весь массив текста для ее обучения (420 Гб). Получается как будто бы парадокс: наш «нейромозг» в данном случае в процессе изучения сырых данных генерирует информацию о разных взаимозависимостях внутри них, которая превышает по объему исходную информацию."

"«универсальный Халк» в виде GPT-3 (которую никто никаким «узким» задачам не обучал) с легкостью кладет на лопатки многие специализированные модели, которые существовали до нее: так, перевод текстов с французского или немецкого на английский сразу начал даваться GPT-3 легче и лучше, чем любым другим специально заточенным под это нейросетям. Как?! "


"Напоминаю, что речь идет про лингвистическую модель, чье предназначение вообще-то заключалось ровно в одном – пытаться угадать одно следующее слово к заданному тексту... "

Оставить комментарий

Архив записей в блогах:
10 июня 2023г. Поход по маршруту АКРИ, Ступинский лесопарк, Соколова Пустынь, река Ока, Белопесоцкий. Объединил отчет о последнем месяце весны с первым летним месяцем... ...
Это предварительное рассмотрение вопроса, к которому я вернусь после того как покажу, что Шекспир знал то, о чем он писал в «Гамлете» и «Генрих VI» и поэтому эти пьесы являются прекрасным подтверждением точки зрения Аристотеля: Поэтому поэзия философичнее и серьезнее истории — ибо поэзия ...
С давних времён в буддийских храмах в отношении приёма пищи и чаепития употребляют слово «табанса». Интересно, что в миру его используют в значении «частый случай» или «обычное дело». Это показывает, что чай в храмах и монастырях, подобно пище, является важной составляющей каждодневной ...
© REUTERS/Beck Diefenbach 02.03.2011, США | Сегодняшняя презентация нового iPad в Сан-Франциско была еще и тем интересна, что на сцену вышел Стив Джобс — еще более худой, чем прежде, но, самое главное, в добром здравии. Ну, по крайней мере, ...
Мы с Василисой большие молодцы, потому что переделали вчера массу дел и сегодня у нас настоящий выходной) По случаю выходного праздничного дня подруга пригласила меня в кафе. Прогулялись, в кафе посидели, за жизнь поболтали, глядя вперед с оптимизмом))) Василиса новую игрушку уже ...