Миллион токенов

топ 100 блогов kvisaz30.04.2023 Смотрю на имена людей, придумавших, как увеличить кратковременную память диалога нейронки до 1 миллиона условных символов (условный символ - не символ в нашем понимании).

Миллион токенов

https://www.youtube.com/watch?v=4Cclp6yPDuw

Миллион токенов даже в кириллице - это считай целая книжка, которую можно запихнуть. Или написать консистентно, без сильной путаницы.



PS: да, корни Deep Pavlov - в МФТИ, если я правильно понял эту статью - https://habr.com/ru/companies/mipt/articles/544458/


PPS: нет, это не сможет прочитать всю книжку или написать ее. Это какой-то хитрый промежуточный хак, который позволит запоминать факты из начала после кучи введенного текста. Восторги отменяются, революция тоже.

Это, судя по отзывам, скорее что-то для конспектирования фактов из миллиона токенов. Всю книжку он помнить не будет, путаница в деталях вполне вероятна.

Оставить комментарий

Архив записей в блогах:
...
Сообщники, пост нешуточный и непятничный, наоборот, серьезный и научно-исследовательский. Провожу в рамках своего диссертационного исследования опрос людей, которые следят за своим здоровьем. Для этих целей лучшего места, чем хэлслайф, я ...
Здравствуйте, уважаемые пользователи ЖЖ. Пишу впервые, в надежде получить помощь. Мне слегка за 20, родом из маленького провинциального городка необъятной России, и мне абсолютно не хочется жить. Вот так вот. Самый расцвет жизни, когда все полно ярких красок и наполнено эмоциями, когда ...
Ну вот день рождения у меня, целых 36 лет, а чувствую что 18 :) Посмотрите Уральских пельменей:)) ...
Всем желаю вкусно отобедать, а у нас с Ольгой lychizarnaja27 как раз в это время, согласно нашей КЕТО диете , наступает первый приём пищи! Уже много лет мы не изменяем своей привычке - кушать утром омлет из 4 яиц+грибы+бекон+горошек или стручковая фасоль, ну и тёртый сыр. Но ...