Миллион токенов

топ 100 блогов kvisaz — 30.04.2023 Смотрю на имена людей, придумавших, как увеличить кратковременную память диалога нейронки до 1 миллиона условных символов (условный символ - не символ в нашем понимании).

Миллион токенов

https://www.youtube.com/watch?v=4Cclp6yPDuw

Миллион токенов даже в кириллице - это считай целая книжка, которую можно запихнуть. Или написать консистентно, без сильной путаницы.



PS: да, корни Deep Pavlov - в МФТИ, если я правильно понял эту статью - https://habr.com/ru/companies/mipt/articles/544458/


PPS: нет, это не сможет прочитать всю книжку или написать ее. Это какой-то хитрый промежуточный хак, который позволит запоминать факты из начала после кучи введенного текста. Восторги отменяются, революция тоже.

Это, судя по отзывам, скорее что-то для конспектирования фактов из миллиона токенов. Всю книжку он помнить не будет, путаница в деталях вполне вероятна.

Оставить комментарий

Архив записей в блогах:
Здание фабрики "Красная нить" на Большой Невке, вид на Выборгской набережной Санкт-Петербурга. Проект здания 1849 года - архитектора Рокова Александра Николаевича 1872 года - архитектора Аникина Евгения Евграфовича 1890 года - техник Городской управы фон Пирвиц Федор Карлович ...
19 марта в России отмечается День моряка-подводника. Он был установлен приказом главнокомандующего ВМФ Российской Федерации Ф.Н. Громова от 15 июля 1996 года "О введении годовых праздников и профессиональных дней по специальности". Дата для проведения праздника была выбрана не ...
Не так давно в немецком журнале Spiegel вышла статья, где подробнейшим образом разбирается деятельность некоего американца, который с 1985 года спекулировал данными о советской, а потом российской военной угрозе. Он особенно активизировался после событий на Украине 2014 года. Он имел ...
"Потом мы стали забирать все, что можно, слева и справа. Например, огромный шестиэтажный жилой дом 1914 года в Малом Знаменском переулке, практически ровесник нашего музея. Настоящим кошмаром был Институт философии. Они сопротивлялись бешено, дело дошло до того, что его директор меня ...
Задолбала эта солнечная блокада! Срочно солнца мне! Срочно! Купил себе свежей, ароматной, не пластмассовой клубники. И банку сметаны. Домашней. Без химии. И ждет меня теперь гастрономический оргазм. В сети появился новый сезон "Интернов". Из ...