Миллион токенов

топ 100 блогов kvisaz — 30.04.2023 Смотрю на имена людей, придумавших, как увеличить кратковременную память диалога нейронки до 1 миллиона условных символов (условный символ - не символ в нашем понимании).

Миллион токенов

https://www.youtube.com/watch?v=4Cclp6yPDuw

Миллион токенов даже в кириллице - это считай целая книжка, которую можно запихнуть. Или написать консистентно, без сильной путаницы.



PS: да, корни Deep Pavlov - в МФТИ, если я правильно понял эту статью - https://habr.com/ru/companies/mipt/articles/544458/


PPS: нет, это не сможет прочитать всю книжку или написать ее. Это какой-то хитрый промежуточный хак, который позволит запоминать факты из начала после кучи введенного текста. Восторги отменяются, революция тоже.

Это, судя по отзывам, скорее что-то для конспектирования фактов из миллиона токенов. Всю книжку он помнить не будет, путаница в деталях вполне вероятна.

Оставить комментарий

Архив записей в блогах:
Моря и океаны Юрского периода вряд ли были самым безопасным местом в мире. Рыбакам того времени пришлось бы ходить за добычей вооруженными до зубов: беспокойные воды бороздил колоссальный лидсихтис, рядом с которым даже мегалодон показался бы мальком. Открытие лидсихтиса поставило ...
Загрузила младшего в летнюю школу ВШЭ на базе ЦПМ. Как оказалось, это совсем рядом с нами, в тот же Фестивальный парк дети ходят на карате. Но вариант ночевать дома не рассматривается, похоже за территорию там никого не выпускают.  Что это и зачем — понятия не имею: ребенок ...
Обычно в качестве причин называют преступность, нестабильность, межнациональные конфликты, желание материального достатка и т.д., но ведь всё это - лишь следствия основной проблемы! А настоящая причина - ну не хочет народ русский строить ...
  Хоть и с опозданием, а всё же отписываюсь по заявленной товарищем Хаотиком теме: "Как я стал коммунистом" . Подобно многим другим левакам, я в молодости перепробовал всякие направления: от либерализма до монархизма. В коммунистический лагерь ...
*** Зашёл я к приятелю в его мастерскую. Болтаем. Он спрашивает:             - Хочешь анекдот. - Давай. - Может я уже рассказывал?... - Давай, давай… - Простенький такой. Заходит девочка в магазин – дайте пять бутылок водки. Продавец ...