Миллион токенов

топ 100 блогов kvisaz30.04.2023 Смотрю на имена людей, придумавших, как увеличить кратковременную память диалога нейронки до 1 миллиона условных символов (условный символ - не символ в нашем понимании).

Миллион токенов

https://www.youtube.com/watch?v=4Cclp6yPDuw

Миллион токенов даже в кириллице - это считай целая книжка, которую можно запихнуть. Или написать консистентно, без сильной путаницы.



PS: да, корни Deep Pavlov - в МФТИ, если я правильно понял эту статью - https://habr.com/ru/companies/mipt/articles/544458/


PPS: нет, это не сможет прочитать всю книжку или написать ее. Это какой-то хитрый промежуточный хак, который позволит запоминать факты из начала после кучи введенного текста. Восторги отменяются, революция тоже.

Это, судя по отзывам, скорее что-то для конспектирования фактов из миллиона токенов. Всю книжку он помнить не будет, путаница в деталях вполне вероятна.

Оставить комментарий

Архив записей в блогах:
Вот прислала мне Глюча вопросы олимпиады по обществознанию. Там не только отмеченный надо читать, но и тот, что ниже! Не, ну нормально? И рисунок вам вполне реалистичный. Доброго ...
Трамп заявил (я знаю, все "любят" этот оборот), что делегация США отправилась в Россию, для обсуждения с руководством РФ возможности заключения перемирия. В Кремле чуть ранее сообщили, что принципиально не против перемирия, но надо вообще посмотреть, что США предлагают официально и ...
Перед поездкой на Украину писала о том, что наши разговоры с тетушкой дважды прерывали, когда мы начинали говорить об украинских событиях. Одна из украинских читательниц написала, что у моей тетушки паранойя. У меня, выходит, тоже, т.к. я, наверное, не заметила этих разрывов, да. Говорю, ...
Десять лет назад милиция была переименована в полицию. Автор этой идеи – временный “как бы президент” Медведев - возлагал большие надежды на это переименование: название “милиция” якобы ассоциировалось с рабоче-крестьянскими организациями, а “полиция” - с профессионалами своего дела. ...
 Выбор тактики зависит от характера отношений (краткосрочные либо долгосрочные). Если переговоры носят краткосрочный характер (покупка дома) обе стороны могут применять тактику, направленную на извлечение как можно большей выгоды. Если же ...