Миллион токенов

топ 100 блогов kvisaz30.04.2023 Смотрю на имена людей, придумавших, как увеличить кратковременную память диалога нейронки до 1 миллиона условных символов (условный символ - не символ в нашем понимании).

Миллион токенов

https://www.youtube.com/watch?v=4Cclp6yPDuw

Миллион токенов даже в кириллице - это считай целая книжка, которую можно запихнуть. Или написать консистентно, без сильной путаницы.



PS: да, корни Deep Pavlov - в МФТИ, если я правильно понял эту статью - https://habr.com/ru/companies/mipt/articles/544458/


PPS: нет, это не сможет прочитать всю книжку или написать ее. Это какой-то хитрый промежуточный хак, который позволит запоминать факты из начала после кучи введенного текста. Восторги отменяются, революция тоже.

Это, судя по отзывам, скорее что-то для конспектирования фактов из миллиона токенов. Всю книжку он помнить не будет, путаница в деталях вполне вероятна.

Оставить комментарий

Архив записей в блогах:
...
пройти тест можно здесь ...
...
Оригинал взят у losew в Рядовой! Поднимите танк! Рядовой! Поднимите танк! -Ых... Ох...  Не могу, трщ прапорщик! - Дык ёпть, 40 тонн! Пока писал про ООН вспомнилось, как в 2006 во время Второй Ливанской войны горячие финские миротворцы решили заблокировать танковую коло ...
   Первая волна арестов прокатилась по "старой, доброй Англии". Первыми "попали под раздачу" 38-летний житель Астона, и житель Дьюсбери 33х годков.  Нет, нет - они не снимали/снимали/коллекционировали порно. Все просто и понятно - эти два англичанина смотрели фильм " ...