Миллион токенов

топ 100 блогов kvisaz30.04.2023 Смотрю на имена людей, придумавших, как увеличить кратковременную память диалога нейронки до 1 миллиона условных символов (условный символ - не символ в нашем понимании).

Миллион токенов

https://www.youtube.com/watch?v=4Cclp6yPDuw

Миллион токенов даже в кириллице - это считай целая книжка, которую можно запихнуть. Или написать консистентно, без сильной путаницы.



PS: да, корни Deep Pavlov - в МФТИ, если я правильно понял эту статью - https://habr.com/ru/companies/mipt/articles/544458/


PPS: нет, это не сможет прочитать всю книжку или написать ее. Это какой-то хитрый промежуточный хак, который позволит запоминать факты из начала после кучи введенного текста. Восторги отменяются, революция тоже.

Это, судя по отзывам, скорее что-то для конспектирования фактов из миллиона токенов. Всю книжку он помнить не будет, путаница в деталях вполне вероятна.

Оставить комментарий

Популярные посты:
Архив записей в блогах:
33-летняя украинская модель, которая живет и работает в США, Ирина Иванова (Iryna Ivanova) на фото в Instagram (октябрь-декабрь 2020). На страницу Ирины подписаны более 6,6 млн. человек. ...
В Советском Союзе была очень крутая жилищная программа, известная многим как МЖК – молодежный жилищный кооператив. Смысл был в том, что молодые семьи получали субсидированное жилье от государства, но были обязаны учавствовать в строительстве физически. Кто-то клал кирпич6 кто-то был ...
Если бы пейзаж за окном не менялся стремительно (вот отцвели нарциссы на балконе, вот стали отцветать гиацинты на балконе, вот вот вот... вот вот-вот вспыхнет дебелой невестой огромный белый каштан на углу… и юркими женишками ответят за другим углом юные красные каштаны) - то у меня, ...
Есть такое предубеждение, что в России могут любое благое начинание могут испортить дурацкой реализацией. Не уверен, что это заявление можно переносить на всю страну, но с Yota примерно так и получилось. Причём, вот есть красивое и удобное приложение; относительно удобные, но главное — абс ...
Заебался доказывать, что я люблю животных.Вот спрашивают меня: "Тебе животных жалко?"Я говорю: "Нет. Я за их разумное использование."Мне что, справку из гринписа принести, что я животных люблю? ...