Первый ремонт без стресса: как разобраться в натяжных потолках 
Шуточки :-) 
Про Заезжего фехтовальщика 
Загадки первой европейской цивилизации 
Застолье 
9 февраля ● "День Гражданской авиации России" и не только...
26.04.2023 —
Действие через тестирование
Миллион токенов
kvisaz — 30.04.2023
Смотрю на имена людей, придумавших, как увеличить кратковременную
память диалога нейронки до 1 миллиона условных символов (условный
символ - не символ в нашем понимании).
https://www.youtube.com/watch?v=4Cclp6yPDuw
Миллион токенов даже в кириллице - это считай целая книжка, которую можно запихнуть. Или написать консистентно, без сильной путаницы.
PS: да, корни Deep Pavlov - в МФТИ, если я правильно понял эту статью - https://habr.com/ru/companies/mipt/articles/544458/
PPS: нет, это не сможет прочитать всю книжку или написать ее. Это какой-то хитрый промежуточный хак, который позволит запоминать факты из начала после кучи введенного текста. Восторги отменяются, революция тоже.
Это, судя по отзывам, скорее что-то для конспектирования фактов из миллиона токенов. Всю книжку он помнить не будет, путаница в деталях вполне вероятна.
Сохранено
|
|
</> |
Миллион токенов
Оставить комментарий
Популярные посты:
Предыдущие записи блогера :
24.04.2023 —
Самоисполняющееся
24.04.2023 —
Викуна 13b
23.04.2023 —
уменьшение вероятности
23.04.2023 —
Градиент
23.04.2023 —
для черепашки-экскаватора
21.04.2023 —
Вежливость
21.04.2023 —
Gradio
18.04.2023 —
заменит ли Chat GPT терапевтов
Архив записей в блогах:
Программисты в хате есть? У вас тоже последние месяцы пулл-реквесты пошли минимум по 20 файлов и сотни строк? Нейронки активно используются как кодогенераторы. Прописываешь шаблонные правила для них как действовать в тех или иных случаях - и пошла писать губерния! В итоге многие ...
В общем, я оказался полностью прав в своих предсказаниях по поводу компании ЦППК и ее гениальных менеджеров. Запуск МЦД они просрали просто феерически. Это дошло даже до московских властей и вице-мэр Ликсутов надысь дал интервью "Коммерсанту" , где популярно объяснил, что во всем ...
В 1937 году Сергею Эйзенштейну поступило предложение от директора "Мосфильма" создать историческую картину. На выбор режиссеру было предложено два утвержденных сценария: "Минин и Пожарский" Виктора Шкловского и "Александр Невский" Петра Павленко. Оба заказа делались в рамках ...
Германия впервые согласилась платить пенсии евреям, пережившим блокаду Ленинграда. Но власти России все равно недовольны. В начале октября правительство ФРГ впервые согласилось выплачивать ежемесячные пенсии евреям, пережившим холокост. Среди них — выжившие во время блокады ...
Во второй день скачек Аскот посетили Уэльсы, граф и графиня Уэссекские, принцесса Александра Кентская, ее две внучки Флора и Зенушка, графиня Маунтбеттен Бирманская, принцесса Анна (с Эндрю Паркер-Боулзом), леди Амелия и Элайза Спенсер с женихами, леди Сара Чатто с сыном, принцесса ...
