Миллион токенов на пальцах

kvisaz — 30.04.2023 Я теперь согласен, что употреблять слово "промпт" вместо "запрос" - некрасиво.

Почитал я телеграмы тех, кто занимается нейронками. Язык испорчен безнадежно жаргонизмами, пишут так:

- на последнем слое модели над каждым выходом [mem] токенов берем hidden state Для обработки второго сегмента мы берем hidden state с выходов берта с первого шага над каждым [mem] токеном и добовляем эмбеддинги токенов второго сегмента.

Вот честно, лучше бы формулу писали или код на Python, было бы лучше. Человек при этом пишет "объясняю на пальцах", видимо, думая, что сделал более простое объяснение. Мне видится так - человек пересказал для себя на понятных ему жаргонизмах, поэтому для него это действительно простое.

Простое универсальное объяснение мне лично видится таким:

- Чтобы как-то расширить объем вводимого текста в нейронку без чудовищных расходов памяти, мы можем сделать так:
1. разбиваем огромный текст на небольшие кусочки
2. каждый кусочек прогоняем через трансформер и формируем некий конспект - на уровне нейронки это будет какой-то набор чисел-весов.
3. при каждом таком прогоне к каждому кусочку текста после первого добавляем конспект от предыдущего.

Что получаем? Правильно - какой-то бледный, компактный, очень высушенный, но все же след самого первого, и второго, и третьего кусочка текста в нашей последовательности на миллион, два миллиона и так далее символов (объем с таким подходом не ограничен).

Это не гарантирует, что чатбот на уровне пользователя сумеет рассказать все мелкие детали из начала "Гарри Поттера" (если до этого он его не знал вообще) или другой книги, на которой он не учился, но которую засунули ему во ввод радостные пользователи.

Но он с высокой вероятностью, как человек, вспомнит что-то базовое
- Ну это, как там его, Бурсли его кормили, а жили он в клетушке на чердаке, или в чулане, или в собачьей будке.

Это все равно намного лучше, потому что сейчас после миллиона... да что там, после тысячи слов на кириллице чат-бот вообще не помнит ничего. Тут хотя бы какой-то бледный, но контекст. Память, близкая к человеческой. Вот когда он в деталях будет миллион символом запоминать.... Тогда в него можно будет, как в топку, кидать книги с криками
- Найди мне всеобщую теорию всего! Перескажи все это для детей! Найди схему рабочей антигравитации!

Я клянусь, что стану чище и добрее, и не буду впредь использовать слово "промпт" и другие жаргонизмы никогда.

Оставить комментарий

Популярные посты: