Текстовые процессоры

kvisaz — 20.11.2024 Есть класс сверхмалых нейронок мощностью ниже 7 миллиардов параметров. Я долго думал, зачем нужны такие бесполезные и фактически идиотические модели. Потом немножко почитал.

Нейронка - это не кладезь знаний, а текстовый процессор. Ее, конечно, можно использовать как википедию со странными отклонениями, но наверное правильно будет воспринимать нейронки сейчас как процессоры для обработки текста пользователя.

Отсюда следует, что количество параметров нейронки или степень ее обучения в первую очередь влияют на способность ее процессинга - "рассуждения над заданными текстами"

Так вот, сверхмалые нейронки - у них сохраняется некая способность "рассуждения", на этом уровне уже лучше употреблять слово "процессинг" или "обработка". И судя по отзывам на Reddit, они годятся для
- автодополнения строки (усиленный тематический T9, ага) - на это способны даже сверхскоростные и доступные нейронки с размером 1 миллиард и ниже параметров
- суммаризация (конспект) текста
- пересказ текста
- поиск в тексте некоторых вещей, которые тяжело искать классическими методами программирования

Скорее всего, для диалогов в ролевых играх можно было бы внедрять в игры нейронку размером в 0.5миллиарда - она легко бы пошла на всех игровых компьютерах и не сильно бы напрягала даже занятую графикой видеокарту. Кроме того, ее было бы легко обучить - у таких размеров низкие бюджеты, зарплата программиста за месяц больше

И тогда базовые диалоги, написанные сценаристами, сохранили бы свою структуру, но микронейронка просто пересказывала бы их немного иначе, создавая эффект живой речи.

Подходишь к персонажу взять квест. Он говорит по теме, он излагает ключевые факты (кстати классическую карту и журнал с метками квеста никто не отменяет при таком подходе). Но его речь не заскриптована, она каждый раз немного иная. И это по идее должно быть круто.

PS: сейчас конечно микронейронки используют для простейших и самых дешевых чатботов, пересказчиков, анализаторов текста.

Оставить комментарий

Популярные посты:

• Ранее
• Архив