Цитата дня

aziopik — 06.11.2025

Ну и ну! Возможно, это следующий грандиозный парадигматический сдвиг в мире ИИ.

Tencent в тандеме с Университетом Цинхуа только что опубликовали статью под названием Continuous Autoregressive Language Models (CALM), и она, по сути, низвергает фундаментальную парадигму «предскажи следующий символ», на которой зиждутся все современные большие языковые модели. Вместо предсказания «токен за токеном» CALM генерирует непрерывные векторы, обобщающие сразу несколько токенов.

Смысл нововведения сотоит в том, что теперь модель оперирует не над словами, а над идеями.

В результате получается:

• в 4 раза меньше итераций (каждый вектор эквивалентен ~4 токенам)
• на 44% меньше вычислений для обучения модели
• можно отказаться от дискретного словаря, поскольку мы работаем с непрерывным рассуждением
• новая метрика (BrierLM) полностью вытесняет перплексию

Это словно переход от переговоров азбукой Морзе к свободному обмену полноценными мыслями в свободном диалоге.

Если такой подход удастся масштабировать, то можно считать все существующие языковые модели мгновенно устаревшими

Оставить комментарий

Популярные посты:

• Ранее
• Архив