Цитата дня

топ 100 блогов aziopik06.11.2025

Ну и ну! Возможно, это следующий грандиозный парадигматический сдвиг в мире ИИ.

Tencent в тандеме с Университетом Цинхуа только что опубликовали статью под названием Continuous Autoregressive Language Models (CALM), и она, по сути, низвергает фундаментальную парадигму «предскажи следующий символ», на которой зиждутся все современные большие языковые модели. Вместо предсказания «токен за токеном» CALM генерирует непрерывные векторы, обобщающие сразу несколько токенов.

Смысл нововведения сотоит в том, что теперь модель оперирует не над словами, а над идеями.

В результате получается:

  • в 4 раза меньше итераций (каждый вектор эквивалентен ~4 токенам)
  • на 44% меньше вычислений для обучения модели
  • можно отказаться от дискретного словаря, поскольку мы работаем с непрерывным рассуждением
  • новая метрика (BrierLM) полностью вытесняет перплексию

Это словно переход от переговоров азбукой Морзе к свободному обмену полноценными мыслями в свободном диалоге.

Если такой подход удастся масштабировать, то можно считать все существующие языковые модели мгновенно устаревшими

Цитата дня

Оставить комментарий

Популярные посты:
Предыдущие записи блогера :
Архив записей в блогах:
02 Трёхминутная канатная дорога. Везде пишут, что не работает по понедельникам, но мы испытали удачу и не прогадали. 45 рублей в одну сторону. Быстрым спуском сэкономили силы и время. В летний период, подозреваю, что всё не так радужно, потому что наверняка есть очереди. ...
 Делаю первое упражнение на обнаружение своей золотой жилы - профессиональной, ...
Думала ли я, что банк, который входит в ТОП-10 лучших банков России, может так? Я любила этот банк долго.. И любовь эта была взаимна! Однако, накануне отпуска, появилась новость, которая меня ошеломила и расстроила. Видимо придется все же присматриваться к другому банку... Итак, в этом ...
...
Народ, как вам идея сделать нормальный такой левый информационно-аналитический портал? Только без: 1. Сектантства и сектантской терминологии. Тексты максимально понятные широкой публике. 2. Без патриотической капусты в бородах, фриков и ...