Цитата дня

aziopik — 06.11.2025

Ну и ну! Возможно, это следующий грандиозный парадигматический сдвиг в мире ИИ.

Tencent в тандеме с Университетом Цинхуа только что опубликовали статью под названием Continuous Autoregressive Language Models (CALM), и она, по сути, низвергает фундаментальную парадигму «предскажи следующий символ», на которой зиждутся все современные большие языковые модели. Вместо предсказания «токен за токеном» CALM генерирует непрерывные векторы, обобщающие сразу несколько токенов.

Смысл нововведения сотоит в том, что теперь модель оперирует не над словами, а над идеями.

В результате получается:

• в 4 раза меньше итераций (каждый вектор эквивалентен ~4 токенам)
• на 44% меньше вычислений для обучения модели
• можно отказаться от дискретного словаря, поскольку мы работаем с непрерывным рассуждением
• новая метрика (BrierLM) полностью вытесняет перплексию

Это словно переход от переговоров азбукой Морзе к свободному обмену полноценными мыслями в свободном диалоге.

Если такой подход удастся масштабировать, то можно считать все существующие языковые модели мгновенно устаревшими

Оставить комментарий

Популярные посты:

thurinus

Тихий и чистый город: как EV-революция изменит улицы, парковки и энергосистему

2lumpsofsugar

Без трусов, но с крестиком

masterok

Загадка: сколько тут разных вариантов элементов плитки?

masy_vibes

Песня с упоминанием зимнего месяца

el_tolstyh

Топ 20 стран производителей автомобилей

ruslanviktorov

Сериал "Землевладелец" - про людей и нефть

nau_spb

Концерт МакSим в клубе Sound

amarok_man

Почему Зеленский до сих пор живой...

liqht_in_mind

МИР В СЕРДЦЕ

• Ранее
• Архив