Пропорции и соотношения

staerum — 12.12.2025

«Во всякой вещи скрыт узор, который есть часть Вселенной. В нём есть симметрия, элегантность и красота — качества, которые прежде всего схватывает всякий истинный художник, запечатлевающий мир. ... Мы пытаемся скопировать этот узор в нашей жизни и нашем обществе и потому любим ритм, песню, танец, различные радующие и утешающие нас формы» — Дюна

LLM часто называют «стохастическими попугаями», указывая на простоту их функции — генерацию следующего слова по предыдущему тексту. На это можно смотреть по-разному. Возможно, эта простота имеет отношение и к нам.

Если вы видели игры «угадай мелодию» или «100 к 1», то знаете как бывает приятно угадывать ответы. И это не случайно. Еще в 19-м веке Гельмгольц в своих работах по физиологии зрения (Helmholtz's Treatise on Physiological Optics) предположил, что мозг непрерывно старается достроить воспринимаемую картину до наиболее вероятной, заполняет лакуны предположениями. В конце 20-го века эти работы были развиты нейрофизиологической теорией прогнозирующего кодирования. А в 21-м легли в основу принципа свободной энергии Карла Фристона.

В этой концепции мозг моделируется как иерархическая предсказательная машина, которая постоянно генерирует модели мира, предсказывает сенсорные входы и минимизирует ошибку предсказания. Пытается угадать всякую мелодию и предсказать любой паттерн. Так что между нашим пониманием работы мозга и большими языковыми моделями есть кое-что принципиально объединяющее.

Базой для работы языковых моделей являются так называемые эмбеддинги (embedding). Эмбеддинги — это сжатое представления связи понятий в языке, многомерные (до многих тысяч измерений) карты, где слова и идеи связаны расположением по смыслу, как нейроны в коре головного мозга.

Обучение на океанах текстов учит модель размещать понятия в многомерном пространстве: "король" и "королева" — близко, а "яблоко" как фрукт и как компания — разделены, но связаны нюансами контекста. Причём расстояние и направление понятий "король" и "королева" будут на приблизительно том же расстоянии друг от друга и в том же направлении, что "мужчина" и "женщина". Эти свойства не случайны — они эмерджентны, рождены из минимизации "удивления", как у Фристона.

Это пространство полно свойств, напоминающих человеческое мышление: семантическая близость, где похожие идеи кластеризуются; векторная арифметика, где "король - мужчина + женщина = королева", раскрывающая скрытые симметрии.

В сердце LLM, лежит архитектура, где слои "внимания"  фокусируются на связях между словами. Слои формируют иерархию абстракций, где нижние слои ловят простые понятия, а верхние — сложные нарративы, подобно тому, как мозг строит связи от ощущений к концепциям.

В этом видео, например, вечно скептичная Сабина Хоссенфельдер говорит, что схема понимания у LLM и людей имеет много общего. Распознавание схем и экстраполяция поведения по схемам это то, что мы делаем. Или вот, про статью Natural speech reveals the semantic maps that tile human cortex (2016):

Human brains do something similar: Neuroscientists at UC Berkeley mapped how concepts tile across the cortex using fMRI scanning. They found that our brains create semantic maps with the same kind of geometric organization as AI systems¹⁰. Different people’s brains, and different AI models, converge on similar spatial arrangements for concepts. (c)

Человеческий мозг действует схожим образом: нейробиологи из Калифорнийского университета в Беркли с помощью фМРТ-сканирования составили карту распределения понятий по коре головного мозга. Они обнаружили, что наш мозг создает семантические карты с такой же геометрической организацией, как и системы искусственного интеллекта. Мозги разных людей и различные модели ИИ приходят к схожим пространственным структурам для понятий.

LLM, конечно, не копируют нас — базовые понятия у нас укоренены в физиологии тела, а у сеток опираются на связи между словами. Но схемы работы, выстраиваемые с  языкового уровня имеют уже довольно много общего. А в ритмах и узорах часто важнее пропорции, чем детали.

Сохранено

</>

Пропорции и соотношения

« Во всякой вещи скрыт узор, который есть часть Вселенной. В нём есть симметрия, элегантность и красота — качества, которые прежде всего схватывает всякий истинный художник, запечатлевающий мир. ... Мы пытаемся скопировать этот узор в нашей жизни и нашем обществе и потому любим ритм, ...

Читать полностью

Источник

Оставить комментарий

Популярные посты:

vitellius

Не просто украшение: почему люди выбирают вещи на заказ

abrod

Поразительное фото

foto_history

Буйнов образца 1991г.

b1ume_park

Зима, крестьянин, торжествуя...

vg_saveliev

Дмитриев летит в Майами

miukitten

Новгород в августе. Соколиный двор

sntdpni

Сериал про декабристов

zampolit_ru

Патрульна палiцiя Нацистской киевской хунты будэ контролюватумэ AVSOKOLAN - a

ivankravtsov

Работа зумеров — на отстань

• Ранее
• Архив