Механизм разума

evan_gcrm — 22.05.2024

С большой вероятностью прорыв в понимании механизма машинного разума, проливает свет и на разум человеческий!

В работе "Towards Monosemanticity: Decomposing Language Models With Dictionary Learning" было установлено, что:


• механизмом работы такой внутренней нейросети является обработка паттернов (линейных комбинаций) активаций нейронов, порождающая моносемантические «субнейроны» (соответствующие конкретным понятиям).

Проще говоря: внутри менее мощного AI симулируется более мощный AI. Менее мощный AI физически существует в виде сети нейронов. Более мощный – в виде сети паттернов (линейных комбинаций) активаций нейронов.

Из этого следует, что любое внутреннее состояние модели можно представить в виде нескольких активных функций вместо множества активных нейронов.
Точно так же, как каждое слово в словаре создается путем объединения букв, а каждое предложение — путем объединения слов, каждая функция в модели AI создается путем объединения нейронов, а каждое внутреннее состояние создается путем объединения паттернов активации нейронов.

Продолжение исследования в новой работе: "Mapping the Mind of a Large Language Model".



Картинка кликабельна

---