Картографирование разума

kvisaz — 26.04.2025 Мы относимся к моделям ИИ как к черному ящику.

Наша нейронка Claude способна понимать и использовать широкий спектр концепций — но мы не можем различить их, глядя непосредственно на нейроны.

Потому что каждая концепция представлена ​​во многих нейронах, и каждый нейрон участвует в представлении многих концепций.

Мы смогли измерить «расстояние» между концепциями в Claude. Около «моста Золотые Ворота», мы нашли признаки острова Алькатрас, площади Жирарделли, «Голден Стэйт Уорриорз», губернатора Калифорнии Гэвина Ньюсома, землетрясения 1906 года и фильма Альфреда Хичкока « Головокружение», действие которого происходит в Сан-Франциско .

Рядом с понятием «внутренний конфликт», мы находим признаки, связанные с разрывом отношений, конфликтующими привязанностями, логическими несоответствиями, а также фразой «уловка-22». Это показывает, что внутренняя организация понятий в модели ИИ соответствует, по крайней мере, в некоторой степени, нашим человеческим представлениям о сходстве. Это может быть источником превосходной способности Клода проводить аналогии и метафоры.

Важно: мы также можем усиливать или ослаблять отдельные реакции на термины, чтобы изменить реакции нейронки

(Люди, которые пишут "чтобы увидеть, как изменятся реакции" вместо просто "чтобы изменить реакции" - косноязычные юродивые, прим. kvisaz)

Вы прочитали краткий конспект статьи "Картографирование разума большой языковой модели" - https://www.anthropic.com/research/mapping-mind-language-model

Оставить комментарий

Популярные посты:

• Ранее
• Архив