Мат Рицы

thesz — 18.03.2025 https://cp4space.hatsya.com/2020/10/28/the-exceptional-jordan-algebra/

Напомнило.

https://en.wikipedia.org/wiki/Kolmogorov%E2%80%93Arnold_representation_theorem#Variants

Теорема Колмогорова-Арнольда была обобщена до компактных пространств с метрикой. Каковым является и пространство Эрмитовых матриц, если я всё правильно понимаю.

Сие решает проблему вложений в сетях Колмогорова-Арнольда, однако порождает проблему поиска функций представления - в изначальной статье использовались сплайны, что с трудом обобщаются на матрицы. Однако, у нас есть Фурье и разложение на sinc/cosinc (сходное с Фурье). Фурье можно с гауссианой сворачивать, чтобы выбросы не сильно мешали. И вообще, сужение функций представления до двух (см. вариант Шпрехера) напрямую намекает на Фурье.

https://en.wikipedia.org/wiki/Trigonometric_functions_of_matrices

Что за проблема вложений? Вот у аас фраза, представленная символами, что закодированы кодом 1-из-256. И на входе такой разреженный вектор (N единичек в векторе длиной 256N), который надо как-то отобразить в числа, что будут поданы на вход функций представления. Во-первых, функций представления на первом уровне получается 256N, во-вторых, они тривиально отображают вход 0 в одно значение и вход 1 в другое, при этом это тривиальное отображение должно быть значимо в окружении (суммировании) соседних столь же тривиальных отображений.

Заменим код "1-из-256" на матрицу 16x16, что представляет собой те же 256 значений. У нас в 256 раз меньше функций представления первого уровня. Несмотря на увеличившуюся сложность этих функций, большое количество ограничений по входам и выходам (а у нас LBFGS - приближение к методам второго порядка, что работают по всему набору данных) может сильно ограничить возможные преобразования.

Надо спать идти.

Оставить комментарий

Популярные посты:

• Архив