Гессиан

топ 100 блогов thesz — 06.01.2025 https://arxiv.org/pdf/2106.16225 - ранг Гессиана (Hessian) нейросетей много меньше количества параметров. Причём в статье выводится точная формула ранга.

Из интересных спецэффектов обнаружено большое количество одинаковых собственных значений.

Ещё там указывается, что улучшение обобщения за счёт увеличения ширины слоёв или глубины сети непосредственно связано с уменьшением отношения ранга к числу параметров.

Собственных мыслей у меня по этому поводу мало.

На stackoverflow увидел интересное соображение про нейросети: для любых двух значений в каком-то скрытом слое мы можем переставить вектора их вычислений и их коэффициенты в вычислениях, поэтому количество минимумов для нейросети может быть (для современных моделей) практически сколь угодно большим, даже если функция потерь выпукла.

Если я правильно понял, в статье рассматривается Гессиан функции потерь по выборке (популяции). То есть, речь идёт не о Гессиане одной пары, а о сумме Гессианов.

В общем, огорчительно это. ;)

Оставить комментарий

Предыдущие записи блогера :
Архив записей в блогах:
…Даже если все у вас в порядке – остановитесь ненадолго: присмотритесь ...
Был такой магнитофон: «Днепр11». Очень хороший магнитофон. Никаких «электромагнитов». Все управление на тягах и пружинках. Внешний вид, как «Кадиллак» 1960 года. Но, самое главное, что на этот магнитофон входила бобина в 500 метров пленки. Вот с ...
ингредиенты : 1 кг рулет из индейки 4 зубчика чеснока Рукав для запекания маринад : 1 ч.л мёд 1 .5 ч.л финиковый сироп(или кленовый) 1 ст.л лимонный сок 1.5 ч.л сладкий чили соус 1 .5 ч.л смесь специй Тандури масала Соль по вкусу Черный ...
Метропарковки псто. Попользовался на днях на Выхино. В общем-то, как обычно: пеара много, а косяков - еще больше. 1. Приехал - свободных мест нет - сквозного проезда нет - уехать без нарушений ПДД нельзя. Когда ты приехал к воротам метропарковки, ты уже метров 500 проехал по дороге с ...
Также как проблемы секусальной жизни человека меня интересует и этот вопрос. Я так же его изучал и выяснил некоторые моменты. В Африке в самоубийства очень часто записывают убийства - Рекорд Лесото связан не с тем что там какая то особенная бедность для Африки, или что там религия ...