Руководство по выбору нарезного оружия: калибры, типы систем и оценка состояния
05.01.2025 —
Главное - верить
Гессиан
thesz — 06.01.2025
https://arxiv.org/pdf/2106.16225 - ранг Гессиана
(Hessian) нейросетей много меньше количества параметров. Причём в
статье выводится точная формула ранга.Из интересных спецэффектов обнаружено большое количество одинаковых собственных значений.
Ещё там указывается, что улучшение обобщения за счёт увеличения ширины слоёв или глубины сети непосредственно связано с уменьшением отношения ранга к числу параметров.
Собственных мыслей у меня по этому поводу мало.
На stackoverflow увидел интересное соображение про нейросети: для любых двух значений в каком-то скрытом слое мы можем переставить вектора их вычислений и их коэффициенты в вычислениях, поэтому количество минимумов для нейросети может быть (для современных моделей) практически сколь угодно большим, даже если функция потерь выпукла.
Если я правильно понял, в статье рассматривается Гессиан функции потерь по выборке (популяции). То есть, речь идёт не о Гессиане одной пары, а о сумме Гессианов.
В общем, огорчительно это. ;)
Оставить комментарий
Предыдущие записи блогера :
04.01.2025 —
Вот те на те!
Архив записей в блогах:
Скажите, а какие нормы для четырехлеток по пониманию прочитанного (а такие нормы вообще есть?)? Вот у нас есть книжка «Город добрых дел». Там сборник историй о том, как устроен мир, как что делается, на примере жителей вымышленного города. Как строят дороги, как пекут хлеб, что такое ...
Суксун - типичный заводской посёлок в юго-восточной части Пермского края, райцентр. как и положено горнозаводскому посёлку, стоит на берегу пруда, а ниже плотины стоит завод. На возвышенности церковь, по склонам частный сектор. Читать дальше в моём журнале (29 фото) ...
В некоторых сомнительных аспектах Украинское Государство уверенно занимает лидирующие позиции. Например, по уровню смертности матерей и младенцев «незалежная» — на первом месте в Европе. Так, в 2015 году на Украине было зафиксировано 120 случаев материнской смертности, в то время как в ...
Минюст: субботний лифт в высотке будет останавливаться только на этажах жильцов, которым это важно
Жалобу подал один из жильцов здания, который владеет в нем квартирой и который выступал в пользу того, чтобы там работал субботний лифт. Он сообщил, что теперь лифт останавливается на ...
В чем прелесть таких «часов»? Да в том, что, несмотря на существование в объективной реальности сверхточных и автоматизированных современных «механизмов ...
