Мой комментарий к записи «***» от ivanov_petrov

"Спрашивать результаты умножения у языковой модели будет только душный исследователь."

Эээ... "душный" только вычеркнуть, просто исследователь. Спрашивать простую арифметику (для больших чисел) у языковой модели это неплохой способ оценить насколько хорошо она наловчилась экстраполировать логику. Именно количественный показатель: процент ошибки от величины чисел, форма графика, вот это всё. Можно сравнивать модели между собой. Вот ссылка на статью, если есть сомнения.

"В интернете можно найти остроумную гипотезу, что в обучающие данные попадают разного рода таблицы с колонками «Итого», суммирующими значения. Так трансформеры выучиваются складывать, ничего не зная про арифметику."

О, вот и городские мифы пошли. Если бы всё так просто было. У нейросетей есть один принципиальный минус: они могут "ухватить" любую существующую закономерность, но для этого им нужно много раз её показать в процессе обучения. Очень-очень много раз. Эффективность обучения на порядки хуже, чем у биологического мозга. А арифметика и логика из текста не выводятся, это отдельные вещи.

Большие языковые модели учат счёту целенеправленно. Все они для этого видят как минимум математический датасет DeepMind, который содержит несколько гигабайтов всевозможных коротких математических примеров с ответами вида "Посчитай 5654+19961. Ответ: 25615". Миллионы таких примеров из всех разделов математики. Это только обязательная база. Тот же ChatGPT по-моему отдельно ещё на простую арифметику натаскивали, благо там примеры генерировать можно бесконечно.

Но в результате трансформеры действительно генерализуют/экстраполируют простую математику. Не как компьютер, а как человек, считающий в уме: чем больше и "некрасивее" число, тем вероятнее ошибка.

Новый бренд Стрелкова: «Командующий ополчением»

Стрелков на форуме антиквариатов написал то, о чем мы давно говорили – никаким главнокомандующим не является и никогда не был. Стрелков командует крупным отрядом ополченцев, точно так же крупным отрядом ополчения командуют Безлер (безлеровцы), Ходаковский («Восток»), Захарченко («Оплот ...

Зима.

Зима, как много в этом звуке... Дороги затопило, светофоры не работают. Вейз показывал красивые картинки, и никак не мог решить, как же мне ехать. Но реальность оказалась еще "красивше" - 2.20 ехала с работы. Прописью: два часа, двадцать минут. Позвонила, чтобы включили сигнализацию в ...

врачи прилетели

Ксюша Ларина! Не надо хохотать прожженным голосом на радио, это не на кухне у себя, в малометражке, жутко слушать, курить на до меньше, рак даст разбег в твои 57 лет, и не надо с Гаркалиным о кабачках говорить это никому не нужно, как и он, ни кому ...

Куда можно съездить из Петербурга не более 4 часов на дорогу?

Давайте поговорим о том, куда можно еще успеть съездить в эти выходные? Уж больно холодно сегодня в Питере. В парки мы уже съездили - Петергоф, Пушкин, Павловск. Хочется поехать куда-нибудь на пару-тройку дней. 1. Можно поехать в Витебск. Но Белоруссия, кажется, закрыта. 2. ...

дорожная обстановка

По информации от красного матиза адов стояк от Бабушкина до Дальневосточного. Народная-Ивановская, имеется в виду. Дело, конечно, обычное, но как -то рановато началось, по-моему. Еще даже 18-00 ...

Мой комментарий к записи «***» от ivanov_petrov