Shut up and calculate!

snormer — 01.05.2023

Самый большой урок, который можно извлечь из 70 лет исследований в области ИИ, заключается в том, что общие методы с опорой на вычисления оказываются в итоге наиболее эффективными, причем с большим отрывом... В погоне за улучшеними, которые дают краткосрочное преимущество, исследователи стремятся использовать человеческий опыт и знания в данной области, но единственное, что имеет значение в долгосрочной перспективе, это использование вычислений. Эти два подхода на первый взгляд не противоречат друг другу, но на практике происходит именно это. Время, потраченное на одно, не тратится на другое... подход на основе человеческих знаний, как правило, усложняет методы таким образом, что они меньше подходят для использования универсальных вычислительных методов.
( Ричард Саттон )

Неплохое напоминание. Прогресс в нейросетях это только на половину новые подходы и архитектуры, т.е. изобретения. На вторую половину это просто закон Мура. Бородатые концепции из прошлого века отлично работают даже безо всяких изменений, в них просто надо залить достаточно петафлопсов. Нейросети это вычислительные модели, и они моделят тем лучше, чем более продвинутый калькулятор их обсчитывает.

Это я ещё под впечатлением от всяких мелких, чуть ли не студенческих проектов, которые «у нас была свежая бредовая идея, мы взяли модель из открытого репозитория, бесплатный датасет и тесты, погоняли её на A100 ноде пару недель — вот результат». Так на минуточку, каких десять лет назад это был уровень топовых суперкомпьютеров мира! А сейчас энтузиасты развлекаются...

Оставить комментарий

Популярные посты:

thurinus

Сколько зарабатывает курьер на авто в Москве и других реагионах — честная статистика заработков

cand_orel

1951: Опубликована повесть Дж. Сэлинджера «Над пропастью во ржи»

vlad1_74

Почему скрывают древние артефакты в археологии

periodika_com

Крокодил №№ 33-36 \ 1936

salenta

17018 июля

shri_boomer

Иностранный язык после 50: бессмысленная трата времени на грандиозный миф

your_food_today

Дачное...

augean_stables

В начале было слово.

grizzly_bag

Неугомонный Плант

• Ранее
• Архив