Shut up and calculate!

snormer — 01.05.2023

Самый большой урок, который можно извлечь из 70 лет исследований в области ИИ, заключается в том, что общие методы с опорой на вычисления оказываются в итоге наиболее эффективными, причем с большим отрывом... В погоне за улучшеними, которые дают краткосрочное преимущество, исследователи стремятся использовать человеческий опыт и знания в данной области, но единственное, что имеет значение в долгосрочной перспективе, это использование вычислений. Эти два подхода на первый взгляд не противоречат друг другу, но на практике происходит именно это. Время, потраченное на одно, не тратится на другое... подход на основе человеческих знаний, как правило, усложняет методы таким образом, что они меньше подходят для использования универсальных вычислительных методов.
( Ричард Саттон )

Неплохое напоминание. Прогресс в нейросетях это только на половину новые подходы и архитектуры, т.е. изобретения. На вторую половину это просто закон Мура. Бородатые концепции из прошлого века отлично работают даже безо всяких изменений, в них просто надо залить достаточно петафлопсов. Нейросети это вычислительные модели, и они моделят тем лучше, чем более продвинутый калькулятор их обсчитывает.

Это я ещё под впечатлением от всяких мелких, чуть ли не студенческих проектов, которые «у нас была свежая бредовая идея, мы взяли модель из открытого репозитория, бесплатный датасет и тесты, погоняли её на A100 ноде пару недель — вот результат». Так на минуточку, каких десять лет назад это был уровень топовых суперкомпьютеров мира! А сейчас энтузиасты развлекаются...

Оставить комментарий

Популярные посты:

claudius

Как подготовить золотое изделие к оценке: 7 практических рекомендаций

• Архив