Shut up and calculate!

snormer — 01.05.2023

Самый большой урок, который можно извлечь из 70 лет исследований в области ИИ, заключается в том, что общие методы с опорой на вычисления оказываются в итоге наиболее эффективными, причем с большим отрывом... В погоне за улучшеними, которые дают краткосрочное преимущество, исследователи стремятся использовать человеческий опыт и знания в данной области, но единственное, что имеет значение в долгосрочной перспективе, это использование вычислений. Эти два подхода на первый взгляд не противоречат друг другу, но на практике происходит именно это. Время, потраченное на одно, не тратится на другое... подход на основе человеческих знаний, как правило, усложняет методы таким образом, что они меньше подходят для использования универсальных вычислительных методов.
( Ричард Саттон )

Неплохое напоминание. Прогресс в нейросетях это только на половину новые подходы и архитектуры, т.е. изобретения. На вторую половину это просто закон Мура. Бородатые концепции из прошлого века отлично работают даже безо всяких изменений, в них просто надо залить достаточно петафлопсов. Нейросети это вычислительные модели, и они моделят тем лучше, чем более продвинутый калькулятор их обсчитывает.

Это я ещё под впечатлением от всяких мелких, чуть ли не студенческих проектов, которые «у нас была свежая бредовая идея, мы взяли модель из открытого репозитория, бесплатный датасет и тесты, погоняли её на A100 ноде пару недель — вот результат». Так на минуточку, каких десять лет назад это был уровень топовых суперкомпьютеров мира! А сейчас энтузиасты развлекаются...

Оставить комментарий

Популярные посты:

credobnik

Электронные компоненты в бытовой технике: как маленькие детали меняют повседневную жизнь?

ka_mysh

Из коллекции вывесок

kotvsapogah1

Вожди мирового пролетариата...

pantv

3 апреля ● "Всемирный день вечеринки" и не только...

valery_brest_by

Просто вопрос

amarok_man

Предложили лишать диплома если работаешь не по специальности...

rohanwarrior

Ну действительно...

prohodimcy

По улицам Калуги

valery_brest_by

Индекс IQ создан не для поиска гениев, а для отбора посредственностей

• Ранее
• Архив