Фундаментальные ограничения современных LLMs

spydell — 01.12.2025

Интересное интервью Ильи Суцкевера (бывшего главного инженера OpenAI, а ныне основателя Safe Superintelligence). Это его первое публичное выступление с декабря 2024, но учитывая, что он является архитектором современного ядра LLM, его взгляд ценен.

Идеи Ильи практически полностью пересекаются с моими концепциями, высказанными в нескольких циклах материалов по ИИ в этом году, поэтому перескажу, по сути, собственные идеи словами Ильи, но с более научным обрамлением.

Главный тезис Ильи заключается в том, что период с 2012 по 2020 годы был «эпохой исследований», которая сменилась «эпохой масштабирования» (2020–2025), когда доминировал простой рецепт: больше данных + больше вычислений = лучше результат.

Дополню от себя: это выражается в экспоненциальном росте капитальных расходов, достигающих 400 млрд в 2025 среди бигтехов США и зеркалировании выручки у производителей оборудования для развертывания ИИ.

•  Предел данных: предварительное обучение (pre-training) упирается в конечность доступных данных. Простое увеличение масштаба модели больше не дает прежнего качественного скачка.

•  Смена парадигмы: если раньше вопрос «на каких данных учить?» не стоял (ответ был «на всех»), то теперь, особенно в RL (обучении с подкреплением), отбор данных и создание среды становятся критическими задачами.

•  Возврат к исследованиям: индустрия снова входит в фазу, где прогресс зависит не столько от размера кластера, сколько от новых идей и алгоритмов.

Чрезвычайно неэффективное использование вычислительных мощностей:

Оставить комментарий

Популярные посты:

uksibsan

ТТГ норма у женщин: как подготовиться к анализу крови и избежать ошибок

marinamariha

Запись № 1200

5koleso

Рамки-перевертыши под номерной знак: почему их можно купить, но нельзя ставить

colonelcassad

Паша Дуров в поисках рыночной конкуренции

katya_kch96

Завтрак в понедельник. Немного отпускной

selyanka1

Привет от Геббельса, или очередной скандал Олимпиады

gelio

Парковка с высоты

congregatio

Научная пропаганда

natali_kolesnik

Почаще ешьте фундук!

• Ранее
• Архив