Афера "Искусственный Интеллект" тонет, как Титаник. Ученые отплывают, чтоб не

alex_rozoff — 15.10.2024 Ранее в этом журнале* много говорилось по теме AI, в частности, еще в 2019-м: "я скептически отношусь к современной генеральной линии в области прикладного моделирования интеллекта. Методически такой ИИ не смог подняться выше исходной идеи Фрэнка Розенблатта, показанной в 1957-м - 1960-м... Кто-то решил, что при таких ресурсах BigData, для ИИ будет вполне достаточно интеллекта медузы. Перспективные исследования были свернуты, и прикладная наука бросилась искать пути форсированной набивки электронной медузы - массивами данных. ИИ, как сборщик и примитивный анализатор "больших данных", конечно, полезен - но только на очень ограниченном круге задач".

Теперь, когда афера с медузой, набитой большими данными - тонет, то же самое стали публично** говорить ученые, занимавшиеся темой ИИ. Сначала частные лица (Ян Лекун и Фей-Фей Ли), а теперь уже и команды. Так, команда ИИ-экспертов Apple выступила на techcrunch.com с таким анонсом:
"Как модели машинного обучения делают то, что они делают? И действительно ли они «думают» или «рассуждают» так, как мы понимаем эти вещи? Это философский вопрос в той же степени, что и практический, но новая статья, появившаяся в пятницу, предполагает, что ответ, по крайней мере на данный момент, довольно однозначный: «нет»."
Конспективно, о чем они сказали:

Группа ученых-исследователей ИИ в Apple опубликовала свою статью «Понимание ограничений математического рассуждения в больших языковых моделях» для общего обсуждения в четверг. Хотя более глубокие концепции символического обучения и воспроизведения шаблонов немного запутаны, базовую концепцию их исследования очень легко понять.

Допустим, я попросил вас решить простую математическую задачу, например, такую:

Оливер собирает 44 киви в пятницу. Затем он собирает 58 киви в субботу. В воскресенье он собирает вдвое больше киви, чем в пятницу. Сколько киви у Оливера?

Очевидно, ответ 44 + 58 + (44 * 2) = 190. Хотя большие языковые модели (LLM) на самом деле несовершенны в арифметике, они могут довольно надежно решать что-то вроде этого. Но что, если я добавлю немного случайной дополнительной информации, например:

Оливер выбирает 44 киви в пятницу. Затем он выбирает 58 киви в субботу. В воскресенье он выбирает вдвое больше киви, чем в пятницу, но пять из них были немного меньше среднего. Сколько киви у Оливера?

Это та же самая математическая задача, верно? И, конечно, даже ученик начальной школы знал бы, что даже маленький киви все равно остается киви. Но, как оказалось, эта дополнительная точка данных сбивает с толку даже самых современных LLM. Вот мнение GPT-o1-mini:

[О] В воскресенье 5 из этих киви были меньше среднего. Нам нужно вычесть их из воскресной суммы: 88 (воскресные киви) – 5 (меньшие киви) = 83 киви

Это всего лишь простой пример из сотен вопросов, которые исследователи слегка изменили, но почти все из них привели к огромному снижению показателей успешности для моделей, которые пытались их решить.

Итак, почему это должно быть так? Почему модель, которая понимает проблему, так легко может быть сбита с толку случайной, не относящейся к делу деталью? Исследователи предполагают, что этот надежный способ отказа означает, что модели на самом деле вообще не понимают проблему. Их обучающие данные позволяют им отвечать правильным ответом в некоторых ситуациях, но как только требуется малейшее фактическое «рассуждение», например, считать ли маленькие киви, они начинают выдавать странные, абсурдные результаты.

Вот что пишут исследователи в своей статье:
[Мы] исследуем хрупкость математических рассуждений в этих моделях и демонстрируем, что их производительность значительно ухудшается по мере увеличения количества предложений в вопросе. Мы предполагаем, что это снижение связано с тем, что нынешние LLM не способны к действительному логическому рассуждению. Вместо этого они пытаются воспроизвести шаги рассуждения, наблюдаемые в их обучающих данных.

...Такие дела...
------------------------
*) Ранее по теме в этом журнале
Все надежды человоща. Искусственный интеллект, как бог человощества.
https://alex-rozoff.livejournal.com/122271.html
Куда уехал цирк: этот искусственный интеллект (LLM) сломался, несите новый (KAN).
https://alex-rozoff.livejournal.com/786381.html
Наконец-то нашлись ученые, которые сказали прямо: AI типа LLM это лишь имитация говорящего попугая
https://alex-rozoff.livejournal.com/810190.html
Великий финансовый пузырь сверхчеловеческого искусственного интеллекта: цирк продолжается
https://alex-rozoff.livejournal.com/820035.html
И вновь продолжается цирк... Вокруг т.н. "искусственного интеллекта". Есть выход, но он не работает
https://alex-rozoff.livejournal.com/824436.html
**) Теперь в СМИ
Even the ‘godmother of AI’ has no idea what AGI is
https://techcrunch.com/2024/10/03/even-the-godmother-of-ai-has-no-idea-what-agi-is/
his AI Pioneer Thinks AI Is Dumber Than a Cat
Yann LeCun, an NYU professor and senior researcher at Meta Platforms, says warnings about the technology’s existential peril are ‘complete B.S.’
https://www.wsj.com/tech/ai/yann-lecun-ai-meta-aa59e2f5?st=SYmYBM&reflink=desktopwebshare_permalink
Researchers question AI’s ‘reasoning’ ability as models stumble on math problems with trivial changes
https://techcrunch.com/2024/10/11/researchers-question-ais-reasoning-ability-as-models-stumble-on-math-problems-with-trivial-changes/

Оставить комментарий

Популярные посты:

• Ранее
• Архив