Система искусственного интеллекта не смогла распознать часы и календари

Это базовые навыки человека, которые ИИ не смог освоить

Исследователи из Эдинбургского университета пришли к выводу, что передовые системы искусственного интеллекта испытывают значительные трудности при выполнении базовых операций, связанных с измерением времени, таких как считывание показаний аналоговых часов и интерпретация календарных данных.
В ходе исследования авторы рассмотрели способность многомодальных больших языковых моделей (MLLM) отвечать на вопросы, связанные со временем, опираясь на визуальные данные, представленные в виде изображений часов или календарей.
В процессе тестирования были использованы различные варианты изображений часов, включая модели с римскими цифрами, секундными стрелками и без них, а также циферблаты различных цветов. Результаты исследования показали, что системы искусственного интеллекта смогли корректно интерпретировать положение стрелок менее чем в четверти случаев.
Римские цифры или стилизованные стрелки часов оказались источником значительных ошибок. По сообщению команды из Эдинбурга, даже устранение секундной стрелки не смогло помочь искусственному интеллекту. Это обстоятельство свидетельствует о наличии фундаментальных проблем в области распознавания стрелок и интерпретации угла, как полагают исследователи.

Искусственный интеллект также был опрошен на тему календаря: определить праздничные даты, вычислить даты в прошлом или будущем, используя календарь. Однако даже самые продвинутые модели искусственного интеллекта допускали ошибки в расчётах дат примерно в 20% случаев.
Таким образом, пространственная осведомлённость, контекст и базовые математические знания, необходимые для понимания часов и календарей, являются явным недостатком современных моделей искусственного интеллекта. Это было установлено в ходе исследования, проведённого в университете.
В этой области искусственный интеллект пока не может сравниться с большинством людей, которые с раннего возраста умеют определять время и пользоваться календарями.
Ранее два инструмента от Google DeepMind, AlphaGeometry 2 и AlphaProof, успешно справились с четырьмя из шести задач Международной математической олимпиады. AlphaGeometry продемонстрировала впечатляющую способность решать 83% задач по геометрии за последние 25 лет.
Однако вице-президент Google DeepMind, Дэвид Сильвер, подчеркнул, что искусственный интеллект пока не способен заменить людей-математиков. Он сравнил ИИ с логарифмическими линейками и калькуляторами, которые могут помочь в вычислениях, но лишены творческого воображения, необходимого для постановки интересных задач.
По материалам: «РБК»