Myth Busted: гигантские интеллектуальные мощности требуют гигантских

kvisaz — 16.11.2024 "гигантские интеллектуальные мощности требуют гигантских вычислительных затрат. А гигантские вычислительные затраты требуют гигантского производства вычислительного оборудования."
https://giovanni1313.livejournal.com/139948.html

Это утверждение верно в самом общем смысле, но неверно в контексте - "текущие проблемы нейронок"

В нынешнем поколении вывод обученной нейронки крайне дешев - 12-15 долларов за 1 миллион токенов (экстремум 50 долларов для o1)
. Да, собственно, наверное никто и не будет говорить, что нынешние нейронки обладают гигантскими вычислительными мощностями. Это вопрос будущего - понять, нужны ли нам гигантские вычислительные мощности и в какой пропорции для гигантских интеллектов.

В наше время гигантские вычислительные мощности требуются для обучения. Очень дорогое обучение, очень дешевая работа. Напоминает шутку про высшее образование и Макдональдс.

Интересно, что китайцы ухитрились оптимизировать и обучение (раз в десять), и вывод нейронки за счет многослойной иронии системы кэширования.

PS: я нейронку из статьи - Yi - не тестировал, она закрытая и раздается с серверов создателей. Поэтому до конца проверить факты не могу. Но я видел Qwen 2.5 Coder от других китайцев, я запускал разные ее версии на домашней видеокарте и был впечатлен ее способностями. Qwen раздается свободно, ее запускают в независимых тестах, где она показывает впечатляющие для своего размеры результаты по качеству. Так что я могу поверить и создателям Yi. Даже если там что-то всплывет, сам факт, что в современных нейронках можно еще оптимизировать и оутсорсить, не подлежит сомнению - слишком много сейчас делается там на горячую руку по испытанным, а не улучшенным схемам.

И в любом случае, тезис "гигантские интеллектуальные мощности требуют гигантских вычислительных затрат" он сильно страдает от отсутствия у нас внятной модели "гигантского интеллекта", чтобы мы могли его считать ложным или правдивым.

Оставить комментарий

Популярные посты:

• Ранее
• Архив