Как умный ИИ может отупеть

a_n_d_r_u_s_h_a — 28.09.2024

У ИИ главное - чтобы он весь залез в видеопамять. Тогда он работает, а иначе выдает по слову в минуту.

Эта штука устроена так, что осторожно подбирает максимально близкие друг к другу слова. И они получаются теми самыми умными словами, которых мы от него так ждем.

Но расстояние между двумя совершенно разными словами может быть вполне близким. Например "Духовка" и "Крематорий" - и то и другое это печь.

Вектора расположения слов описываются многозначными числами. Но хитрые разработчики округляют эти числа до 8, 4 и даже 2 двоичных разрядов. Это называется разрядность квантификации.
И тогда уж точно печь, микроволновка, духовка и крематорий находятся рядом.  Получается "Засуньте гуся в крематорий. Выньте из микроволновки утконоса когда зарумянится хвост".

Квен 2.5 на 14 миллиардов параметров влезает в 10 гигабайт и работает быстро и точнее чем chatgpt 4o. Взял "более умный" Квен 2.5 на 30 миллиардов параметров - но пришлось сильно пожертвовать разрядностью - и он оказался тупее! у него 1+1+0 равно 1+1+1.
То есть знает-то он много - но неточно и путается.

Так что если вам нужна не креативность, а точность (математика, программирование, медицина) - то желательна хотя бы 8-битная квантификация.

Оставить комментарий

Популярные посты:

tescin

Почему стоит заказать шкаф по индивидуальным размерам: плюсы и особенности проектирования

gusev_a_v

Любимица для дворян, гроза для неприятеля, палач для своего народа

maoist

Вот оно, влияние постов про пиво!

vladimirdar

Тверская — День Города

ogbors

К людям с этой планеты: просьба

mirielle_elenna

Самое начало

les_knig

Три лотоса

jazz-note

всячина на ночь глядя

uralpanda

Futurione, март 2025 года

• Ранее
• Архив