Шум в джунглях

kvisaz — 13.11.2024 Если приличные исследователи напоминают слепых, ощупывающих слона, то я скорее слепой, который прислушивается к шуму слонов в джунглях.

То есть я могу пропустить какую-то локальную хорошую революцию, и всматриваюсь в ленту в ожидании именно сильных изменений.

К примеру, выход новой версии универсальной нейронки - это сильный шум в джунглях. Выход хорошей локальной нейронки для программирования - крепкий шум в джунглях, это означает помимо влияния на программирование, которое само по себе универсально и входит во все области, и что возможно появление домашней, частной нейронки, которая будет хороша в какой-то конкретной области на уровне огромного гиганта.

PS: я тут подумал, что когда пузырь лопнет, то некоторые гиганты нейронки могут и не пережить - слишком большие бюджеты у этих динозавров. Но малыши, которые сейчас мечутся в кустиках у ног ящеров, вполне переживут и сформируют новую эру нейронок в любом случае.

Эээ, как насчет ансамблей небольших локальных нейронок, которые запускаются на орде домашних машин и общаются друг с другом в попытке улучшить ответ. В таком ансамбле должны быть менеджеры и узкие специалисты, это выглядит рабочим заменителем гигантской нейронки за миллиарды баксов. Правда, вроде говорят, что орда низкоинтеллектуальных нейронок все равно слабее одной высокоинтеллектуальной и разрыв местами будет ощутим. Но такая орда будет лучше чем одна нейронка - и это главное!

PPS: не путать с MoE - когда ансамбль нейронок пакуют в одну нейронку по сути для клиента и ты хрен их разделишь на части. Идея в запуске отдельных нейронок на разных машинах, MoE из кучи слабых нейронок упирается в те же хардверные ограничения, что одна большая нейронка.

https://www.reddit.com/r/LocalLLaMA/comments/174f42z/can_anyone_explain_moe_like_im_25/

Оставить комментарий

Популярные посты:

• Ранее
• Архив