Партия нейронок

kvisaz — 05.08.2025 Китайцы интенсивно выпускают нейронки с архитектурой партии, то есть вместо одной большой модели они запрягают коллектив из множества экспертов с небольшим количеством параметров.

https://www.reddit.com/r/LocalLLaMA/comments/1mi8lbl/qwen3_coder_vs_kimi_k2_vs_sonnet_4_coding/


Хочется пошутить что то на тему коллективизма, дальнего восточного пути цивилизации и культуры рисоводства, в которой коллективизм произрастает сам собой.

Но мы НЕ знаем, какая архитектура на самом деле внутри западных нейронок. Может там тоже орда бастардов вместо одного гения. А может и нет.


Но факт что коллектив мелких экспертов работает на очень близком уровне с лидерами


Но если в партию сгрудились малые, сдайся враг, замри и ляг.

Партия - рука миллионопалая, сжатая в единый громящий кулак.

Я процитировал Маяковского.

Ps. Пожалуй это идеальный случай, который следовало бы перенять людям. То есть партия должна подбирать лучшего эксперта для решения и следовать его решению. А не следовать решениям одного лидера, ещё и не сменяемого.

Если бы я строил партию я бы строил её по примеру нейронок китайских. Остаётся только вопрос как проверять экспертов, как заставить людей поверить эксперту.

Оставить комментарий

Популярные посты: