Wizard LM 2

kvisaz — 17.04.2024 Из смешного - Microsoft выпустило семейство новых опенсорсных нейронок Wizard LM 2 для запуска где угодно, а затем в этот же день снесло, потому что "забыли проверить на токсичность".

Ну, младшая модель (7b) в искусстве гладко писать на русском мало чем отличается от других 7b-нейронок, перечисленных в личном топе у меня, а старшие все равно не запустились.


Из очевидного - 24гигабайта видеопамяти это мало, а 7b модели нейронки, которые в них влазят, тоже вряд ли когда-нибудь будут нормально интеллектуальными.

Возможно, процессоры Mac и Intel будут решать это за счет оперативной памяти, но там все равно нужны те же цифры, да еще на операционку и другие задачи.

13b нейронки встречаются крайне редко. Хорошие требования для 70b - 100 гигабайт памяти. Для гибридов из 8 и более нейронок (MoE - Mixture of Experts, коллектив экспертов) - нужно намного больше 100 гигабайт памяти.

Значит, предполагается, что в будущем у всех будет 100 гигабайт памяти, для начала, как минимальные требования. Насколько это реально, учитывая нынешние темпы прогресса в электронике и ценах?

Скорее всего, ближайшие пять лет будут доминирование онлайн-нейронок, а микронейронки в лучших случаях будут узко заточенными, как автозаполнение строки в редакторах кода от IntelliJ - это не шутка, они уже выпустили новые версии с автокомплитом на локальной нейронке. Но только одной строки!

Оставить комментарий

Популярные посты: