Wizard LM 2

топ 100 блогов kvisaz17.04.2024 Из смешного - Microsoft выпустило семейство новых опенсорсных нейронок Wizard LM 2 для запуска где угодно, а затем в этот же день снесло, потому что "забыли проверить на токсичность".

Ну, младшая модель (7b) в искусстве гладко писать на русском мало чем отличается от других 7b-нейронок, перечисленных в личном топе у меня, а старшие все равно не запустились.


Из очевидного - 24гигабайта видеопамяти это мало, а 7b модели нейронки, которые в них влазят, тоже вряд ли когда-нибудь будут нормально интеллектуальными.

Возможно, процессоры Mac и Intel будут решать это за счет оперативной памяти, но там все равно нужны те же цифры, да еще на операционку и другие задачи.

13b нейронки встречаются крайне редко. Хорошие требования для 70b - 100 гигабайт памяти. Для гибридов из 8 и более нейронок (MoE - Mixture of Experts, коллектив экспертов) - нужно намного больше 100 гигабайт памяти.

Значит, предполагается, что в будущем у всех будет 100 гигабайт памяти, для начала, как минимальные требования. Насколько это реально, учитывая нынешние темпы прогресса в электронике и ценах?

Скорее всего, ближайшие пять лет будут доминирование онлайн-нейронок, а микронейронки в лучших случаях будут узко заточенными, как автозаполнение строки в редакторах кода от IntelliJ - это не шутка, они уже выпустили новые версии с автокомплитом на локальной нейронке. Но только одной строки!

Оставить комментарий

Архив записей в блогах:
 Ничего не понимаю про деньги. Вот вообще ничего. Девушки до 24 лет, расскажите, а как вы вообще живете?  Я знаю, что большая часть барышень такого возраста получает меньше меня. Ну или около того. Но. Девушки, кто вам оплачивает айфоны? Или как ...
История появления государства Украина и украинцев вызывает много вопросов, особенно в свете попыток отдельных представителей украинских элит, вести историографию Украины от Киевской Руси и уже совсем анекдотическое считать себя потомками древних шумеров. В связи с этим интересно ...
Известный российский бизнесмен нашел замену бывшей подруге, топ-модели Наоми Кэмпбелл. Владислав Доронин решил не терять время на поиски и так же выбрал себе модель. Более того, возлюбленная Доронина как две капли воды похожа на Наоми. Как стало известно Dailymail, девушку зовут Джацма ...
Люди, если есть возможность помочь, откликнитесь, пожалуйста. Или хотя бы перепостьте. А то у меня дочка Дашенька 1 сентября в первый класс пойдёт, а жить-то, по ходу, ей совсем негде.Пишет sascetta: Что ищем-ищем мы квартиру, а она нас ну совсем не ищет... ...
Поздравляю всех читающих этот журнал российских бизнесменов, коммерсантов, негоциантов и деловых людей с сегодняшним праздником - Днем Российского Предпринимательства . Желаю, чтобы в нынешние суровые времена не оскудели ваши сейфы, кошельки и банковские счета. Кстати, нынче этот ...