­
­

О тестах

топ 100 блогов kvisaz14.12.2023 На Реддите жалуются и не раз, что
- новые текстовые нейронки часто откровенно заточены под тесты - и одного такого умельца, обошедшего всех на поворотах, просто выпилили вместе с его нейронками из хранилища Hugging Face
- люди сфокусировались на нейронках, а не на приложениях

нейронка сама по себе, как набор весов, это довольно малопригодное к жизни изделие, его надо настроить и запустить. Настроить - в смысле подобрать параметры запуска. На Реддите отмечают, что некоторые модели дают очень хорошие результаты при некоторых неочевидных комбинациях параметров.... но почему этим занимаются любители, а не профессионалы? В смысле, сами разработчики?

Ряд нейронок не запускается через удобные и привычные программы, вроде OoobaBooga, только через свой самописный скрипт на Питон.

Чтобы запустить скрипт на Питон, есть три пути - водка, рейвы и айти. Шутка. Надо как-то решить проблему с зависимостями, которые надо выкачать и поставить без конфликта. Для этого есть решения, а питонисты сейчас придут скажут - а что страшного?

Страшно то, что Питон в принципе был создан не для билда финальных продуктов, а для билда быстрых решений в кастомных условиях. Это круто для ученых и экспериментаторов, это привело к развитию массы крутых решений и dependency hell. Я ставил нейронки через Докер. Докер на персональном компьютере обычного пользователя - говно, которое можно намазывать на хлеб только от безысходности.

И это все работает на факт
- простому человеку не видать нормальных приложений с нейронками на своем компьютере. Только сервисы.

Получаем
- нейронки - сырой продукт, которые надо готовить и оборачивать
- компании сфокусированы на выпуске базовых моделей, а не продуктов, потому что на это можно быстрее выцыганить инвестирование, а прибыль с финального продукта, который легко ставится - попробуй-ка еще получи
- компании по той же причине сфокусированы на побитии тестов, а люди на Реддите, поматерившись с новыми обертками и скриптами, запускают и обалдевают от того, что перехайпленный продукт хуже старой доброй модели, выпущенной пару месяцев назад
- тем не менее хорошие нейронки есть
- но им нужен финальный продукт - нечто, что спрячет под капот возню с настройкой лучших параметров, обеспечит доступ к базе данных или документу

Вот один пример
- Microsoft рассказывает, что есть технология промпта, которую если применить на GPT4, она покажет невероятные интеллектуальные результаты и побьет специализированную нейронку, которую учили на медицинских статьях. Окей, Сатья, а где этот продукт хотя бы в финальном виде для GPT 4? А вариант применения промпта для обычных нейронок?



(сама технология выглядит как многоступенчатое улучшение промпта с добавление новых и новых деталей и примеров, и теоретически может быть применена вручную, просто поэтапно писать промпт с новыми и новыми деталями, но вручную только кошки хорошо плодятся.... )

ну вот эта технология, применяйте, пользователи! Что, не выходит каменный цветок?

О тестах

Я пользуюсь сейчас некоторыми плагинами с нейронками для кодирования, встроенными прямо в редактор кода. Вот это - продукт. Для ряда вопросов мне не нужно ходить в чат, я порой просто набираю название функции и автокомплит полностью ее пишет, ориентируясь на название. Тем не менее и эти плагины - сырые, унылые, непропеченные.

Мы с нейронками как с персональными компьютерами в 80х, с карманными ПК - в нулевых. Да и то в те времена софт был куда лучше, чем то, что мы сейчас имеем с нейронками.

Проблема последней мили - она актуальна и в софтостроении. Проще прокричать - "у нас золотой кабель" - и получить инвестиции, чем тянуть этот золотой кабель до конечного пользователя.

Извините, эмоционально. Просто личные впечатления.

Оставить комментарий

Архив записей в блогах:
Да, Зеленский человек настойчивый, даже упрямый. Да, у него есть идея встретиться с Путиным и обо всем договориться. Да, он заявляет об этой встрече и ищет ее уже скоро год. Но причем здесь Байден? Однако после телефонного разговора с президентом США Зеленский сказал: - Я не ...
Вчера вечером по телевизору шёл какой-то крепкий, канонический, насыщенный ковбойский фильм. Играли мексиканские дудки, каньоны, шерифы, злодеи, и красивая женщина. Сто лет уже не было в телевизоре коней с ковбоями. А у Скабеевой в назначенное время ежедневная гей-пропаганда не ...
Посмотрите сегодня в 16.10 по ТВЦ – «Страшную красавицу». Добрая сказка для взрослых режиссера Галины Шигаевой, история Золушки «наоборот», где красавица, временно превратившись в дурнушку, находит свою любовь. А я играю мужа-монстра, который тоже обретает свое счастье, правда, не ...
Злочинный режим Макрона продолжает наступление на демократию и свободу. Депутаты Национального собрания Франции 5 февраля одобрили законопроект об ограничении прав демонстрантов. Об этом сообщает французский телеканал BFM. Документ поддержали 387 депутатов, 92 высказались против, 74 ...
Французский военный самолет-разведчик Atlantique 2 был "засвечен" радаром российской С-400 над Балтийским морем . Париж осудил акт обнаружения его военного самолета как "агрессивный" и "неприемлемый". Засвечивание самолета означает, что при желании его бы сбили. Примерно как точка ...