О тестах

kvisaz — 14.12.2023 На Реддите жалуются и не раз, что
- новые текстовые нейронки часто откровенно заточены под тесты - и одного такого умельца, обошедшего всех на поворотах, просто выпилили вместе с его нейронками из хранилища Hugging Face
- люди сфокусировались на нейронках, а не на приложениях

нейронка сама по себе, как набор весов, это довольно малопригодное к жизни изделие, его надо настроить и запустить. Настроить - в смысле подобрать параметры запуска. На Реддите отмечают, что некоторые модели дают очень хорошие результаты при некоторых неочевидных комбинациях параметров.... но почему этим занимаются любители, а не профессионалы? В смысле, сами разработчики?

Ряд нейронок не запускается через удобные и привычные программы, вроде OoobaBooga, только через свой самописный скрипт на Питон.

Чтобы запустить скрипт на Питон, есть три пути - водка, рейвы и айти. Шутка. Надо как-то решить проблему с зависимостями, которые надо выкачать и поставить без конфликта. Для этого есть решения, а питонисты сейчас придут скажут - а что страшного?

Страшно то, что Питон в принципе был создан не для билда финальных продуктов, а для билда быстрых решений в кастомных условиях. Это круто для ученых и экспериментаторов, это привело к развитию массы крутых решений и dependency hell. Я ставил нейронки через Докер. Докер на персональном компьютере обычного пользователя - говно, которое можно намазывать на хлеб только от безысходности.

И это все работает на факт
- простому человеку не видать нормальных приложений с нейронками на своем компьютере. Только сервисы.

Получаем
- нейронки - сырой продукт, которые надо готовить и оборачивать
- компании сфокусированы на выпуске базовых моделей, а не продуктов, потому что на это можно быстрее выцыганить инвестирование, а прибыль с финального продукта, который легко ставится - попробуй-ка еще получи
- компании по той же причине сфокусированы на побитии тестов, а люди на Реддите, поматерившись с новыми обертками и скриптами, запускают и обалдевают от того, что перехайпленный продукт хуже старой доброй модели, выпущенной пару месяцев назад
- тем не менее хорошие нейронки есть
- но им нужен финальный продукт - нечто, что спрячет под капот возню с настройкой лучших параметров, обеспечит доступ к базе данных или документу

Вот один пример
- Microsoft рассказывает, что есть технология промпта, которую если применить на GPT4, она покажет невероятные интеллектуальные результаты и побьет специализированную нейронку, которую учили на медицинских статьях. Окей, Сатья, а где этот продукт хотя бы в финальном виде для GPT 4? А вариант применения промпта для обычных нейронок?



(сама технология выглядит как многоступенчатое улучшение промпта с добавление новых и новых деталей и примеров, и теоретически может быть применена вручную, просто поэтапно писать промпт с новыми и новыми деталями, но вручную только кошки хорошо плодятся.... )

ну вот эта технология, применяйте, пользователи! Что, не выходит каменный цветок?



Я пользуюсь сейчас некоторыми плагинами с нейронками для кодирования, встроенными прямо в редактор кода. Вот это - продукт. Для ряда вопросов мне не нужно ходить в чат, я порой просто набираю название функции и автокомплит полностью ее пишет, ориентируясь на название. Тем не менее и эти плагины - сырые, унылые, непропеченные.

Мы с нейронками как с персональными компьютерами в 80х, с карманными ПК - в нулевых. Да и то в те времена софт был куда лучше, чем то, что мы сейчас имеем с нейронками.

Проблема последней мили - она актуальна и в софтостроении. Проще прокричать - "у нас золотой кабель" - и получить инвестиции, чем тянуть этот золотой кабель до конечного пользователя.

Извините, эмоционально. Просто личные впечатления.

Оставить комментарий

Популярные посты: