Три чашки кофе за нейронную лихорадку с Cline и OpenRouterAi

kvisaz — 21.10.2024 Понял, как оплачивать OpenRouter Api - провайдера, через которого можно делать запросы к куче разных нейронок, от Claude и GPT/o семейства до разных мутантов, типа Llama 400b и даже Llama 8b

За неполных два дня всадил 780 рублей.

Самым увлекательным оказался Cline (https://github.com/cline/cline) - это плагин для VS Code (редактора кода, но любой редактор кода можно использовать как текстовый). Кратко, что он может
- сам создавать файлы в указанной папке
- коммиты в git и push
- вставлять ссылки на файлы в другие файлы
- повторять комплекс подобных операций для простого повторного "сделай еще 1 вариант"

Каждый раз надо нажимать кнопку "Одобрить" - сам он по соображениям безопасности не делает это автоматически (но может автоматически читать, что ему нужно, если поставить в опциях галочку).

Я сначала баловался с кодом, а потом пробовал на текстах. Слушайте, это мелочь, но очень приятная, когда вместо ручного обновления файлов и проставления ссылок - гомункулус сам выполняет операции. А по кнопке кликать довольно просто.










В общем, я прокликал 6 баксов, которые в данном конкретном случае мне достались по курсу 130,  и теперь думаю - спадет азарт или нет? Проиграю квартиру или да? А на самом деле - как долго продержится интерес?

Я попробовал еще текст-генераторы для Obsidian, но не нашел их более полезными, чем обычная работа с обычным чатом. А обычный чат на сайте OpenRouter.Api есть - его кстати можно попробовать совсем без денег,  бесплатно немножко дают на выбор разные модели. А бесплатные модели дают всегда без денег, только они не всегда работают бесперебойно.

Плюсы такого подхода в том, что я ни разу не натолкнулся на сообщение - "вы превысили дневной лимит, посидите в очереди". Оплата по токенам идет без лимитов, только кредиты пополняй.

Cline очень хорош, но есть нюансы - длинный чат каждый раз отправляется заново и его длина считается как новый промпт, то есть в длинной беседе цена каждого нового вопроса увеличивается. Там есть система кэширования, но она не волшебная - и цена все равно растет.

текст-генераторы для Obsidian, кстати, в этом смысле оказались предельно дешевы, особенно тот, которому жмешь Ctrl + J и он по заголовку и предыдущему абзацу пишет текст. Он воспринимает как промпт только заголовок и  предыдущий абзац, и каждый раз стартует новую беседу, поэтому все запросы очень дешевы и малы, но это же является проблемой для сохранения контекста - к пример для рассказа команда "продолжай" не имеет смысла - он просто не видит ничего, кроме заголовка и слова "продолжай".

В смысле сохранения контекста Cline - беспредельно хорош, я ему заказал цикл в 10 микрорассказов, и он последовательно сохранил сеттинг, имена героев, вспоминал предыдущие события.

Беспредельно хорош - это в смысле "на безрыбье и рак Эйнштейн".  Но чувствую, что за такими агентами будущее. Посмотрите на скриншоты. Он там сначала читает мои запросы, делает выводы, чего я хочу, а затем начинает жонглировать с нейронкой файлами и чем сочтет нужным,  чтобы та получила весь контекст.

Придется переходить на Нескафе

Оставить комментарий

Популярные посты:

• Ранее
• Архив