Подписка в нейронках рассчитана на разовые запросы или ленивых людей

kvisaz — 05.11.2024 Из-за того, что я даже чатом с нейронками сейчас пользуюсь через своего провайдера, я стал немного больше разбираться в API.

Если я правильно понял, при каждом запросе в классическом чате с нейронкой на сервер уходит снова весь предыдущий чат. То есть форма кратковременной памяти - это текстовая запись чата, которая гуляет в виде JSON-объекта между клиентом и сервером. Отсюда следует два пункта

1. очевидный каждому, кто платит за токены, а не по подписке - длинные чаты становятся дорогими. Любой чих, крохотный вопрос или ответ, но в старом чате - стоит как сумма всех предыдущих сообщений. Такая отправка на сервер обычно стоит в 3-4 раза дешевле, чем ответ сервера, но при огромном чате даже такая скидка перестает ощущаться - за короткий вопрос и ответ ты заплатишь как за все десятки или даже сотни килобайтов текстов.

2. второй пункт я забыл, пока думал о первом. Скорее всего, что-то, связанное с этим гуляющим чатом между клиентом и сервером. Может быть - "чат из одной нейронки можно вклеивать в другой"? Это действительно работает, в чате OpenRouter нейронки можно переключать на ходу внутри одного чата.

Из первого пункта следует
- вот почему длинные чаты в Claude и бесплатном GPT могут быстрее нарваться на сообщение "Вы исчерпали лимит сообщений, ждите несколько часов". CLaude, кажется, даже пытается намекнуть, что длинные чаты сильнее выжигают такие лимиты, но я не уверен.

- подписка в 20 баксов за месяц - это типичная цена для подписочной экономики, рассчитанной на ленивых пользователей. Это прекрасно работает для пользователя, который трогает нейронки время от времени и даже может не заходить в них целыми днями. Это плохая цена для постоянной работы.

- Поэтому если будет рост эффективности нейронок, и как следствие рост заинтересованности юзеров, будет рост подписочных цен на нейронки. Или появление премиум-тарифов для людей, которым нужно по 4 часа в день работать с несколькими файлами. Исходя из моих текущих расходов на API, цена такой премиум-подписки должна составлять около 20 долларов в неделю, 80-100 долларов в месяц.

- окно контекста в 128 тысяч или 200 тысяч - это 30 центов, если забивать полностью. К примеру, закинуть половину 12 стульев и попросить какой-то анализ или подражание. Такие эксперименты всегда очень быстро выжигали бесплатный лимит в чате - около десяти вопросов и Клод говорил - "отдыхай".

Практические мысли по работе через API с оплатой по объему (токенам)
- очищать чаты, сингл-вопросы задавать в отдельных сеансах
- видимо, имеет смысл для длинных чатов с большим объемом файлов придумать какой-то алгоритм суммаризации, который будет отправлять на сервер не всю историю, а лишь набор ключевых фактов.


Подписка в нейронках рассчитана на разовые запросы или ленивых людей.

PS: переключение нейронок в одном и том же чате - очень полезная вещь, которая помогает эффективнее и дешевле им раскрываться.

Оставить комментарий

Популярные посты:

• Ранее
• Архив