Как сжечь миллион токенов

топ 100 блогов kvisaz09.12.2024

Как сжечь миллион токенов 5.jpeg

Минутка технического ликбеза. Как сжечь миллион токенов в чате нейронки?

Каждый запрос в чате к нейронке - отправляет на ее вход (input) не только ваш запрос, но и всю историю чата. Это происходит при каждом запросе и является стандартом де-факто для всех современных чатов.

Когда вы кодируете в Cursor, Windsurf, Cline и подобных им инструментам - инструмент автоматически подбрасывает к вашему запросу некоторые файлы. Иногда вы линкуете их сами.

Чтобы сжечь миллион токенов на input - вам нужно подлинковать файлов на 100 килобайт и сделать 10 простых микро-запросов. Ну или соответственно 10 килобайт и 100 запросов. История чата гуляет между сервером и клиентом (вами) и засчитывается как input.

Миллион токенов input стоит

OpenAI: GPT-4o - $2.5
Claude 3.5 Sonnet  - $3
OpenAI: o1-preview - $10

Там есть кэширование на input у некоторых моделей и провайдеров, но это все равно означает, что длинный чат - к примеру, для создания и отладки игры Minesweeper - охотно за пару часов съест 2 миллиона токенов и обойдется с кэшированием примерно в $1.5.

Все еще дешевле чашки кофе.

Оставить комментарий

Архив записей в блогах:
- Проходите, проходите, - ободряюще сказал доктор и вернулся к своим записям. - Петров я. Вы свободны? Я не видел, как вышел предыдущий пациент. - Для выхода у нас есть другая дверь: мы не хотим, чтобы пациенты обменивались полученной информацией, - сказал доктор и махнул в сторону ...
Первое путешествие Знакомство Петра I с Европой началось с путешествия инкогнито в составе Великого посольства 1697-98 годов. Мы уже говорили с вами об этом в предыдущей лекции. Но в 1716 году царь предпринял ещё одно большое путешествие на Запад, во время которого добрался до ...
Когда читаю чужие высказывания про секс без любви, всё время поражаюсь тому, что люди в данном контексте подразумевают всё, что угодно. Точнее вообще непонятно что. Что за любовь они имеют в виду? Которая до гроба? Ну так таковая вообще встречается только в варианте Ромео+ и вряд ли кого ...
Ну и федерально улучшу! ...
Воспоминания Натальи Науменко о Викторе Цое Наталья Науменко, 23.05.2009 Глубокая осень или начало зимы. К нам зашел Свин со своей компанией. Среди шумных панко в резко выделялся темноволосый высокий мальчик с серьезным лицом. Выделялся восточной внешностью, напряженностью движений, ...