Как сжечь миллион токенов

kvisaz — 09.12.2024

Минутка технического ликбеза. Как сжечь миллион токенов в чате нейронки?

Каждый запрос в чате к нейронке - отправляет на ее вход (input) не только ваш запрос, но и всю историю чата. Это происходит при каждом запросе и является стандартом де-факто для всех современных чатов.

Когда вы кодируете в Cursor, Windsurf, Cline и подобных им инструментам - инструмент автоматически подбрасывает к вашему запросу некоторые файлы. Иногда вы линкуете их сами.

Чтобы сжечь миллион токенов на input - вам нужно подлинковать файлов на 100 килобайт и сделать 10 простых микро-запросов. Ну или соответственно 10 килобайт и 100 запросов. История чата гуляет между сервером и клиентом (вами) и засчитывается как input.

Миллион токенов input стоит

OpenAI: GPT-4o - $2.5
Claude 3.5 Sonnet  - $3
OpenAI: o1-preview - $10

Там есть кэширование на input у некоторых моделей и провайдеров, но это все равно означает, что длинный чат - к примеру, для создания и отладки игры Minesweeper - охотно за пару часов съест 2 миллиона токенов и обойдется с кэшированием примерно в $1.5.

Все еще дешевле чашки кофе.

Оставить комментарий

Популярные посты:

severus

Надёжная внутренняя связь на предприятии: всё о VoIP-шлюзах, IP-телефонах и АТС МиниКом

vah

Этому котику небольно, нестрашно, не хочется есть. Его

ru_royalty

Принцесса Евгения стала патроном организации Arts Work

eirc63

Наглые твари

kniga_bukv

Часто, но много!

delyagin

Дайте премию Мира Трампу: хватит ли США шапок, чтобы закидать всех врагов?

von_hoffmann

Сегодня "День автомобилиста". Сколько было личных автомобилей в СССР и сколько

kiowa_mike

Грустит на закате кошичка spicerjackjack

olga_sol

Ночной сюр

• Ранее
• Архив