Как сжечь миллион токенов

топ 100 блогов kvisaz09.12.2024

Как сжечь миллион токенов 5.jpeg

Минутка технического ликбеза. Как сжечь миллион токенов в чате нейронки?

Каждый запрос в чате к нейронке - отправляет на ее вход (input) не только ваш запрос, но и всю историю чата. Это происходит при каждом запросе и является стандартом де-факто для всех современных чатов.

Когда вы кодируете в Cursor, Windsurf, Cline и подобных им инструментам - инструмент автоматически подбрасывает к вашему запросу некоторые файлы. Иногда вы линкуете их сами.

Чтобы сжечь миллион токенов на input - вам нужно подлинковать файлов на 100 килобайт и сделать 10 простых микро-запросов. Ну или соответственно 10 килобайт и 100 запросов. История чата гуляет между сервером и клиентом (вами) и засчитывается как input.

Миллион токенов input стоит

OpenAI: GPT-4o - $2.5
Claude 3.5 Sonnet  - $3
OpenAI: o1-preview - $10

Там есть кэширование на input у некоторых моделей и провайдеров, но это все равно означает, что длинный чат - к примеру, для создания и отладки игры Minesweeper - охотно за пару часов съест 2 миллиона токенов и обойдется с кэшированием примерно в $1.5.

Все еще дешевле чашки кофе.

Оставить комментарий

Архив записей в блогах:
Не знаю, встречали ли вы раньше китайское слово "Гочао" (Guochao). Этот термин появился в 2018 году, связан с понятием "культурное доверие (文化 自信)" и растущей культурной самооценкой населения Китая, а также с брендами "сделано в Китае". В последнее время  Гочао настолько сильно ...
 Именно такова экспертная оценка - так экс-глава израильской спецслужбы определил дело Скрипаля.       Действительно, ни  одна разведка не будет применять те средства, по которым можно определить исполнителей. А вещество которое применено в данном ...
Съездил вчера на очное собеседование, первое, эээ... да как бы не за год. Ехал с чисто утилитарной целью: подыскиваю работу на год (о чём, разумеется, на интервью не рассказываю — там космические корабли должны неизменно бороздить просторы космоса минимум до пенсии).  Компания — ...
Пришла бредовая идея в голову: представить, как бы уважительно надо было обращаться к популярным мира сего. Итак, знакомьтесь... Арнольд Густавович Жан-Клод Юджинович Ван Варенберг Брюс Дэвидович Аль Сальваторевич Пачино Мадонна Сильвиовна Чикконе Джон Дональдович ...
Как можно за 400 рублей начать рыть могилу своему бизнесу. Цифровой век, поколения интернета и социальных сетей уже давно стали взрослыми потребителями. Менеджеры розничных сетей - такие же люди, которые сидят в тех же социальных сетях. Внимание, вопрос - в какой момент, когда они ...