Интересная точка зрения подъехала про использования токенов для LLM. Я про такое даже не задумывался. Отличный хак для вендора. __Милое зрелище: девелоперы искренне верят, что «обманули систему», платя по $200 в месяц за безлимитный Claude Code. «О, я сжигаю токенов на $2К шестью инстансами Claude Code еще до завтрака!» Приятель, ты сжигаешь не токены. Ты сжигаешь наценку. Я подключил Claude Code к выделенному vLLM, чтобы посмотреть, что там реально «под капотом». После шести часов чистого кодинга и дебага картина такая: * 47 млн входящих токенов (prompt tokens). * 45 млн попаданий в префикс-кэш (prefix-cache hits). * 96,39% коэффициент попадания в кэш (token-weighted). * Реальные вычисления: 1,3 млн префилла + 300 тыс. токенов генерации. Это не видеокарты пашут на износ. Это кэш с манией величия. «Субсидированный» тариф Anthropic для кодинга на самом деле никакой не субсидированный — это лотерея кэширования. Когда они скармливают тебе хорошо квантованную смесь Haiku/Opus, которая на 96% состоит из зазубренного шаблонного кода, маржинальная стоимость стремится к нулю. Лимиты — это искусственный дефицит. Тарифы по $100 и $200 — просто психологические якоря. Ты платишь не за вычислительные мощности. Ты платишь за ощущение безграничной власти, пока они душат тебя лимитами в «5 часов в неделю», чтобы защитить маржинальность своих GPU. Агентный кодинг — это гениальный ценовой хак. Только не путай его с реальной экономикой токенов 🤡 Убедись, что твой ИИ принадлежит тебе. Облачный ИИ не на твоей стороне; он на стороне компании, которая им владеет.__
Интересная точка зрения подъехала про использования токенов для LLM. Я про…
Из этого канала
- #5661ФААНГ уже нет… В топе их нет по зарплатам. В этом плане для меня рынок Северной…
ФААНГ уже нет… В топе их нет по зарплатам. В этом плане для меня рынок Северной Америки — это большой непредсказуемый рынок.
- #5662Сейчас стараемся изучать каждые выходные проекты. Сегодня Snowflake +…
Сейчас стараемся изучать каждые выходные проекты. Сегодня Snowflake + Terraform. Очень круто, что ребята выходят из зоны комфорта и учат других!
- #5663Как говориться elevate your game with AI - ну то есть пора уже дальше…
Как говориться elevate your game with AI - ну то есть пора уже дальше двигаться. Кто смотрел мое видео как я на работе работаю и задачки закрываю одну за…
- #5658Недавно помог Ване (Ivan) из Мексики 🇲🇽 В октябре к сообществу Surfalytics…
Недавно помог Ване (Ivan) из Мексики 🇲🇽 В октябре к сообществу Surfalytics присоединился парнишка из Mexico City.
- #5657Канал Лёши Арефьева про управление IT продуктами @alexcouncil. Метрики,…
Канал Лёши Арефьева про управление IT продуктами @alexcouncil. Метрики, инструменты и полезные материалы на околопродуктовые темы.