На неделе DeepSeek выложили DeepInfer, свой код для инференса DeepSeek v4.1 Flash. Там же они написали, что на их кластере при их копеечных ценах получается выручка примерно в $38 в час на одну видеокарту. И это по ценам в часы не пиковой нагрузки. $38 на карту в час — это очень много. Из репозитория мы узнали, что инференс происходит на картах Blackwell (для предыдущего поколения, Hopper, поддержки нет), и их цена в аренду на рынке сейчас примерно $6-10 за час. У SemiAnalysis выходили похоже цифры в их бенчмарке моделей, с утилизацией (загрузкой запросами) на 60% и при 125 токенах в секунду по ценам OpenRouter получалось примерно 50 долларов в час на карту, они использовали GB300, которая в аренду стоит примерно $11 — то есть $39 это уже маржа. И ещё раз, это речь про одну из самых дешёвых моделей по смешным ценам. Evan Conrad, CEO SF Compute (стартап по продаже мощностей), написал блогпост «Конец стартапов»: — в течение следующих 6 месяцев большинство ИИ-стартапов не смогут приобрести вычислительные мощности. Мировые вычислительные ресурсы распроданы. — На момент написания статьи, вы можете арендовать B300 за 6 долларов в час (прим.: сильно ниже упомянутых выше $11), а затем зарабатывать около 30 долларов в час, продавая на нем инференс. Это неплохая прибыль, но ничто не мешает другим использовать эту прибыль для арбитража. Мы ожидаем роста цен на графические процессоры, а это значит, что прибыль от инференса снизится. Снижение прибыли означает, что станет сложнее получить более высокий кредитный рейтинг. В целом картина понятна, и случится так или нет полностью зависит от дальнейшего роста спроса на токены. Если продолжится темпами первой половины 2026-го, то действительно почти все GPU будут выкуплены под перепродажу токенов, и арендовать карту меньше чем за, скажем, $30 в час просто не получится. Многие стартапы не смогут вести разработку или предоставлять свои услуги при такой себестоимости мощностей. А Anthropic и OpenAI могут с единицы мощностей извлекать ещё больше долларов, так что при росте спроса на их модели они начнут выкупать и более дорогие GPU — Anthropic вон арендует у Elon Musk датацентр за цену гораздо выше рыночной (на тот момент), просто потому что для них это всё ещё выгодно. В пределе крупные компании смогут выдавить и большое количество перекупщиков мощностей под опенсурс. Случится так или нет — узнаем в следующей серии.
На неделе DeepSeek выложили DeepInfer, свой код для инференса DeepSeek v4.1…
Из этого канала
- #4008И в тему два графика от a16z. Первая — это цена аренды GPU от отношению к…
И в тему два графика от a16z. Первая — это цена аренды GPU от отношению к 6-летнему графику амортизации: - H200: +143% - B200: +111% - RTX PRO 6000: +73% -…
- #4010Прямо сейчас Anthropic должны опубликовать форму S-1 к предстоящему IPO; в…
Прямо сейчас Anthropic должны опубликовать форму S-1 к предстоящему IPO; в документе должно быть отражено много интересных финансовых деталей, структуры…
- #4011🤖 OpenAI удвоила лимиты во всех тарифах Pro – за $100, $200 и $500 Изменения…
🤖 OpenAI удвоила лимиты во всех тарифах Pro – за $100, $200 и $500 Изменения уже действуют.
- #4006В преддверии IPO Anthropic две финансовые новости в одной! Первая — прочитал…
В преддверии IPO Anthropic две финансовые новости в одной! Первая — прочитал блог «Сможет ли компания Anthropic выполнить свои обязательства на сумму 518…
- #4005В комментариях задали вопрос «а что делать-то?», но ответа на него у меня нет.…
В комментариях задали вопрос «а что делать-то?», но ответа на него у меня нет. Быть может выход будет в том, что именно веса модели выкладываться не будут, но…