Киловатт-hour на токен: реальный расчет. EPYC 9654 + 4x RTX 4090 = 2.4 кВт. Нагрузка 10M токенов в день на Qwen-72B-AQ4: 45 tok/s стабильно. Электричество: $210/мес. Azure OpenAI GPT-4o на том же трафике: $9,300/мес :) А вот в Китае можно брать 40 млн. токенов за 3-4$. Все будет через пару недель на 1app.ru. tg / max
Киловатт-hour на токен: реальный расчет. EPYC 9654 + 4x RTX 4090 = 2.4 кВт.…
Из этого канала
- #19391Я слабый программист (точнее вообще не оный), но становлюсь неплохим…
Я слабый программист (точнее вообще не оный), но становлюсь неплохим вайб-кодером.
- #19392📂 Подборка каналов по AI, IT & HR Tech + Crypto Каналы для тех, кто работает в…
📂 Подборка каналов по AI, IT & HR Tech + Crypto Каналы для тех, кто работает в области IT и хочет держать руку на пульсе без мониторинга сотни источников ✔️…
- #19393Это новый Т-банк на iPhone :) его написал Маркус. Видимо Маркусу сказали в…
Это новый Т-банк на iPhone :) его написал Маркус. Видимо Маркусу сказали в банке - дружище, мы тебе платим 5 млн за твой личный аккаунт, а если ты будешь плохо…
- #19389Первый в мире завод гуманоидных роботов, где «роботы строят роботов», запустили…
Первый в мире завод гуманоидных роботов, где «роботы строят роботов», запустили в Китае.
- #19388Как сейчас курьеры смотрят на весь IT рынок! Это шутка, если что :( tg / max
Как сейчас курьеры смотрят на весь IT рынок! Это шутка, если что :( tg / max