Ещё по мои замерам, скорость падает до 2х при заполнении контекста под 100%: 0–10% ctx: ~49–53 tok/s → 25% ctx: ~40–45 tps → 50% ctx: ~33–38 tps → 75% ctx: ~29–31 tps → 85% (105K): ~28 tps → 90%+: ~25–28 tps
Ещё по мои замерам, скорость падает до 2х при заполнении контекста под 100%:…
0 viewsОткрыть в Telegram →
Из этого канала
- #6946А задача для DeepSeek Harness как раз long-run research, бегать по papers с…
А задача для DeepSeek Harness как раз long-run research, бегать по papers с подключенными скиллами и собирать стенд для тестирования нескольких гипотез
- #6947ну вроде готово) 50 минут со всякими фреймстеками и преобразованиями +…
ну вроде готово) 50 минут со всякими фреймстеками и преобразованиями + модифицированный ppo без памяти
- #6948в конце недели или на следующей уже буду билдик готовить
в конце недели или на следующей уже буду билдик готовить
- #6944DSH, день 2, словил сразу несколько ошибок: 1. GPU/X freeze 8 сек. Выкрутил…
DSH, день 2, словил сразу несколько ошибок: 1. GPU/X freeze 8 сек. Выкрутил inference почти на 100% GPU на той же карте, которая держит desktop.
- #6940я про архитектуру сеточки, которую учишь)
я про архитектуру сеточки, которую учишь)