на 8гб врм + 16 рам 9б со 128к контекстом пыжится над квантовым симуляторо) по ощущениям где-то 8-10 токенов в секунду... ну еще и контекст пока не сильно забит
на 8гб врм + 16 рам 9б со 128к контекстом пыжится над квантовым симуляторо) по…
0 viewsОткрыть в Telegram →
Из этого канала
- #6251самая маленькая квантизация очень быстро в репит ушла и одни и те же команды…
самая маленькая квантизация очень быстро в репит ушла и одни и те же команды начала спамить а q4 норм прям ваще
- #6253Multi-Head Low-Rank Attention https://arxiv.org/abs/2603.02188…
Multi-Head Low-Rank Attention https://arxiv.org/abs/2603.02188 https://www.alphaxiv.org/ru/overview/2603.02188 https://github.com/SongtaoLiu0823/MLRA
- #6254CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation…
CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation https://arxiv.org/abs/2602.24286 https://www.alphaxiv.org/ru/overview/2602.24286…
- #6249я завтра буду тестить
я завтра буду тестить
- #6248https://github.com/researchim-ai/one-click-coding-agent/releases/tag/v0.1.0 в…
https://github.com/researchim-ai/one-click-coding-agent/releases/tag/v0.1.0 в целом если кто-то хочет, то можно попробовать Qwen3.5-9B-UD-Q4KXL