а там вроде вообще все офлодится на cpu и понадобности грузится на гпу

выживаем как можем

факт. не ну блин 8к контекст, батчсайз 2 для 1.5b это чот ваще норм

для такого сетапа вполне

А что ты оффлоадишь на цпу? Оптимайзер?

Кстати, ребятки если вы сеты собираете или какие-то ллмки делали, мы можем их встроить в https://github.com/researchim-ai/models-at-home для базы