А что ты оффлоадишь на цпу? Оптимайзер?

а там вроде вообще все офлодится на cpu и понадобности грузится на гпу

выживаем как можем

факт. не ну блин 8к контекст, батчсайз 2 для 1.5b это чот ваще норм

Кстати, ребятки если вы сеты собираете или какие-то ллмки делали, мы можем их встроить в https://github.com/researchim-ai/models-at-home для базы

короче мои хорошие не за горами релизик. мне пока все нравится, все кайфово тесчу