а там вроде вообще все офлодится на cpu и понадобности грузится на гпу
а там вроде вообще все офлодится на cpu и понадобности грузится на гпу
0 viewsОткрыть в Telegram →
Из этого канала
- #5794выживаем как можем
выживаем как можем
- #5795факт. не ну блин 8к контекст, батчсайз 2 для 1.5b это чот ваще норм
факт. не ну блин 8к контекст, батчсайз 2 для 1.5b это чот ваще норм
- #5796для такого сетапа вполне
для такого сетапа вполне
- #5792А что ты оффлоадишь на цпу? Оптимайзер?
А что ты оффлоадишь на цпу? Оптимайзер?
- #5789Кстати, ребятки если вы сеты собираете или какие-то ллмки делали, мы можем их…
Кстати, ребятки если вы сеты собираете или какие-то ллмки делали, мы можем их встроить в https://github.com/researchim-ai/models-at-home для базы