можно еще лору протестить) это легче и быстрее должно быть, но уже не фултюн весов
можно еще лору протестить) это легче и быстрее должно быть, но уже не фултюн…
0 viewsОткрыть в Telegram →
Из этого канала
- #5714охота сверху иметь сводную табличку которая бы показывала основные аспекты…
охота сверху иметь сводную табличку которая бы показывала основные аспекты перед запуском. делаю часто когда трен ставишь надо все по конфигам перепроверить
- #5715Ребятки, у нас промежуточный апдейт мейна!…
Ребятки, у нас промежуточный апдейт мейна! https://github.com/researchim-ai/models-at-home заехал анслот) чтобы активировать надо в GRPO вкладке выбрать…
- #5717кстати, когда более-менее все норм будет, то начну версионирование уже. пока…
кстати, когда более-менее все норм будет, то начну версионирование уже. пока рано)
- #5712по сути самая мощная по оптимизациям комбинация сейчас доступная это DeepSpeed…
по сути самая мощная по оптимизациям комбинация сейчас доступная это DeepSpeed Zero 3 + Cpu Offload + liger kernels + flash attention Qwen 2.5 1.5B с 4к…
- #5708но кажись теперь завезены все текущие возможные оптимизации. теперь только…
но кажись теперь завезены все текущие возможные оптимизации. теперь только работа над интерфейсом и патчинги багов