охота сверху иметь сводную табличку которая бы показывала основные аспекты перед запуском. делаю часто когда трен ставишь надо все по конфигам перепроверить
охота сверху иметь сводную табличку которая бы показывала основные аспекты…
0 viewsОткрыть в Telegram →
Из этого канала
- #5715Ребятки, у нас промежуточный апдейт мейна!…
Ребятки, у нас промежуточный апдейт мейна! https://github.com/researchim-ai/models-at-home заехал анслот) чтобы активировать надо в GRPO вкладке выбрать…
- #5717кстати, когда более-менее все норм будет, то начну версионирование уже. пока…
кстати, когда более-менее все норм будет, то начну версионирование уже. пока рано)
- #5719Щас прорабатываю вопросы инференса моделей после всех стадий трейна. не до…
Щас прорабатываю вопросы инференса моделей после всех стадий трейна. не до конца проработано было.
- #5713можно еще лору протестить) это легче и быстрее должно быть, но уже не фултюн…
можно еще лору протестить) это легче и быстрее должно быть, но уже не фултюн весов
- #5712по сути самая мощная по оптимизациям комбинация сейчас доступная это DeepSpeed…
по сути самая мощная по оптимизациям комбинация сейчас доступная это DeepSpeed Zero 3 + Cpu Offload + liger kernels + flash attention Qwen 2.5 1.5B с 4к…