по сути самая мощная по оптимизациям комбинация сейчас доступная это DeepSpeed Zero 3 + Cpu Offload + liger kernels + flash attention Qwen 2.5 1.5B с 4к контекстом в sft в full трене батч сайз 5 2гб данных пишет где-то ~140 часов будет пробегать вроде хорошо занимаюсь тестами всех стадий а потом в мейн много чего поправлено
по сути самая мощная по оптимизациям комбинация сейчас доступная это DeepSpeed…
0 viewsОткрыть в Telegram →
Из этого канала
- #5713можно еще лору протестить) это легче и быстрее должно быть, но уже не фултюн…
можно еще лору протестить) это легче и быстрее должно быть, но уже не фултюн весов
- #5714охота сверху иметь сводную табличку которая бы показывала основные аспекты…
охота сверху иметь сводную табличку которая бы показывала основные аспекты перед запуском. делаю часто когда трен ставишь надо все по конфигам перепроверить
- #5715Ребятки, у нас промежуточный апдейт мейна!…
Ребятки, у нас промежуточный апдейт мейна! https://github.com/researchim-ai/models-at-home заехал анслот) чтобы активировать надо в GRPO вкладке выбрать…
- #5708но кажись теперь завезены все текущие возможные оптимизации. теперь только…
но кажись теперь завезены все текущие возможные оптимизации. теперь только работа над интерфейсом и патчинги багов
- #5707unsloth пока будет доступен только в GRPO. и только с lora/qlora multigpu очень…
unsloth пока будет доступен только в GRPO. и только с lora/qlora multigpu очень медленный с ним, т.к. по-нормальному запустить его с vllm пока не выходит.