unsloth пока будет доступен только в GRPO. и только с lora/qlora multigpu очень медленный с ним, т.к. по-нормальному запустить его с vllm пока не выходит. только в single gpu + vllmом классно и быстро работает (ну как во всех их примерах) ну и намучался я с ним) full-тюнинг будет только на обычном бекенде с flash attention и liger kernels
unsloth пока будет доступен только в GRPO. и только с lora/qlora multigpu очень…
0 viewsОткрыть в Telegram →
Из этого канала
- #5708но кажись теперь завезены все текущие возможные оптимизации. теперь только…
но кажись теперь завезены все текущие возможные оптимизации. теперь только работа над интерфейсом и патчинги багов
- #5712по сути самая мощная по оптимизациям комбинация сейчас доступная это DeepSpeed…
по сути самая мощная по оптимизациям комбинация сейчас доступная это DeepSpeed Zero 3 + Cpu Offload + liger kernels + flash attention Qwen 2.5 1.5B с 4к…
- #5713можно еще лору протестить) это легче и быстрее должно быть, но уже не фултюн…
можно еще лору протестить) это легче и быстрее должно быть, но уже не фултюн весов
- #5697реально полезная вещь уже получается - лично я разраб, но далеко не мльщик, и…
реально полезная вещь уже получается - лично я разраб, но далеко не мльщик, и намучался с тем, чтобы просто протестить гипотезы по типу: а что будет если я…
- #5696привет) спасибо) надеюсь реально полезная вещь получится по поводу мака - тут…
привет) спасибо) надеюсь реально полезная вещь получится по поводу мака - тут на самом деле сложно сказать, пока не знаю по амд например unsloth (сейчас…