но кажись теперь завезены все текущие возможные оптимизации. теперь только работа над интерфейсом и патчинги багов
но кажись теперь завезены все текущие возможные оптимизации. теперь только…
0 viewsОткрыть в Telegram →
Из этого канала
- #5712по сути самая мощная по оптимизациям комбинация сейчас доступная это DeepSpeed…
по сути самая мощная по оптимизациям комбинация сейчас доступная это DeepSpeed Zero 3 + Cpu Offload + liger kernels + flash attention Qwen 2.5 1.5B с 4к…
- #5713можно еще лору протестить) это легче и быстрее должно быть, но уже не фултюн…
можно еще лору протестить) это легче и быстрее должно быть, но уже не фултюн весов
- #5714охота сверху иметь сводную табличку которая бы показывала основные аспекты…
охота сверху иметь сводную табличку которая бы показывала основные аспекты перед запуском. делаю часто когда трен ставишь надо все по конфигам перепроверить
- #5707unsloth пока будет доступен только в GRPO. и только с lora/qlora multigpu очень…
unsloth пока будет доступен только в GRPO. и только с lora/qlora multigpu очень медленный с ним, т.к. по-нормальному запустить его с vllm пока не выходит.
- #5697реально полезная вещь уже получается - лично я разраб, но далеко не мльщик, и…
реально полезная вещь уже получается - лично я разраб, но далеко не мльщик, и намучался с тем, чтобы просто протестить гипотезы по типу: а что будет если я…