Ultra-Scale Playbook - книга по распределённой тренировке от Huggingface Хороший общий обзор того, как эффективно использовать сотни GPU для обучения самых мощных AI моделей. Она предлагает пошаговый процесс выбора и настройки конфигурации обучения и их оптимизации. Проходятся по всем основным видам параллелизм, их сильным и слабым сторонам и как сделать их быстрыми и эффективными по памяти. Книга не просто теоретизирует, она основана на более 4000 реальных экспериментов, использующие вплоть до 512 GPU (кому-то это может показаться не много, но это уже приличный скейл). Результаты поданы в виде куче графиков и интерактивных визуализаций. Всего 100 страниц, рекомендую почитать. К тому же они сделали cheatsheet, чтобы проще было запомнить содержание книги. https://huggingface.co/spaces/nanotron/ultrascale-playbook @ai_newz