Как эффективно программировать на TPU в JAX. Параллелизация неявная (через компилятор и jit, ранее pjit), и явная (shard_map, ранее pmap и xmap). 11. Conclusions and Further Reading https://jax-ml.github.io/scaling-book/conclusion/ Заключение и полезные ссылки по теме. Уникальный ресурс. Highly recommended. ================================ Пользуясь случаем также скажу, что на DeepLearning.ai вышел короткий полуторачасовой курс “How Transformer LLMs Work” про внутренности трансформера, от нашего любимого Jay Alammar, а также Maarten Grootendorst. https://www.deeplearning.ai/short-courses/how-transformer-llms-work/ Список тем хороший: * Introduction * Understanding Language Models: Laguage as a Bag-of-Words * Understanding Language Models: (Word) Embeddings * Understanding Language Models: Encoding and Decoding Context with Attention * Understanding Language Models: Transformers * Tokenizers * Architectural Overview * The Transformer Block * Self-Attention * Model Example * Recent Improvements * Mixture of Experts (MoE) * Conclusion