DeepMind опубликовали большой плейбук по скейлингу трансформеров на TPU (https://t.me/gonzo_ML/3365), а HuggingFace выложил похожее про GPU. The Ultra-Scale Playbook: Training LLMs on GPU Clusters https://huggingface.co/spaces/nanotron/ultrascale-playbook
DeepMind опубликовали большой плейбук по скейлингу трансформеров на TPU…
Из этого канала
- #3385Sakana.ai (1, 2) продолжает придумывать что-то прикольное. Агентная система для…
Sakana.ai (1, 2) продолжает придумывать что-то прикольное. Агентная система для генерации оптимизированных CUDA кернелов https://sakana.ai/ai-cuda-engineer/…
- #3388Generative Agent Simulations of 1,000 People Joon Sung Park, Carolyn Q. Zou,…
Generative Agent Simulations of 1,000 People Joon Sung Park, Carolyn Q. Zou, Aaron Shaw, Benjamin Mako Hill, Carrie Cai, Meredith Ringel Morris, Robb Willer,…
- #3389"Такие заметки потом и подаются в агента вместо полного транскрипта интервью +…
"Такие заметки потом и подаются в агента вместо полного транскрипта интервью + последние 5000 символов транскрипта.
- #3382Вслед за Гуглом с Willow (https://t.me/gonzoML/3078), в квантовых компьютерах…
Вслед за Гуглом с Willow (https://t.me/gonzoML/3078), в квантовых компьютерах активничает Microsoft.
- #3374Любопытные факты про Grok 3, который собрал Алекса Гордич в своём посте.…
Любопытные факты про Grok 3, который собрал Алекса Гордич в своём посте. Surprising details about the Grok-3 release: Their current cluster already has 200k…