FP1 в массы! Если реально есть потенциал ускорить обучение LLM в 16 раз (относительно BF16) или обучить модель в 16 раз большую, то это очень интересно.
FP1 в массы! Если реально есть потенциал ускорить обучение LLM в 16 раз…
Из этого канала
- #3340QuEST: Stable Training of LLMs with 1-Bit Weights and Activations [Статья][Код]…
QuEST: Stable Training of LLMs with 1-Bit Weights and Activations [Статья][Код] Введение Уважаемые коллеги из IST, в частности, @blacksamorezchannel выпустили…
- #3341Метод Основным затруднением при оптимизации весов и активаций в низкой точности…
Метод Основным затруднением при оптимизации весов и активаций в низкой точности является высокая степень шума.
- #3342Эксперименты Обучают семейство моделей размером от 30 до 800М параметров…
Эксперименты Обучают семейство моделей размером от 30 до 800М параметров архитектуры 🦙-2 на C4 с более-менее стандартным рецептом обучения.
- #3338"Дарио Амодеи написал программное заявление ""Time is short, and we must…
"Дарио Амодеи написал программное заявление ""Time is short, and we must accelerate our actions to match accelerating AI progress.
- #3332Optimizing Large Language Model Training Using FP4 Quantization Ruizhe Wang,…
Optimizing Large Language Model Training Using FP4 Quantization Ruizhe Wang, Yeyun Gong, Xiao Liu, Guoshuai Zhao, Ziyue Yang, Baining Guo, Zhengjun Zha, Peng…