Любопытная движуха Analog Foundation Models https://arxiv.org/abs/2505.09663 __ In this work, we introduce a general and scalable method to robustly adapt LLMs for execution on noisy, low-precision analog hardware. Our approach enables state-of-the-art models including Phi-3-mini-4k-instruct and Llama-3.2-1B-Instruct to retain performance comparable to 4-bit weight, 8-bit activation baselines, despite the presence of analog noise and quantization constraints. Additionally, we show that as a byproduct of our training methodology, analog foundation models can be quantized for inference on low-precision digital hardware. Finally, we show that our models also benefit from test-time compute scaling, showing better scaling behavior than models trained with 4-bit weight and 8-bit static input quantization. Our work bridges the gap between high-capacity LLMs and efficient analog hardware, offering a path toward energy-efficient foundation models.__
Любопытная движуха Analog Foundation Models https://arxiv.org/abs/2505.09663…
Из этого канала
- #3640Это прекрасно. Ernie and Bert.
Это прекрасно. Ernie and Bert.
- #3641Напоминаю, что сегодня европейским вечером/западноамериканским утром будет…
Напоминаю, что сегодня европейским вечером/западноамериканским утром будет самая большая ежегодная конференция Гугла, Google I/O 2025: https://io.google/2025/…
- #3642Analog Foundation Models Julian Büchel, Iason Chalas, Giovanni Acampa, An Chen,…
Analog Foundation Models Julian Büchel, Iason Chalas, Giovanni Acampa, An Chen, Omobayode Fagbohungbe, Sidney Tsai, Kaoutar El Maghraoui, Manuel Le Gallo,…
- #3627Текущая работа также является интересным развитием по части эволюционных…
Текущая работа также является интересным развитием по части эволюционных алгоритмов.
- #3626В другой задаче применили AlphaEvolve в нахождении эвристики для тайлинга при…
В другой задаче применили AlphaEvolve в нахождении эвристики для тайлинга при матричном умножении, используемом в кернелах для Gemini.