"Для Gemma 3 вышли официальные квантизированные версии Квантизация это сейчас стандарт, мало кто будет запускать модели локально в нативных bf16 — большая часть пользователей использует 4 битную квантизацию. И тут проявляется большая проблема — модели, по большей части, выпускают в bfloat16 и совершенно не расчитывают, что кто-то когда-то будет их запускать как-то по-другому, из-за чего заметно страдает качество моделей при локальном использовании. Дело в том, что дешёвая Post-training квантизация, которая не требует тренировки, сильно просаживает качество. Google специально дотренировали Gemma 3 с quantization aware training, чтобы таких проблем не было. Обещают ""схожее качество"" с bf16 моделями, но результатов бенчей не дали (а хотелось бы). Такой же релиз делала и Meta с Llama 3.2, правда только для 1B и 3B, а Google выпустил сразу всю линейку. А остальным авторам открытых моделей тоже стоит начать делать подобные релизы. Скачать @ai_newz"
"Для Gemma 3 вышли официальные квантизированные версии Квантизация это сейчас…
Из этого канала
- #3801Midjourney v7 🥳 Долгожданная седьмая версия самого эстетичного генератора…
Midjourney v7 🥳 Долгожданная седьмая версия самого эстетичного генератора картинок вышла в релиз этим утром.
- #3805Вот как работает режим Draft в MJ v7: Он понимает не только английский, но и…
Вот как работает режим Draft в MJ v7: Он понимает не только английский, но и другие языки.
- #3806Ушел гений. Он хоть и не был в AI тусовке, но Паша – это просто легенда. Он был…
Ушел гений. Он хоть и не был в AI тусовке, но Паша – это просто легенда. Он был и остается одним из моих любимых иполнителей.
- #3799Qwen 3 выйдет на следующей неделе Об этом сообщают китайские СМИ. Команда Qwen…
Qwen 3 выйдет на следующей неделе Об этом сообщают китайские СМИ. Команда Qwen точно хочет успеть релизнуть свою модель до Llama Con, который пройдёт 29…
- #3797Разработчики из ШАДа и Yandex B2B Tech создали реально работающий инструмент…
Разработчики из ШАДа и Yandex B2B Tech создали реально работающий инструмент для экологов-практиков.