Cerebras показали CS-4 Новый сервер позволяет запускать модели на скорости в 2 раза выше, и даёт возможность запускать 10T модели на скорости в 1000+ токенов в секунду. В каждом таком сервере три WSE 3 Turbo, это разогнанная версия оригинального WSE 3. Удвоив частоту с 1,4 Ghz до 2,8 Ghz компания удвоила пропускную способность памяти и FLOP/s, что и даёт прирост в скорости моделей. Памяти на чип правда те же 44 гигабайта, так что для обещанных 10T моделей нужно несколько десятков CS-4. Отдельная особенность CS-4 это модульность — каждый чип находится в отдельном модуле, который подключается к стойке отвечающей за питание и охлаждение. Это упрощает установку — стойки можно поставить заранее, а потом подключить к ним чипы, когда они будут готовы. К тому же это даёт возможность апгрейда в будущем. @ai_newz
Cerebras показали CS-4 Новый сервер позволяет запускать модели на скорости в 2…
Из этого канала
- #4694Крипто карты от Nvidia начали использовать для инференса Ещё в 2021 году Nvidia…
Крипто карты от Nvidia начали использовать для инференса Ещё в 2021 году Nvidia наклепала для майнинга гору очень сильно урезанных карт CMP HX170, на основе…
- #4690Открытая MoE-видеомодель MAGI-2 Preview от Sand.ai Разработчики из Sand.ai…
Открытая MoE-видеомодель MAGI-2 Preview от Sand.ai Разработчики из Sand.ai выложили в открытый доступ веса и код инференса MAGI-2 Preview.
- #4689Нейродайджест за неделю (#127) LLM - Qwen 3.8 27B — Alibaba прокачали 27B…
Нейродайджест за неделю (#127) LLM - Qwen 3.8 27B — Alibaba прокачали 27B модельку, она теперь самая сильная в своём классе с заметным отрывом.