Cerebras показали CS-4 Новый сервер позволяет запускать модели на скорости в 2 раза выше, и даёт возможность запускать 10T модели на скорости в 1000+ токенов в секунду. В каждом таком сервере три WSE 3 Turbo, это разогнанная версия оригинального WSE 3. Удвоив частоту с 1,4 Ghz до 2,8 Ghz компания удвоила пропускную способность памяти и FLOP/s, что и даёт прирост в скорости моделей. Памяти на чип правда те же 44 гигабайта, так что для обещанных 10T моделей нужно несколько десятков CS-4. Отдельная особенность CS-4 это модульность — каждый чип находится в отдельном модуле, который подключается к стойке отвечающей за питание и охлаждение. Это упрощает установку — стойки можно поставить заранее, а потом подключить к ним чипы, когда они будут готовы. К тому же это даёт возможность апгрейда в будущем. @ai_newz
Cerebras показали CS-4 Новый сервер позволяет запускать модели на скорости в 2…
Из этого канала
- #4696"MAI-Image-2.5-Pro Майкрософт ворвался в лидеры на t2i арене со своей Pro…
"MAI-Image-2.5-Pro Майкрософт ворвался в лидеры на t2i арене со своей Pro версией модели.
- #4701MAI-Image-2.5-pro потестить нигде не дают - поэтому я потестил 2.6 Разнообразие…
MAI-Image-2.5-pro потестить нигде не дают - поэтому я потестил 2.6 Разнообразие генерации просто на нуле.
- #4705Конференция о технологических вызовах в эпоху AI В прошлом году я уже разбирал…
Конференция о технологических вызовах в эпоху AI В прошлом году я уже разбирал доклад с big tech night, а в этом году 5 сентября Яндекс проводит уже deep tech…
- #4694Крипто карты от Nvidia начали использовать для инференса Ещё в 2021 году Nvidia…
Крипто карты от Nvidia начали использовать для инференса Ещё в 2021 году Nvidia наклепала для майнинга гору очень сильно урезанных карт CMP HX170, на основе…
- #4690Открытая MoE-видеомодель MAGI-2 Preview от Sand.ai Разработчики из Sand.ai…
Открытая MoE-видеомодель MAGI-2 Preview от Sand.ai Разработчики из Sand.ai выложили в открытый доступ веса и код инференса MAGI-2 Preview.