Крипто карты от Nvidia начали использовать для инференса Ещё в 2021 году Nvidia наклепала для майнинга гору очень сильно урезанных карт CMP HX170, на основе чипа от А100. Номинально у них было по 8 или по 10 гигабайт и урезанные в 32 раза вычислительные мощности, но при этом полная пропускная способность памяти, которая и нужна для майнинга. После того как Ethereum перешёл на proof of stake алгоритм, все они превратились тыкву. Так бы они и оставились тыквами, но в конце июня появился пейпер, в котором описывалось снятие части ограничений через уязвимость в новых драйверах Nvidia. Кода авторы не опубликовали, но через несколько недель уязвимость удалось независимо реплицировать, так появился cmpunlocker. Карты на 10 гигабайт стали картами на 40(или даже 80) гигов, а карты на 8 гигов — картами на 64 гига. Дело в том, что убрать HBM чипы без урезания пропускной способности было нельзя, так что Nvidia просто заблокировали 80% памяти через софт. Хакерам удалось ещё и убрать ограничение на вычисления. Главная оставшаяся проблема — PCIe ограничен версией 2.0 и физически только x4, но ребята с паяльниками уже пытаются это починить. В итоге, счастливчики, которые смогли купить карту до роста цен, за 100-200 долларов, получили уже чуть менее урезанную А100 за очень дёшево, особенно с учётом текущего кризиса. А сейчас цена выросла и за цену в 5-10 раз выше брать их уже вряд-ли стоит. __А есть ли владельцы таких карт среди подписчиков канала? Как впечатления?__ cmpunlocker @ai_newz
Крипто карты от Nvidia начали использовать для инференса Ещё в 2021 году Nvidia…
Из этого канала
- #4695Cerebras показали CS-4 Новый сервер позволяет запускать модели на скорости в 2…
Cerebras показали CS-4 Новый сервер позволяет запускать модели на скорости в 2 раза выше, и даёт возможность запускать 10T модели на скорости в 1000+ токенов в…
- #4696"MAI-Image-2.5-Pro Майкрософт ворвался в лидеры на t2i арене со своей Pro…
"MAI-Image-2.5-Pro Майкрософт ворвался в лидеры на t2i арене со своей Pro версией модели.
- #4701MAI-Image-2.5-pro потестить нигде не дают - поэтому я потестил 2.6 Разнообразие…
MAI-Image-2.5-pro потестить нигде не дают - поэтому я потестил 2.6 Разнообразие генерации просто на нуле.
- #4690Открытая MoE-видеомодель MAGI-2 Preview от Sand.ai Разработчики из Sand.ai…
Открытая MoE-видеомодель MAGI-2 Preview от Sand.ai Разработчики из Sand.ai выложили в открытый доступ веса и код инференса MAGI-2 Preview.
- #4689Нейродайджест за неделю (#127) LLM - Qwen 3.8 27B — Alibaba прокачали 27B…
Нейродайджест за неделю (#127) LLM - Qwen 3.8 27B — Alibaba прокачали 27B модельку, она теперь самая сильная в своём классе с заметным отрывом.