Крипто карты от Nvidia начали использовать для инференса Ещё в 2021 году Nvidia наклепала для майнинга гору очень сильно урезанных карт CMP HX170, на основе чипа от А100. Номинально у них было по 8 или по 10 гигабайт и урезанные в 32 раза вычислительные мощности, но при этом полная пропускная способность памяти, которая и нужна для майнинга. После того как Ethereum перешёл на proof of stake алгоритм, все они превратились тыкву. Так бы они и оставились тыквами, но в конце июня появился пейпер, в котором описывалось снятие части ограничений через уязвимость в новых драйверах Nvidia. Кода авторы не опубликовали, но через несколько недель уязвимость удалось независимо реплицировать, так появился cmpunlocker. Карты на 10 гигабайт стали картами на 40(или даже 80) гигов, а карты на 8 гигов — картами на 64 гига. Дело в том, что убрать HBM чипы без урезания пропускной способности было нельзя, так что Nvidia просто заблокировали 80% памяти через софт. Хакерам удалось ещё и убрать ограничение на вычисления. Главная оставшаяся проблема — PCIe ограничен версией 2.0 и физически только x4, но ребята с паяльниками уже пытаются это починить. В итоге, счастливчики, которые смогли купить карту до роста цен, за 100-200 долларов, получили уже чуть менее урезанную А100 за очень дёшево, особенно с учётом текущего кризиса. А сейчас цена выросла и за цену в 5-10 раз выше брать их уже вряд-ли стоит. __А есть ли владельцы таких карт среди подписчиков канала? Как впечатления?__ cmpunlocker @ai_newz
Крипто карты от Nvidia начали использовать для инференса Ещё в 2021 году Nvidia…
Из этого канала
- #4690Открытая MoE-видеомодель MAGI-2 Preview от Sand.ai Разработчики из Sand.ai…
Открытая MoE-видеомодель MAGI-2 Preview от Sand.ai Разработчики из Sand.ai выложили в открытый доступ веса и код инференса MAGI-2 Preview.
- #4689Нейродайджест за неделю (#127) LLM - Qwen 3.8 27B — Alibaba прокачали 27B…
Нейродайджест за неделю (#127) LLM - Qwen 3.8 27B — Alibaba прокачали 27B модельку, она теперь самая сильная в своём классе с заметным отрывом.
- #4687Qwen 3.8 27B релизнулся На этой неделе у любителей локальных моделей праздник.…
Qwen 3.8 27B релизнулся На этой неделе у любителей локальных моделей праздник. Сначала Muse Glimmer, сейчас Qwen 3.8 27B, плюс релизы моделей побольше.