Чувак собрал дома сервер за $40k, который крутит модель почти уровня Claude Opus. И выложил весь гайд — от закупок на eBay до настроек BIOS с бифуркацией PCIe. Внутри — два готовых сценария. За $2k берёшь пару RTX 3090, запускаешь Qwen3.6-27B и локальный Whisper для голоса. За $40k — 4x RTX 6000, 384GB VRAM и GLM-5.2 на 594B параметров через vLLM. Все docker-compose уже готовы, копипасть и запускай... Честный минус: чтобы всё это заработало на максимальной скорости, придётся глубоко копать. PCIe-свитчи от c-payne, ручная настройка ASPM, отключение IOMMU, деревянный корпус собственного изготовления. Готовы вложить 40k$? :) https://github.com/jamesob/local-llm tg / max
Чувак собрал дома сервер за $40k, который крутит модель почти уровня Claude…
Из этого канала
- #17518Слышали о BitGN E-commerce AI Agent Challenge? ECOM1 - бенчмарк агентной…
Слышали о BitGN E-commerce AI Agent Challenge? ECOM1 - бенчмарк агентной коммерции.
- #17519Флоктори: 5 млрд выручки, 1.2 млрд чистой прибыли. После покупки в…
Флоктори: 5 млрд выручки, 1.2 млрд чистой прибыли. После покупки в интернет-магазине — окно с акциями или подарками от партнёров, либо письмо с чеком и…
- #17520Народу нравится перетягивание каната между работодателем и работником. Сколько…
Народу нравится перетягивание каната между работодателем и работником. Сколько лайков и комментариев. Мда. Это музыка вечная :) tg / max
- #175165 open-source платформ для создания LLM, RAG и AI-агентов. Можно брать и…
5 open-source платформ для создания LLM, RAG и AI-агентов. Можно брать и внедрять в РФ: 1.
- #17515Недавно в команде приобрели ещё несколько таких подписок. Всё больше ребят…
Недавно в команде приобрели ещё несколько таких подписок. Всё больше ребят работают с Gemini, а теперь и дизайнер перешёл на AI Studio + Stitch.