🔖 Вышел ультимативный гайд по локальному запуску LLM — посвящается всем, кто хочет максимально ускорить модели на своём компе через llama.cpp. Внутри — как выбрать железо, настроить ОС, управлять VRAM/RAM, работать с KV-кэшем, повысить скорость инференса на обычных ПК и многое другое. В закладки — тут. @notboring_tech
🔖 Вышел ультимативный гайд по локальному запуску LLM — посвящается всем, кто…
Из этого канала
- #4237"Выбираем железо для обучения и инференса моделей 🔝 Простая формула: чем…
"Выбираем железо для обучения и инференса моделей 🔝 Простая формула: чем больше у модели параметров, тем более мощное железо нужно для ее инференса.
- #4238🧨 Mistral AI выпустили лучшую OCR-модель для распознавания печатного и…
🧨 Mistral AI выпустили лучшую OCR-модель для распознавания печатного и рукописного текста — OCR 4 заняла первые места на бенчмарках, обойдя DeepSeek и Chandra.
- #4239🦋 Люмены получат память и кастомный стиль общения — на фестивале Young Con 2026…
🦋 Люмены получат память и кастомный стиль общения — на фестивале Young Con 2026 архитектор люменов Даниил Трабун анонсировал новые фичи ИИ-компаньонов.
- #4235🔬 Революция в лечении рака — учёные из Швейцарии изобрели наноробота для…
🔬 Революция в лечении рака — учёные из Швейцарии изобрели наноробота для точечного уничтожения рака, который выстреливает прямо в опухоль.
- #4234🌀 Президент OpenAI Грег Брокман поделился самой мощной автоматизацией для Codex…
🌀 Президент OpenAI Грег Брокман поделился самой мощной автоматизацией для Codex — loop тестирует каждую фичу и проводит целый аудит вашего приложения.