"Локальные модели предлагают роскошь, принципиально недоступную облаку: абсолютную интимность ваших данных, покрытый паутиной счетчик оплаты за токены и возможность работать в месте без малейшего намека на Wi-Fi. Для повседневной рутины, приватных документов и бесконечных экспериментов локальный запуск идеален - при условии, что машинка позволяет (если у вас есть mac pro m4 max - вопросы про выбор конкретной модели снимаются) и вы понимаете полкило сложных терминов из мира LLM. Проблема в том, что чтобы модель не просто подавала признаки жизни, а работала быстро, требуется почти шаманская настройка: профили памяти, жонглирование слоями между видеокартой и оперативной памятью, привязка к нужным ядрам процессора. В былые времена (а именно в прошлом году) я мог неделю искать бесячую причину медлительности системы, чтобы в конце концов понять - все дело в одном неактивированном профиле BIOS или тупо в том, что у меня слабый ноутбук. Поэтому я собрал интерактивное руководство, где вам нужно ввести параметры своего компьютера, а инструмент оценит, какие модели вы потянете, наглядно покажет живую полосу видеопамяти при сдвиге ползунков сжатия, сформирует точную команду запуска именно под ваше железо, а в режиме ""попробуй сломать"" покажет, как проседает скорость и как именно это лечится. Если вы уже запускаете модели локально или только собираетесь, расскажите про свой опыт - с удовольствием применю лучшие практики к симулятору. И вообще буду рад любым улучшениям! https://localllm.sergeydolgov.ai/"