Интересные инсайды о китайском ИИ от фаундера компании, с которой мы общаемся на тему инвестиций. Он жил в одной комнате в общаге с фаундером Qwen, привожу тезисно его мысли: Модель V3 обеспечивает огромный прирост эффективности (до 90%) благодаря Multi-head Latent Attention и Mixed Precision Training. Во время инференса экономия около 15% благодаря кешированию матрицы K-V. R1 Zero - это прорыв в использовании RL без supervised fine-tuning. Их модель вознаграждения на основе правил и эксперименты с дистилляцией демонстрируют четкий, воспроизводимый путь к улучшению производительности, показывая, что LLM+RL — это следующая мега-волна. С плоской, гибкой структурой и достаточным количеством вычислительных ресурсов, команда DeepSeek, состоящая в основном из недавних выпускников, движется быстро. Они самофинансируются крупной квантовой фирмой, свободны от давления инвесторов и бесконечных питчей, поэтому сосредоточены на создании лучшей модели. Они доказали, что модель 7B может соперничать с моделями в 70B параметров. Эффективность - это новый рубеж, как в инженерии, так и в использовании данных, а LLM+RL открывает неизученный потенциал масштабирования. Хотя DeepSeek пока не превосходит внутренние модели OpenAI, это звоночек: большие прорывы больше не требуют исследователей с громкими именами или больших инвестиционных бюджетов.