⚪️ DeepInfer от DeepSeek Очень интересный релиз от Дипсиков для тех, кто в теме инференса - их собственный инференс-фреймворк. Учитывая какие мастера Дипсики сделать хорошо и дёшево... 🔗 репо: https://github.com/deepseek-ai/DeepInfer 🔹 High-performance kernels & optimized inference engine 🔹 Distributed inference & speculative decoding 🔹 SWA Bounded Replay & structured outputs А ещё библиотеку для преобразования взоящих запросов в нужный дипсикам формат, токенизации и генерации обратно ответов: 🔗 репо : https://github.com/deepseek-ai/deepseek-recipe 🌍 Open models. Open kernels. Open inference. Много чего людям в теме можно изучать и много чего причерпнуть. Круто, да. (ц) не ту компанию назвали openAI @deksden_notes