Любопытное интервью с Дэвидом Дойчем. У него в частности свой особый взгляд на соотношение между AI и AGI https://youtu.be/jQnoxhoWhXE?si=y_wtBbmyiP1XJnC9
Любопытное интервью с Дэвидом Дойчем. У него в частности свой особый взгляд на…
Из этого канала
- #3292DeepSeek-V3 Technical Report Статья: https://arxiv.org/abs/2412.19437 Репа:…
DeepSeek-V3 Technical Report Статья: https://arxiv.org/abs/2412.19437 Репа: https://github.com/deepseek-ai/DeepSeek-V3 Предыдущий пост про DeepSeek был…
- #3293❇️ Во-вторых, DeepSeekMoE (https://arxiv.org/abs/2401.06066) “Эксперты” сидят в…
❇️ Во-вторых, DeepSeekMoE (https://arxiv.org/abs/2401.06066) “Эксперты” сидят в FFN слоях, не в MLA, и слой заменяется на выбор и вызов какого-то числа…
- #3294Предсказание токенов сделано последовательным. Для предсказания D…
Предсказание токенов сделано последовательным. Для предсказания D дополнительных токенов используется D MTP модулей (MTP Modules), у них шареные эмбеддинги и…
- #3290Финальный шаг был сделан в нашумевшем техрепорте о r1. Во-первых, в одном из…
Финальный шаг был сделан в нашумевшем техрепорте о r1. Во-первых, в одном из экспериментов они вообще отказались от сфт колдстарта и сразу начинали учить…
- #3289Про магию Deepseek, RL и GRPO Когда-то, давным давно, никто не занимался…
Про магию Deepseek, RL и GRPO Когда-то, давным давно, никто не занимался глупостями, и не использовал RL в обучении языковых моделей.