Прикольная свежая работа от Superintelligence Labs, включая Руслана Салахутдинова. Метод оптимизации ризонинга, когда части можно параллелить и синтезировать в саммари, последовательно уточняя. Получаем latency ниже, а глубину продумывания выше :) https://t.me/gonzo_ML_podcasts/924
Прикольная свежая работа от Superintelligence Labs, включая Руслана…
Из этого канала
- #4091Вышел новый State of AI report 2025! https://www.stateof.ai/ Всегда достойно…
Вышел новый State of AI report 2025! https://www.stateof.ai/ Всегда достойно изучения.
- #4092"Неужели мы наблюдаем возрождение эволюционных стратегий как альтернативы RL? Я…
"Неужели мы наблюдаем возрождение эволюционных стратегий как альтернативы RL? Я помню ту работу 2017 года от OpenAI и Суцкевера в частности ""Evolution…
- #4093Интересно, что параллельно с LLM/VLM Google продолжает совершенствовать модели…
Интересно, что параллельно с LLM/VLM Google продолжает совершенствовать модели для роботов, свежая — Gemini Robotics 1.5.
- #4086Новую архитектуру подвезли! ‘Dragon Hatchling’ (BDH) построена на принципах…
Новую архитектуру подвезли! ‘Dragon Hatchling’ (BDH) построена на принципах распределённых графовых моделей мозга, при этом есть GPU-friendly имплементация.
- #4071Обучают dense декодеры с GQA, RMSNorm + pre-norm, RoPE. Модели 1.5B и 3B.…
Обучают dense декодеры с GQA, RMSNorm + pre-norm, RoPE. Модели 1.5B и 3B. Оптимизатор AdamW. Токенизатор Llama3, словарь 128k + 256 зарезервированных токенов.