Очень обсуждаемая сейчас работа от исследователей из Apple про ризонинг модели: https://t.me/gonzo_ML_podcasts/234 Из интересного, авторы постарались уйти от контаминированных датасетов для оценки ризонинга и сумели оценивать не только конечный результат, но и промежуточные шаги. Выводы нетривиальны и очень интересны: для простых задач LLM лучше LRM, для задач средней сложности LRM особенно хороши, а на сложных задачах LRM (как и LLM) фейлятся капитально. При этом по мере усложнения задачи LRM может не особо стараться и просто сдаться в какой-то момент, даже если бюджета хватает.
Очень обсуждаемая сейчас работа от исследователей из Apple про ризонинг модели:…
Из этого канала
- #3693"В автообзорах пополнение, статья про DataRater…
"В автообзорах пополнение, статья про DataRater (https://t.me/gonzoMLpodcasts/245). Тема про ""не все данные одинаково полезны"".
- #3694Для тех, кто по Илье соскучился https://youtu.be/zuZ2zaotrJs?si=w4qfH4eU2-90QR4O
Для тех, кто по Илье соскучился https://youtu.be/zuZ2zaotrJs?si=w4qfH4eU2-90QR4O
- #3695Классная движуха про демократизацию моделей «зрение-язык-действие»…
Классная движуха про демократизацию моделей «зрение-язык-действие» (Vision-Language-Action, VLA).
- #3691Метод Почти с момента выхода Attention было предложено много альтернатив с…
Метод Почти с момента выхода Attention было предложено много альтернатив с субквадратичной сложностью.
- #3690"Log-Linear Attention [Статья][Код] Введение Вообще, давно пора было бы…
"Log-Linear Attention [Статья][Код] Введение Вообще, давно пора было бы смириться с тем фактом, что лучше Attention ничего нет на свете, но человек в своем…