Sakana.AI продолжает рулить! Придумали Text-to-LoRA (T2L), в котором по текстовому описанию задачи обученная гиперсеть (моя любимая тема, см. https://t.me/gonzo_ML/1696, https://t.me/gonzo_ML/2394, https://t.me/gonzo_ML/2693) на лету генерит LoRA адаптеры и модифицирует базовую сеть. Не надо ничего обучать, даже лорой, просто пиши ясные описания задач! https://t.me/gonzo_ML_podcasts/268 Я бы ожидал, что LLM следующих поколений будут иметь что-то подобное внутри. Может не лора адаптеры будут генерить, а сразу активации модифицировать. Крутой движ.
Sakana.AI продолжает рулить! Придумали Text-to-LoRA (T2L), в котором по…
Из этого канала
- #3697В стане RNN пополнение, MesaNet, являющийся дальнейшим развитием Mesa-слоя из…
В стане RNN пополнение, MesaNet, являющийся дальнейшим развитием Mesa-слоя из работы про мезаоптимизацию (https://t.me/gonzoML/1855).
- #3698Вдруг вам нечем заняться в субботу вечером, а тут свежий Теренс Тао…
Вдруг вам нечем заняться в субботу вечером, а тут свежий Теренс Тао https://www.youtube.com/watch?v=HUkBz-cdB-k
- #3699Интересная новость от Huggingface. Компания не осилила multi-backend и…
Интересная новость от Huggingface. Компания не осилила multi-backend и прекращает поддержку всего кроме PyTorch (то есть JAX и TF) в своей либе transformers…
- #3695Классная движуха про демократизацию моделей «зрение-язык-действие»…
Классная движуха про демократизацию моделей «зрение-язык-действие» (Vision-Language-Action, VLA).
- #3694Для тех, кто по Илье соскучился https://youtu.be/zuZ2zaotrJs?si=w4qfH4eU2-90QR4O
Для тех, кто по Илье соскучился https://youtu.be/zuZ2zaotrJs?si=w4qfH4eU2-90QR4O