Интересная новость от Huggingface. Компания не осилила multi-backend и прекращает поддержку всего кроме PyTorch (то есть JAX и TF) в своей либе transformers начиная с версии 5. 4-я LTS версия будет жива до лета 2026. Компания беспокоится, что библиотека разрослась, и обещает убрать 50% кода и разросшиеся абстракции. Новость тут: https://x.com/LysandreJik/status/1933201171130593530, PR тут: https://github.com/huggingface/transformers/pull/38758 Это любопытно. JAX при этом вполне жив и активно используется (из больших игроков как минимум модели Гугла и xAI обучаются на нём), статей тоже достаточно, а TF и правда не выглядит сильно живым, но наверняка он сидит в разных продакшн и мобильных деплойментах. Судя по paperswithcode (https://paperswithcode.com/trends) доля JAX наконец превысила долю TF. У обоих правда она невысока, у JAX 3%, у TF 2%. Интересно, что у MindSpore от Huawei уже 6%. Не совсем понятно, что там в other languages and frameworks с 31%. Не знаю, как относиться, будем посмотреть. Я сам понял, что тоже не то чтобы активно использую transformers, все мои последние эксперименты с LLM шли мимо него. Но жаль всё-таки, что не получилось тру мультибэкенда.
Интересная новость от Huggingface. Компания не осилила multi-backend и…
Из этого канала
- #3701Интересная работа от соавтора резнетов. Новый лосс для диффузионок, позволяющий…
Интересная работа от соавтора резнетов. Новый лосс для диффузионок, позволяющий получать бенефиты контрастивного обучения без положительных пар.
- #3702Интересно про то, как построен Курсор…
Интересно про то, как построен Курсор https://newsletter.pragmaticengineer.com/p/cursor Paywall, но довольно большая часть доступна
- #3703Вот ещё очень интересная картинка, спасибо Fedor Shabashev за ссылку.…
Вот ещё очень интересная картинка, спасибо Fedor Shabashev за ссылку. https://papercopilot.com/paper-list/neurips-paper-list/neurips-2024-paper-list/ Страна…
- #3698Вдруг вам нечем заняться в субботу вечером, а тут свежий Теренс Тао…
Вдруг вам нечем заняться в субботу вечером, а тут свежий Теренс Тао https://www.youtube.com/watch?v=HUkBz-cdB-k
- #3697В стане RNN пополнение, MesaNet, являющийся дальнейшим развитием Mesa-слоя из…
В стане RNN пополнение, MesaNet, являющийся дальнейшим развитием Mesa-слоя из работы про мезаоптимизацию (https://t.me/gonzoML/1855).