И ещё инновация с памятью, теперь ассоциативная память на замену механизму внимания: https://t.me/gonzo_ML_podcasts/462 Снова позволяет обучаться лучше на меньшем объёме данных. 1T токенов для Memory Mosaics даёт качество как 8T токенов у трансформера.
И ещё инновация с памятью, теперь ассоциативная память на замену механизму…
Из этого канала
- #3828Интересно как, OpenAI не дали, в итоге создатели Devin купили Windsurf…
Интересно как, OpenAI не дали, в итоге создатели Devin купили Windsurf https://cognition.ai/blog/windsurf
- #3829"В очередной раз показали, что ризонинг в LRM ""ненастоящий"". На этот раз…
"В очередной раз показали, что ризонинг в LRM ""ненастоящий"". На этот раз продемонстрировал DeepMind. Очень похоже на недавнюю статью от Apple.
- #3830DolphinGemma Denise Herzing, Thad Starner Блог:…
DolphinGemma Denise Herzing, Thad Starner Блог: https://blog.google/technology/ai/dolphingemma/ Сайт проекта: https://www.wilddolphinproject.org/ Статья: нет…
- #3826🚀 Уважаемые коллеги, кому интересна математика и машинное обучение, приглашаем…
🚀 Уважаемые коллеги, кому интересна математика и машинное обучение, приглашаем Вас принять участие в неформальном научном проекте.
- #3824Ещё интересная архитектурная инновация — H-Net, делающий следующий шаг к…
Ещё интересная архитектурная инновация — H-Net, делающий следующий шаг к обучаемой токенизации, теперь вроде как совсем end-to-end (в отличие от BLT).