"Опенсорс идёт вперёд. У оригинального Jev и его открытых клонов есть несколько проблем: зависимость ответа от перестановки вариантов, невозможность сказать ""не знаю"", отсутствие кеширования вариантов (когда их много и они слабо меняются) и сложность с большими количествами опций (скажем 2k). Новая открытая модель это решает. Интересно, конечно, как TypeSafe собирается держать лидерство, когда техническая часть неплохо развивается независимо от них. Видимо пока только в хорошей калибровке потенциальный moat, но вряд ли надолго. Jeva: System One Models from First Principles __Qi Li, Xinchao Wang__ Paper: https://arxiv.org/abs/2610.18773 Review: https://arxiviq.substack.com/p/jeva-system-one-models-from-first Code: https://github.com/LiQiiiii/Jeva Model: https://huggingface.co/LIQIIIII/Jeva-4B ЧТО сделали: Авторы представили неавторегрессионную архитектуру Jeva (и чекпойнт на 4B параметров Jeva-4B) для моделей Системы 1 — быстрых классификаторов, выдающих типизированные решения без текстовых цепочек рассуждений. Модель кодирует запрос и варианты ответа независимо, после чего уточняет только вектор запроса об неизменяемую память вариантов и использует отдельный гейт для определения того, есть ли среди вариантов верный ответ. ЧТО получили: При перестановках вариантов ответа на бенчмарке Typed Decisions частота смены ответа у Jeva-4B составляет 0.00% против 17.00% у Jev-1.13.0 и 22.67% у Intern-Decision-4B. На BANKING77 с 16 вариантами точность достигает 91.62% (против 82.50% у Jev-1.13.0), а AUROC детекции отсутствия ответа — 98.66% (против 93.61% у KEV-4B). Гибридное кэширование на MLDR снижает медианную задержку в 1.95 раза при 50% переиспользовании вариантов и в 27.98 раза при 100%. ПОЧЕМУ это важно: Представления инструментов или документов можно заранее посчитать и закэшировать для любых наборов кандидатов, при этом порядок подачи вариантов никак не влияет на ответ. Однако на полностью новых вариантах преимущество кэша пропадает, а каждый вариант ограничен своим лимитом токенов. Искать ответы тут: https://t.me/gonzo_ML_podcasts/4828"
"Опенсорс идёт вперёд. У оригинального Jev и его открытых клонов есть несколько…
Из этого канала
- #6118Гениально, имхо.
Гениально, имхо.
- #6119Интересная работа про моделирование последовательностей через иерархию…
Интересная работа про моделирование последовательностей через иерархию концептов. Размеры исследуются только малые, но модель ведёт себя лучше авторегрессионок…
- #6124Эволюция харнессов сейчас примерно везде. Вот популярная свежая гугловая работа…
Эволюция харнессов сейчас примерно везде. Вот популярная свежая гугловая работа на эту тему.
- #6110По предыдущей статье о проблемах свежего доказательства Навье-Стокса разбор…
По предыдущей статье о проблемах свежего доказательства Навье-Стокса разбор делать не так интересно, как прожарку.
- #6109Ааа, это прекрасно! Поскольку в Навье-Стоксе я глубоко не разбираюсь, мой самый…
Ааа, это прекрасно! Поскольку в Навье-Стоксе я глубоко не разбираюсь, мой самый большой консёрн был по поводу того, как они получили Lean код, подтверждающий…