⚪️ Маленький эвал моделей-решаетелей Jev vs Clef vs Luna-Decisions #ddeval Прикручиваю к одному пайплайну решателя. Благодаря универсальному адаптеру решил по случаю сделать микро эвал ▶️ Сначала задача: в системе работает агент, он управляется скиллом. Агент выполняет ту же работу, что выполняют (выполняли?) люди, и поэтому есть данные, которые делали люди. Чтобы тюнинговать скилл и оптимизирвоать работу агента под то, как работают люди (там конечно есть нюансы), есть некий пайплайн, который берет и извлекает из данных, обработанных людьми, полезные улучшения и дополнения к скиллу. ▶️ Какая задача у моделей-решателей. На тестовом наборе данных извлечь полезные изменения и не предлагать ненужные. ▶️ Кого сравнивал: Jev 1.13/1.14, Clef от CF, и клозедовский решатель на базе Луны-6. ▶️ Результаты в табличке. Победила Луна, она побыстрее, чуть подороже, зато понадежнее. Остальным моделям в большой минус для меня пошли предложенные ненужные правки. Скорость и ценник тоже в табличке! Не претендую на академичность, это просто эвал на моей задаче. @deksden_notes