Исследователи Яндекса представили RATE — новую систему оценки нейропереводов RATE (Refined Assessment for Translation Evaluation) опирается на критерии естественности речи и, по сути, меняет оценку с «Переведено верно» на «Переведено по-человечески». Например, если система перевела «Sorry, my bad» как «Приношу извинения, это моя вина» вместо «Извини, ошибся» — RATE заметит, что перевод звучит неестественно, потому что сеть выбрала слишком официальный тон. Обычно существующие системы такие детали игнорируют, и поэтому качество перевода сложно улучшать. RATE оценивает перевод по трём главным для пользователя критериям: точность — верно ли передан смысл, естественность языка и соответствие стилю оригинала. Благодаря такой детализации RATE выявляет в семь раз больше ошибок, чем другие методы оценки. При этом система не только отмечает наличие ошибки, но и оценивает её значимость. В перспективе это очень весомая работа, потому что на основе этой метрики разработчики смогут целенаправленно совершенствовать существующие модели. Статья о RATE была представлена на большой международной конференции EMNLP 2025. Почитать статью полностью можно здесь.