Как измерить качество ИИ-ассистента? Всем привет это Серега. Мы специализируемся не только на интеграции существуюших решений в области больших языковых моделей, но и сами участвуем в обучении и контроле качества моделей наших клиентов. За последние 1.5 года мы стали одними из лучших (а возможно и самыми лучшими) специалистами по данным и по бенчмаркам для кодовых вертикалей (кодовых ассистентов) в LLM-ках, поработали над улучшением многих известных вам продуктов. В нашей статье на Хабре мы приоткрыли завесу тайны того, как это делается, сравнив все самые популярные решения на сегодняшний день, подробно рассказав об используемых бенчмарках, и почему мы применяем именно их. Если вы хотите измерить качество, обучить или зафайнтюнить своего кодового ассистента — пишите нам. P.S. Лично меня дико вдохновляет работа на самом острие человеческого прогресса, вдохновляет то, что мы прикладываем руку к инструментам, которым уже пользуются миллионы, и то, что наша работа поменяет человечество в ближайшие годы безвозвратно.