🎤 Конференция Датадривен Был проездом в Москве на один день и удалось попасть на конференцию Датадривен от поискового портала Яндекса. Был рад повидать бывших коллег и послушать доклады, а вам принес их краткую сводку. В комментариях будут фото слайдов. Как измеряют качество Алисы, Мария Акопян Недавно делал прототип бота для работы с данными и даже там возникло много вопросов как проверять качество его работы. Было интересно послушать как это делается для такого большого бота с разнообразными сценариями как Алиса. В целом оценка делается по принципу: удалось ли решить задачу пользователя и как быстро. Для измерения этой метрики раньше использовались оценки живых людей. Сейчас конечно же используют LLM, но лучше всего сработал гибридный подход — сначала с помощью LLM-ки определяется, что за сценарий/какую задачу хотел решить пользователь, затем LLM суммирует сообщения и решает был ли решна задача и если она не уверена, то такой чат отправляется на ручную проверку человеку, который уже выносит финальное решение. Ребятам удалось на 70% сократить количество ручных проверок используя такой подход, сохраняя качество проверки. Дата-каталог как продукт, Марина Нестерук Марина рассказала о том, как они строят внутренний дата каталог. Большую часть информации ребята собирают автоматом (строят лайндж, и описания метрик, если они были записаны в dmp системе), но есть и часть метаданных, которые заполняются вручную. Для этого они настраивают процессы и пингует автоматом аналитиков, кто не заполнил информацию. Классно, что есть сквозная интеграция с YTsarus (это такой аля яндексовый databricks) и DataLens. Звучит как классное связующее звено между инженерами данных, аналитиками и бизнесом. Дашборд как место коммуникации с пользователями, Владимир Дмитриев Здесь остановилюсь подробнее, так как доклад прям по теме канала. Доклад был очень хорош по подаче, Володя наглядно показал, как происходит жизнь BI-аналитка Олега. Бедный Олег =) Рассказ был про очень интересную часть работы с дашбордами — когда они уже сделаны и просто работают в продакшене. Согласен с ним, что это пожалуй, самая «теневая» часть жизни дашборда. Мы много говорим, про разработку дашбордов и как собирать требования, а вот, что происходит после, обсуждаем редко. Прям задумался, а что еще можно сделать в этот момент кроме как следить за метриками использования. Володя говорит, что надо продолжать коммуницировать с пользователями и лучшее место для такой коммуникации — это сам дашборд. Он предлагает делать это с помощью интерактивных заголовков, которые будут содержать обновляемую информацию. В хорошем заголовке он предлагает иметь: — Название дашборда — Информацию про доступы — Дату обновления и статус тестов качества данных — Ссылку на чат поддержки — Ссылку на документацию — Кнопку обратной связи — Кнопку баг-пепорта — И ссылку на список дашбордов На мой вкус, немного многовато информации в одни месте, с другой стороны действительно вся важная. Было бы классно, если бы часть этого функционала сразу была в BI-системе, а не нужно было городить это отдельно. Но когда видно сразу оценку дашборда и кол-во пользователей прямо в заголовке это конечно топчик. Аналитика в международке, Роман Васильев Рома рассказал как они с командой строят аналитику международной части Поиска Яндекса (сейчас две основные страны — Казахстан и Турция). Доклад был больше про управленческую часть и в целом можно свести к главному правилу agile — people over process. Еще понравились прикольные способы продвижения, такой партизанский маркетинг — ребята, пытаются попадать в выдачу гугла с помощью своих сервисов (например, Яндекс видео) и так естественным образом «рекламируют» себя у конкурентов, хитро! 😎 Если что-то из докладов заинтересовало, то можно посмотреть записи на сайте. __P.S. Еще спасибо всем читателям, кто подошел поздороваться, было оч приятно!__ #конференция