AI ~~не~~ готовность - пост о том, как препарируем доменные данные и контекст в Авито Антропик напомнил всем кто забыл, что Text2sql бесполезен, если он не шарит в данных домена. Мы догадывались. Одна из тестируемых тут идей - AI-ready score в целях тимлидов доменов. Это булевые проверки условно трех групп: - Роли и в домене (BI-партнёр, Куратор метрик, AI-чемпион). Скучный компонент, но без гавернанс-людей никак; - Разметка каноничных объектов. Смотрим, что доля трафика через сертифицированные здоровые витрины, деши и метрики не ниже таргета. - База знаний домена - 11 типов контекста в репозитории: FAQ с ловушками, глоссарий, lineage, примеры text2sql, eval-кейсы, деревья метрик и др. Генерация этого контекста - это тоже скилл, встроенный в работу - решил задачу -> закинул агентом PR в базу контекста. Автогенерённые объекты засчитываются только после ревью. Всё это пока про покрытие. Качество сразу после: golden sets по типовым задачам + трейсы от AI-дежурных дают базу для тюнинга. Будет понято, какие эвалы фейк, какие знания - балласт. AI-дежурные и ассистенты это морковка спереди, рост доли их успешно отвеченных эдхоков в чатах - мотивация вкладываться дальше в контекст. Замеры в этой части пошарю позднее. Если интересно включится - все еще есть вакансии в BI
AI ~~не~~ готовность - пост о том, как препарируем доменные данные и контекст в…
Из этого канала
- #1721Астрологи объявили недели эфиров. В следующей вторник встречаюсь с Андреем…
Астрологи объявили недели эфиров. В следующей вторник встречаюсь с Андреем Дорожным — поговорим про аналитику и AI, присоединяйтесь к обсуждению! Андрей…
- #1722📈 Зачем нужны аналитики в мире победившего ИИ? 14 июля поговорим с Ромой…
📈 Зачем нужны аналитики в мире победившего ИИ? 14 июля поговорим с Ромой Буниным о том, как меняется профессия аналитика в эпоху ИИ и какие навыки становятся…
- #1723🥞 Искусство, AI и панкейки Я знаю, что не хорошо газлайтить LLM-ки, но не смог…
🥞 Искусство, AI и панкейки Я знаю, что не хорошо газлайтить LLM-ки, но не смог удержаться. Несерьёзный воскресный пост.
- #1718Уровень злободневности в посте у Саши просто зашкаливает 🙈😑 А вы уже измеряете…
Уровень злободневности в посте у Саши просто зашкаливает 🙈😑 А вы уже измеряете насколько домены готовы к внедрению агентов? А планы запросов в базу от агентов…
- #1714🤖AGI BI eval, v.3 Что же там вернули Fable, поэтому пора снова провести самый…
🤖AGI BI eval, v.3 Что же там вернули Fable, поэтому пора снова провести самый лучший и точный бэнчмарк в мире — моя субъективная оценка как LLM строят дашборды…