"Как работает распознавание звука в Алисе На прошлой неделе в Москве прошла большая встреча ML-комьюнити Data Dojo от Яндекса. Такие ивенты ценим прежде всего за интересные технические ML-ные доклады. В этот раз слушали их на прямой трансляции. Больше всего зашло выступление от руководителя команды голосовой активации Дмитрия Солодуха под названием ""Кухня, гости, музыка: как мы научили колонку реагировать в реальном хаосе"". Наверное, многим уже верхеуровнево известно, как активируется Алиса: внутри нее сидит небольшая локальная модель голосовой активации, которая работает на устройстве. Она цепляет из всего входящего голосового потока заданные наборы фраз с целью понять, когда пользователь начинает обращаться к ассистенту. Как только слово “Алиса” распознано локально – команда отправляется на сервер, где она обрабатывается. Но если в целом принцип работы системы понятен, то многие детали могут быть не так очевидны. Например, вы задумывались, как такая крохотная модель распознает звук, если у вас одновременно играет музыка, кричат дети, разговаривают гости? Или как Алиса понимает, что вы обращаетесь к ней, если говорите просто ""громче"", а не ""Алиса, громче""? Или какая там используется архитектура и фичи? Обо всем этом как раз рассказал Дмитрий в своем докладе. Будет полезно тем, кто работает со сложными мультимодальными системами, и спецам, кто так или иначе занимается голосом и классификацией. Внутри много конкретных ML-деталей, о которых редко рассказывают публично."