Дополнительно отслеживали показатель игнорирования красных предупреждений (left in red rate) — долю визитов, когда врачи не исправляли ошибки, несмотря на красные сигналы от ассистента. В период индукции — первый месяц обкатки инструмента — этот показатель был близким в обеих группах (35–40%; врачи контрольной группы просто этого не видели, ведь им ассистент не был доступен), но после активного внедрения снизился до 20%, в то время как в контрольной группе остался около 40%. Другими словами врачи начали чаще соглашаться с рекомендациями. Все опрошенные врачи (100%) из группы с AI-ассистентом отметили, что он помог им улучшить качество медицинской помощи, при этом 75% охарактеризовали этот эффект как «существенный». Один из врачей сказал: «Система многократно помогала мне принимать правильные клинические решения», другие называли её «консультантом в кабинете» и «одной из лучших инноваций в Penda». Также AI Consult воспринимали как обучающий инструмент для расширения медицинских знаний и улучшения клинических навыков. Данные исследования подтвердили это мнение: врачи со временем начали допускать меньше типичных ошибок, то есть запоминали, где чаще «ошибаются», и исправляли свою практику. === Различия по количеству пациентов, сообщивших об отсутствии улучшений после визита (3,8% в группе AI против 4,3% в контрольной группе), не были статистически значимыми. Частота повторных обращений за помощью вне клиники также была примерно одинаковой. Однако в Penda считают, что AI Consult представляет собой ранний, но многообещающий прототип клинического ко-пайлота, а не окончательную версию. Они планируют вести дальнейшие исследования по улучшению внедрения таких систем и хотят добиться стат. значимых результатов и тут. И отдельно отметили, что ни в одном из кейсов отсмотренных рекомендаций AI не сделал очевидно вредных предложений — условно, никогда не предлагал принимать лекарства, которые усугубили бы состояние пациента. Вот прямо ни разу. RLHF работает 🚀 === Кстати, все промпты выложены в статье — так что хоть сейчас бери и делай такую систему для вашей клиники ☺️ пишите в ЛС для консультаций по внедрению AI 😀🧠