"По следам конфы YaCe (в частности, доклада __Врач будущего — какой он?__) и новостей С момента появления LLM (ChatGPT, в частности) в общем доступе, вышло несколько исследований, посвященных их использованию в клинической практике, в основном - диагностике. И даже исследования, которые проводились пару лет назад (а это уже довольно давно по современным меркам), на ""старых"" моделях, показывают интересные результаты. Если рассматривать три варианта проведения исследований: 1. врач сам ставит диагноз без использования LLM; 2. врач ставит диагноз при помощи LLM; 3. LLM одна без врача ставит диагноз, то результаты выглядят так: * во многих исследованиях видно, что самостоятельное решение врача (1) не так сильно отличается от варианта, когда он использует LLM (2) - диагноз с LLM оказывается чуть более точным, на единицы процентов; * самостоятельное решение LLM, без врача (3), показывает прирост точности иногда на десятки процентов по сравнению с врачом. Выводы из таких исследований сводятся к следующим тезисам: * врачи пока ещё не готовы использовать LLM в диагностической практике в полной мере. Причинами этого могут быть как недоверие, так и отсутствие технических возможностей, а также зарегулированность самой области, предписывающая следование стандартным протоколам; * медицина сама по себе довольно консервативна, и вряд ли в скором будущем мы увидим замену врачей специализированными медицинскими моделями. В целом это понятно, потому что ответственность за принятое решение всё равно пока то будет лежать на враче; * тем не менее, есть над чем работать в плане обучения медиков новым инструментам и внедрения этих инструментов как систем поддержки принятия решений. Если добавить к этому существование редких заболеваний, которых врач общей практики ожидает увидеть в меньшей степени, а то и вообще может про них забыть, то логично, что LLM, переварившая и запомнившая куда больший объем информации, справится с диагностикой лучше, и это тоже подтверждается исследованиями. А ещё существует проблема актуализации знаний самих врачей. Если говорить о том, чтобы последние исследования в области медицины учитывались при диагностике, то в текущей модели здравоохранения сложно ожидать, что все выходящие статьи будут донесены до всех врачей и что у них хватит времени с ними ознакомиться. И ложки дёгтя, само собой :) * LLM всё ещё галлюцинируют, не стоит им верить напропалую. Галлюцинаций тем больше, чем меньше данных о конкретном случае им предоставлено; * чисто текстовых LLM маловато для принятия решений, тут нужны настоящие мультимодальные системы, которые смогут принимать результаты обследований ещё и картинками/видео/аудио. Впрочем, это уже доступно в некоторых моделях, но вот пальпацию они всё-таки сделать не смогут :) * надо уметь задавать вопросы, т.к. если просто попросить LLM найти заболевание - она найдёт :) По сути, это овердиагностика и прям мечта любого ипохондрика. Словом, не нужно бежать ставить себе диагноз при помощи LLM. Разумнее искать специалистов, которые внедряют современные технологии в свою практику. #ai #medicine"