Давно хотел про это написать, а сейчас наткнулся на блог трёхлетней давности в Astral Codex Ten и решил пора. В машинном обучении на самых ранних этапах знакомятся с метриками и объясняют простую и понятную вещь — если у вас задача бинарной классификации (да/нет), и один класс покрывает абсолютное большинство наблюдений, то вам нельзя использовать метрику «доля правильных ответов». Она не будет нести смысла. Вот представьте онколога, который осматривает пациентов и определяет, есть ли у них рак. Представим, что из 1000 пациентов, проходящих чекап, рак в среднем есть у 1. То есть доктор 999 раз скажет «у вас нет рака», и 1 раз, по-хорошему, должен сказать «у вас рак». Этого доктора можно заменить на камень, на котором написано «у вас нет рака». И камень будет на 99.9% точен. Он почти не ошибается. Множество благодарных и радостных пациентов узнали, что у них нет рака — ведь Великий Камень так сказал! А камень почти не ошибается. То же самое с людьми, у которых AI — это «просто ещё один хайп». NFT помните? А крипту? Всё хайп. А доткомы? А озоновую дыру? и где она? А помните как эксперт X ошибся в предсказаниях? Ну и что что на полтора года, ошибся же? А у другого эксперта вообще есть материальная заинтересованность в одной позиции, поэтому ему нельзя верить, поэтому моя позиция — правильная, что и требовалось доказать. У таких людей ничего никогда не случается, никаких прорывов, в новостях всегда повестка, все врут, все преследуют свои цели. Опубликованные исследования проплачены, результат подтасован, итд. И они получают дикую уверенность от того, что в 99.9% случаев оказываются правы. Они никогда не берут на себя риск сделать ставку на вещь, которая пойдет не по сценарию. Но есть одна проблема: они ошибаются в 0.1% самых важных вещей. По сути эти люди — камни с надписью «nothing ever happens». Или говоря умным языком «эвристика». Ну а камни нам в комментариях не нужны 😀🤣☺️ И на их фоне настоящие эксперты, которые делают аналитику, осторожные предсказания итд, могут просто выглядеть глупо — потому что ошибаются чаще (а вам рекомендую за 5 минут прочитать блогпост по первой ссылке в посте, там есть пара занятных примеров) Понятно, что в каждую тему не залезешь, не разберешься в нюансах и не выстроишь цельную картину — времени на всё не хватит. Но что уморительно — это что люди не отдают себе отчёта в своей заКАМЕНелости, и действительно считают, что выражают очень ценное и важное мнение: https://youtu.be/DJRL3OXKvME