"Я пообщался с ребятами на Reddit (и не только) по поводу испытываемых ими болей при разработке AI систем. Сами проблемы вообще не удивительно, ничего нового нет: - Недетерминированные результаты, постоянно глючит - Только добились нормального поведения, выходит новая SoTA модель, но с ней внезапно система работает намного хуже - Постоянно переписывают evaluation тесты, и толка от них мало (см пункт 1) - Ну и мое любимое – нормального агента на function-calls как они есть в API построить очень и очень сложно. Ребята пишут что максимальная точность, которой они смогли добиться, составила примерно 80%, при этом было написано более 100 eval тестов, кроме которых еще приходилось постоянно a/b тестировать руками привлекая свои семьи 😨 Вишенка на торте: ""Мы так задолбались что решили вообще переключиться с попытки разрабатывать свои AI продукты на удовлетворение потребностей наших прямых клиентов"" Я так понял что подразумевалось удовлетворение этих самых потребностей с использованием LLM. И вот это удивительно – коллеги одновременно не могут найти решения своим страданиям, и при этом пародаксальным образом начинают решать реальные боли клиентов проще и лучше, чем любые другие своим стартапные начинания. На фоне этого небольшого исследования я написал пост на boosty где я раскрываю конкретную причину всех этих страданий (сама причина крайне обширная, но все еще очень конкретная), и даю базовый но емкий чеклист вместе со ссылкой на хорошее описания SoTA паттерна разработки AI систем. in my honest opinion этот чеклист, понимание проблемы, и упомянутая техника при должном применении решат просто огромное количество упомянутых бед 🫣 *** Поделитесь тут в комментариях своими болями, самому дущераздирающему комменту отдам пост с бусти прямым линком."