🧠 Модели Следующий блок агента — это мозг. Забавно как из очень важной и революционной части, модели быстро стали почти что комоддити. Каждые несколько месяцев выходит что-то новые, а опен-сорс догоняеет лабы всё быстрее. Ещё месяц назад все говорили о революции от Fable, но вот модель тут и ничего координально не изменилось. В это смысле надо помнить, что модели обучены на огромном количестве данных и по-сути всегда отдают усреднённый результат. Если не были отдельно дообученны конкретно под вашу задачу. И получается забавный момент — модель в целом очень умная, но часто именно в твоей задаче она тупит, так как в «голове» нет хорошего примера и в обучении не было нужного RL цикла. То есть пока часто всё остается так же — для среднего результата модели подохяд хорошо, но для хорошего надо давать много инструкций. Один из спобов как управлять «умностью» модели, это параметр effort. Замечаю, что про него редко впоминают. Если очень упрощять, то это кол-во раз сколько модель подумаем над вашим вопросом перед ответом. И тут бывают забавные артефакты, что простая модель с хорошим efforts часто лушче крутой модели без него. Но проблема этих внутренних рассуждений модели, что ими невозможно управлять. В этом плане мне очень нравиться коцепт Schema-Guided Reasoning, или SGR от Рината Абдулина. Когда мы по-сути опиываем шаги размышления для модели и довольно жестко управляем ими, но при это осталвляем ей «разум» для решенеия недетермининорванных задач. Получается мы как бы программируем мышление, но не блокируем его. Очень круто подход, особенно для агентов с повторяющимися задачами. У Рината же есть Agentic LLM Benchmark, там как раз видно как модели работают над агнесткими задачами. И видно, что в топе не всегда самые крутые модели. И уж точно они не в топе в расчете на стоимость одной операции. Общий вывод такой, что просто надеется на новыую классную модель нельзя, важно уметь управлять обвязкой и тогда можно круто повышать качество работы агента или снижать стоимость работы. @revealthedata #ai #agents