Насколько критичен для вас полноценный Structured Output при работе с локальными моделями? Напишите, пожалуйста, ответы в комментарии (не важен, предпочитаю, жить без него не могу итп). Зачем? Тут предлагают отсыпать токенов на локальные модели для тех команд, которые ставят эксперименты в области Agentic Commerce архитектур на платформе BitGN. Но есть нюанс, что токены без полноценного SO. Напоминаю, что: • Без SO - модель может вернуть любой текст. Вызовы json parse нужно оборачивать try/catch • SO/JSON - модель возвращает валидный JSON, но вместо числового поля может быть и текст. Схему нужно валидировать (Zod/Pydantic) и оборачивать в try/catch • Честный SO как у OpenAI/llguidance - если в схеме прописано число, то гарантированно будет число. Try/catch не нужен. Можно спокойно использовать Schema-Guided Reasoning. Ваш, @llm_under_hood 🤗
Насколько критичен для вас полноценный Structured Output при работе с…
Из этого канала
- #883"Разослали приглашения на вебинар ""Разработка с AI-агентами"" Желающих было…
"Разослали приглашения на вебинар ""Разработка с AI-агентами"" Желающих было столько, что сразу открыли два потока - третий завтра и четвертый в следующий…
- #884Мы только что закончили третий поток вебинара AI Coding - What Works. Вот те…
Мы только что закончили третий поток вебинара AI Coding - What Works. Вот те приемы AI Native разработки, которые участники выделили как самые интересные для…
- #885"Мы открыли пятый поток вебинара ""Разработка с AI-агентами"" ~~На этот раз без…
"Мы открыли пятый поток вебинара ""Разработка с AI-агентами"" ~~На этот раз без листов ожидания! Можно выбрать место в четвертом (29 июня) или пятом потоке (2…
- #881"Третий поток вебинара ""Разработка с AI-агентами"" В этот четверг, 25.06 в…
"Третий поток вебинара ""Разработка с AI-агентами"" В этот четверг, 25.06 в ~~10:00 CEST / 11:00 MOW~~, мы с Айгизом проведем третий поток вебинара про…
- #879"Как сделать бенчмарк Open Weights LLM на агентских задачах? (1) Берем одну…
"Как сделать бенчмарк Open Weights LLM на агентских задачах? (1) Берем одну архитектуру с известными результатами (2) Подменяем LLM под капотом на другую…