"Выпускать продукты с LLM под капотом нынче проще, т.к. теперь можно частично снять с себя DevOps нагрузку. __(но необходимости контроллировать то, что происходит - это не отменяет)__ Я сейчас настраиваю новый сервер для BitGN Sandbox с нуля, отправил в локальный Codex такой запрос __> I've deployed new OS with minimal config, however the server still doesn't reply anything on https there. Fix that. Do not deploy the service, yet. Caddy hello from ____/hello____ path is enough.__ У меня на PROD сервере стоит NixOS, и в `docs/deploy.md` написано про DNS и конфигу. Этого достаточно для того, чтобы OpenAI Codex мог самостоятельно работать с ним. В итоге Codex за пару минут поправил конфигу и остановился в ожидании разрешения. Я разрешил деплоить и сказал довести все до конца. Тогда он выкатил изменения системы, сходил на сервер, проверил, что Caddy выпустил сертификаты, а потом локально убедился, что адреса работают как надо. Задно добавил тестовый HTTP endpoint. На волне успеха я попросил его сделать мне поддержку wildcard domains (чтобы можно было запускать виртуалки для агентов по адресам `*.eu.bitgn.com` без выпуска нового сертификата каждый раз). Это менее тривиально, ибо требует включения Cloudflare DNS-01 challenge и кучи мелких телодвижений. Codex сходил в исходники плагинов Caddy, разобрался с конфигой, все настроил за несколько минут. Сам бы я плюхался с этим несколько часов. Знаю это точно, т.к. вчера уже потратил пару часов без результата. А сегодня с утра просто сообразил, как завести нормальный Feedback Loop так, чтобы безопасно свалить задачу на Codex. __> Благодаря NixOS, Codex может с системой делать хоть что угодно (даже запороть сервер). Всегда можно откатить изменения назад и перезагрузиться в старую версию.__ Когда мы говорили про построение систем с LLM под капотом для бизнеса, то основное правило было ""собирайте тесты и делайте feedback loop, для оценки качества"". Когда речь идет про агентов (что для разработки, что для продуктов), то принцип не меняется. Только вместо тестов уже упор на Engineering Harness вместе с Feedback Loop. Ваш, @llm_under_hood 🤗"