Как бы вы использовали токенов на 500 EUR в день? Такой вопрос сейчас иногда задают на интервью. Я долго не мог внятно на него ответить - у меня не получалось перестроиться на делегирование задач LLM. Но недавно все сложилось. Я свалил на Codex анализ неизвестных факторов в проектах, и там работы оказалось больше, чем ожидал. Например, в BitGN есть куча неопределенностей: координация runtime между серверами, latency под нагрузкой, поведение при падении нод, работа с cold storage для трейсов. Codex взял на себя постановку и ведение экспериментов под эти вопросы: - какой overhead у проверок на каждом tool call -какие задержки при архиве/доступе к трейсам - как ведет себя система при failover Работает это просто: выбираем направление, задаем контекст, я отвечаю на вопрос, а дальше Codex сам формирует портфель экспериментов, формирует итерации, и находит доказательства. Он останавливается на шагах, когда мне нужно принимать решения: продолжать, менять направление, брать в работу или убивать гипотезу. В итоге каждый эксперимент вскрывает конкретные ограничения системы и упрощает дальнейшие решения. Например, за один проход выяснилось, что FDB coordination-read на каждый запрос стоит примерно 3-4 ms median между серверами с Tailscale; что verified cold-storage roundtrip для 5-6 MB архива прогона занимает меньше 0.4s; и что агент может очень хорошо отлаживать проблемы BitGN кластера на базе FDB без ковыряния по SSH. В мире, где почти любой проект сейчас - это исследование неизвестного, такой подход фактически дает маленькую R&D-команду. Можно сказать, что я нашел рабочий для себя способ покупать R&D throughput токенами. Так что, если бы у меня было 500 EUR токенов в день, я бы масштабировал это в десятки параллельных исследований вокруг агентных систем. Особенно на базе локальных моделей. А как бы вы их использовали? Ваш, @llm_under_hood 🤗