Как бы вы использовали токенов на 500 EUR в день? Такой вопрос сейчас иногда задают на интервью. Я долго не мог внятно на него ответить - у меня не получалось перестроиться на делегирование задач LLM. Но недавно все сложилось. Я свалил на Codex анализ неизвестных факторов в проектах, и там работы оказалось больше, чем ожидал. Например, в BitGN есть куча неопределенностей: координация runtime между серверами, latency под нагрузкой, поведение при падении нод, работа с cold storage для трейсов. Codex взял на себя постановку и ведение экспериментов под эти вопросы: - какой overhead у проверок на каждом tool call -какие задержки при архиве/доступе к трейсам - как ведет себя система при failover Работает это просто: выбираем направление, задаем контекст, я отвечаю на вопрос, а дальше Codex сам формирует портфель экспериментов, формирует итерации, и находит доказательства. Он останавливается на шагах, когда мне нужно принимать решения: продолжать, менять направление, брать в работу или убивать гипотезу. В итоге каждый эксперимент вскрывает конкретные ограничения системы и упрощает дальнейшие решения. Например, за один проход выяснилось, что FDB coordination-read на каждый запрос стоит примерно 3-4 ms median между серверами с Tailscale; что verified cold-storage roundtrip для 5-6 MB архива прогона занимает меньше 0.4s; и что агент может очень хорошо отлаживать проблемы BitGN кластера на базе FDB без ковыряния по SSH. В мире, где почти любой проект сейчас - это исследование неизвестного, такой подход фактически дает маленькую R&D-команду. Можно сказать, что я нашел рабочий для себя способ покупать R&D throughput токенами. Так что, если бы у меня было 500 EUR токенов в день, я бы масштабировал это в десятки параллельных исследований вокруг агентных систем. Особенно на базе локальных моделей. А как бы вы их использовали? Ваш, @llm_under_hood 🤗
Как бы вы использовали токенов на 500 EUR в день? Такой вопрос сейчас иногда…
Из этого канала
- #825"У меня есть гипотеза: cамый нудный и денежный слой AI-автоматизации на агентах…
"У меня есть гипотеза: cамый нудный и денежный слой AI-автоматизации на агентах в бизнесе сейчас не в чатботах, а в Excel/Google Sheets Не в смысле ""сделайте…
- #826У YCombinator заметно поменялось видение AI-стартапов Весной их Request For…
У YCombinator заметно поменялось видение AI-стартапов Весной их Request For Startups звучал как “AI-native компании могут быстрее делать дорогую работу”.
- #827"Anthropic стремительно катится под гору Пробуем создать пустую git репу с…
"Anthropic стремительно катится под гору Пробуем создать пустую git репу с коммитом, который упоминает openclaw, а потом запускаем там claude: ``` cd /tmp…
- #823Следующее соревнование BitGN пройдет 30 Мая: Agentic Ecommerce Challenge…
Следующее соревнование BitGN пройдет 30 Мая: Agentic Ecommerce Challenge (ECOM1) Это соревнование мы делаем вместе с COLIBRIX ONE (вот красивый лендинг ECOM у…
- #820Если кому интересно Взяли сервер с 6 H100 (и командой rmr) без измеения репо…
Если кому интересно Взяли сервер с 6 H100 (и командой rmr) без измеения репо погоняли разные модели на нем под PAC1 на моем решении…