Поделюсь опытом создания Azure инфраструктуры для пет проекта. Сейчас у нас закончился проект Surfalytics, где я 2 часа рассказывал про Azure reference architectures и пример создания решения с и без агентов. Но запись не сработала😿 Вот, что я заказал у agent teams: Отлично, теперь я использую команду для построения своего рода Azure Data Warehouse используя: Azure SQL Server как мою source database Azure CosmosDB как мою source NoSQL database Azure Postgres как мой data warehouse Azure Data Factory для загрузки данных из sources в Postgres (destination) Azure DevOps Repos для кода, мы можем подключить Azure DevOps для Azure Data Factory, а также для любых видов transformations. У меня есть account https://dev.azure.com/surfalytics/ вы можете начать с новой resource group в Azure rg-surfalytics-ai-agents и создать все resources. Убедитесь, что они находятся в одном Region. вы можете сгенерировать sample data в SQL Server как OLTP для SQL Server и Documents для CosmosDB мы выполнили az (Azure CLI) и он залогинен в Azure Subscription Вы можете использовать team of agents для разделения работы и убедиться, что у нас есть working solution в Azure. Что сделал Claude Code Team Agents: ``` | Task | Status | Agent | |-----------------------|-------------------|----------------| | #1 Infrastructure | Completed | infra-agent | | #2 SQL Server data | In progress | data-agent | | #3 CosmosDB documents | Starting now | infra-agent | | #4 Warehouse schema | Completed | infra-agent | | #5 ADF Pipelines | Waiting on #2, #3 | pipeline-agent | | #6 DevOps + CI/CD | Waiting on #5 | pipeline-agent | ``` То есть создал 6 задач и несколько агентов, причем некоторые задачи могут выполняться параллельно. Что я получил на выходе и оценка от 1 до 5. • Azure Resource Group в которой создались все ресурсы - 5 • Azure CosmosDB с одной БД и 3мя контейнерами и JSON документами как sample - 5 • Azure SQL Server с новой базой данных и sample таблица - 5 • Azure Postgres (data warehouse) пустой - 5 • Azure Data Factory сам workspace - 5 • Использование Azure CLI для всех задач - 5 (и не нужен MCP) • Сохранить все в Azure DevOps Repo - 4 (даже не смотря на то, что это то как я хотел, но я не объяснил нормально) Теперь, где оказались проблемы • Когда все закончилось, я пошел в ADF и нашел pipelines, но они не работали, то есть где-то, что-то потерялось. Я попросил агентов починить, и они все починили. И тут я понял, что я не написал заранее про тестирование всего, что мы сделали. • Все пароли оказались прям в коде pipelines и я попросил использовать Azure Key Vault. Агент все сохранил в Azure Key Vault, но не обновил ничего внутри ADF. Опять же мой косяк, я не просил об этом. • Сами data pipelines были странные. В CosmosDB у меня было 3 таблицы, в Azure SQL у меня было 4 таблицы. И я хотел что-то вроде dimensional model. По факту он создал 3 pipelines с COPY activity. Тут был прям худший результат. Но и мой запрос был очень поверхностный. Дальше я попросил агентов добавить Watermark таблицу для инкрементальной загрузки и таблицу для логов запуска pipelines и поставить все на расписание. • Агенты добавил новый adf pipelines и добавил в каждый возможность logging (но я бы так не сделал бы) • Для SCD Агнеты сделали блоки с SQL командами INSERT/UPDATE, хотя INSERT блок назвали MERGE. Поэтому за часть Dimensional Modelling я поставлю 1, даже после моих подсказок он всё равно не выполнил то, что я просил. #aidev
Поделюсь опытом создания Azure инфраструктуры для пет проекта. Сейчас у нас…
Из этого канала
- #5699Что бы я сделал по-другому Самое очевидное — это банальный prompt engineering.…
Что бы я сделал по-другому Самое очевидное — это банальный prompt engineering. Вы видели мой наивный запрос. Что попросил, то и получил.
- #5700Последняя глава нашей книги Data engineering with Azure Databricks 🥇
Последняя глава нашей книги Data engineering with Azure Databricks 🥇
- #5701Написал блог пост про AI agents fleet…
Написал блог пост про AI agents fleet https://blog.surfalytics.com/p/fleet-of-ai-agents-built-my-azure #aidev
- #5692Ох уж эти агенты, невозможно оторваться! Сколько всего можно сделать, когда…
Ох уж эти агенты, невозможно оторваться! Сколько всего можно сделать, когда знаешь, как вежливо попросить AI сделать это за тебя: • новые Airflow DAGs •…
- #5691Принес вам немножко инсайтов. В одной большой компании, которая управляет…
Принес вам немножко инсайтов. В одной большой компании, которая управляет большим капиталом (wealth management) внедряют Databricks, чтобы 1) модернизировать…