Вчера еще была статья в комментах про то, как команда выкинула нафиг весь код и open source и людей, которые писали этот корявый код (и не важно с AI или без). https://medium.com/@reliabledataengineering/dbt-databricks-the-combo-that-cut-our-data-team-from-12-to-5-engineers-be97e83fa7cb Очень интересный сценарий, на заметку боссам и CDO. Но в РФ реалиях это не работает. Я кстати вспомнил, что в прошлом году общался с VK и там была позиция на Max типа CTO/CDO платформы, но надо было закрыть ее в декабре. Вообще место хорошее, ведь этот человек может реально попробовать повлиять на качество сервиса и пилить самую современную дата платформу и заодно модернизировать VK Cloud и развивать их любимый Lakehouse + Iceberg. Думаю так все ок с бюджетами. Но я бы хотел смотреть в сторону managed DuckLake или пилить аналог Databricks (Compute + Notebooks + Data ingesting + ML + pipelines) и все это с интерфейсом в YML.