"Эпоха эфемерного программного обеспечения Мы полвека учились строить системы, которые живут годами. Похоже, следующие лет десять будем учиться строить системы, которые живут несколько минут. После Big Data LDN хочу поделиться докладом Joe Reis ""От машинерии данных к смыслу и агентности в AI-организациях"". Полный транскрипт и слайды - в комментарии, ниже мое самари и основные выводы. Джо Райс - соавтор Fundamentals of Data Engineering (O'Reilly), ведущий The Joe Reis Show, ""выздоравливающий data scientist"" с 25 годами в индустрии. Его главный тезис: индустрия данных четверть века улучшала машинерию - перемещение и хранение. Это сработало: хранить и гонять данные стало элементарно. Но почти ни одна компания не работает с данными хорошо, потому что узкое место никогда не было техническим. Оно организационное: владение, общий смысл, доверие. Ключ к этому - закон Конвея 1968 года: система копирует коммуникационную структуру организации, которая её строит. Две команды не разговаривают друг с другом, у них разные определения одного и того же, и хранилище с пайплайнами в итоге повторяет оргструктуру. Проблемы координации десятилетиями маскируются под проблемы данных. Теперь в эти человеческие проблемы сбрасывают AI. По его опросу, 69% говорят, что AI дисфункцию не уменьшил, а половина из них - что стало хуже. Параллельно с данными сталкивается мир знаний: онтологии, семантика, графы знаний, контекст. Задача больше не в том, чтобы смоделировать базу данных. Нужно смоделировать достаточно большой кусок мира организации, чтобы машина могла о нём рассуждать. Райс описывает, куда движутся инженеры в Google. Поднять Postgres на семь минут, собрать граф датасетов, материализовать результат в DuckDB, создать песочницу с нужными правами и уничтожить её. Это разворот на 180 градусов: мы привыкли строить долгоживущие распределённые системы, а агенту нужен черновик на время задачи. Модели данных становятся такими же одноразовыми - строятся под задачу и разбираются после. Поэтому provenance и lineage должны стать объектами первого класса в метаданных, иначе через час никто не восстановит, откуда взялась цифра. Облака когда-то превратили серверы из питомцев в эфемерное облако «по запросу». Агенты делают следующий шаг: одноразовыми становятся не только серверы, но и схемы, модели, скрипты, целые приложения под одну задачу. Стоимость создания кода и инфраструктуры стремится к нулю. Стоимость ошибки в правилах вокруг них растёт. Значит, долговечным остаётся не артефакт, а рамка вокруг него. Райс формулирует её через контракты: схема говорит агенту, как выглядят данные, семантика - что они значат, намерение - что с ними разрешено делать. Инженер завтрашнего дня проектирует не пайплайны, а четыре вещи: - реальность - что представлено в данных и модели; - контекст - что агентам можно обнаружить, а что нельзя; - границы - контракты, права, governance; - среды исполнения - где агентам вообще разрешено работать, раз уж они научились сбегать из песочниц. Код становится расходником. Смысл и правила становятся активом. Похоже это очень серьезный сдвиг парадигмы."