"Разбор статьи про внедрение ИИ в R&D лабе (1/3) Попалось интересное исследование о последствиях внедрения ИИ в научную/изобретательскую деятельность: Toner-Rodgers, Aidan. 2024. ""Artificial Intelligence, Scientific Discovery, and Product Innovation."" MIT, December 25, 2024. Интересно оно тем, что в нём рассматривается то, как ИИ вписывается в по-настоящему интеллектуальную сферу, а так же тем, что показывает как изменение эффективности исследований, так и влияние внедрения ИИ на людей. __Эти результаты можно отчасти экстраполировать и на другие похожие области, ту же разработку софта - об этом в ____третьем посте____.__ Сеттинг эксперимента Эксперимент проводился в R&D лаборатории неназванной крупной американской компании, специализирующейся на создании и применении материалов в здравоохранении, оптике и промышленном производстве. В исследовании участвовали 1018 ученых со степенями в области химии, физики и инженерии. ИИ-инструмент представляет собой набор графовых нейронных сетей (GNNs), обученных на структуре и свойствах существующих материалов, и используется для ""обратного проектирования"", генерируя новые соединения на основе заданных характеристик. Влияние ИИ на эффективность R&D * ученые, использующие ИИ, открывали на 44% больше новых материалов; * в результате количество патентных заявок возросло на 39%; * через несколько месяцев после внедрения ИИ наблюдалось увеличение на 17% числа прототипов продуктов с новыми материалами; * с учетом затрат на внедрение ИИ, эффективность R&D увеличилась на 13-15%. Влияние на новизну * материалы, предложенные ИИ, имеют более уникальные химические структуры; * ИИ способствовал созданию новых продуктовых линеек, а не просто улучшению существующих; * показано отсутствие ""эффекта уличного фонаря"" - опасения, что ИИ будет направлять поиск в уже изученные, но малоперспективные области, не подтверждаются. Неравномерность влияния на производительность ИИ оказывает неравномерное влияние на работу ученых, при этом наиболее продуктивные исследователи получают гораздо больше пользы от использования ИИ: * ученые в нижней трети распределения производительности увидели минимальные улучшения; * разрыв в производительности между 90-м и 10-м перцентилями - более чем в 2 раза. Автор выделяет два ключевых навыка, которые влияют на продуктивность ученых: генерация идей новых материалов и оценка их перспективности. Оказывается, что именно различия в способности оценивать предложения ИИ объясняют почти всю неоднородность во влиянии ИИ на ученых. ИИ увеличивает общее количество перспективных кандидатов, но делает их оценку более сложной. А ученые с высокими навыками оценки лучше определяют перспективные материалы, предложенные ИИ, и избегают false positives, что позволяет им тестировать меньше материалов, но с более высокой вероятностью успеха. Опрос ученых показывает, что их способность оценивать предложения ИИ во многом зависит от их экспертных знаний в области материалов. Это является демонстрацией того, что ИИ не является ""уравнивающим"" инструментом - напротив, он усиливает различия между учеными, и это подчеркивает важность экспертизы в эпоху ИИ. Последствия в работе Показано перераспределение рабочего времени на разные задачи после внедрения ИИ-инструмента: * ИИ автоматизировал большую часть задач по генерации идей, сократив время, затрачиваемое учеными на эти задачи, с 39% до менее 16%; * время, затрачиваемое на оценку предложений ИИ, увеличилось на 74% (с 23% до 40% от общего времени исследований); * время, посвященное экспериментам (синтез и тестирование материалов), выросло с 37% до 44%. В ответ на изменения в процессе исследований лаборатория начала адаптировать свои кадровые практики. В последний месяц исследования 3% ученых были уволены, причем 83% из них находились в нижнем квартиле по навыкам оценки. Однако одновременно с этим было нанято больше новых сотрудников, чем было уволено. Автор предполагает, что эти новые сотрудники с большой долей вероятности обладают именно высокими навыками оценки материалов. #ai #science #article"