"​​Котятки, мне подключили модель ИИ c рассуждениями, и конечно, я начала ее тестировать и в лоб и в иные места. Начала я с матрицы компетенций BI-аналитика как инструмента, задачи - проанализировать, сравнить, создать гибрид, нарисовать картинку. Мой лонгрид тут, он полезен для понимания, как ставить задачи ИИ и как оценивать ответы: https://telegra.ph/Kak-II-rassuzhdaet-02-24 Что было на входе? 1) Базово для собесов джунов/мидлов я с недавних пор пользую матрицу Ромы Бунина, ее возьмем за наиболее сбалансированную матрицу https://docs.google.com/spreadsheets/d/1tg9xyYhpj2gCtDtH_ooh_3OnnDPuTPIsIs7dVrMTiC0/htmlview#gid=2021394737 2) В анналах моей работы сохранились общие требований к BI-разработчикам уровня middle+, не привязанные к конкретному инструменту. https://disk.yandex.ru/d/YNXvn3Muhefw-Q Это не матрица компетенций и не инструмент оценки, но для задачи подошло. Что было сделано: -для второй ""матрицы"" попросила порассуждать и декомпозировать требований так, чтобы они имели градацию (и матрица превратилась в матрицу) -для обеих матриц попросила сделать сравнительный анализ -на основании сопоставления, попросила сделать некую гибридную матрицу, дать ей характеристику -результаты работы нужно было упаковать в инфографику. Резюме: -декомпозиция компетенций и создание шкалы (анализ) - большой жирный минус, система пока не может сложить цепочку, из которой видно, как углубляется тот или иной скилл, что усиливается. Грубо говоря, не может выявить некоторое ""зерно"", основополагающую суть, почему данный набор действий объединен как компетенция в данном конкретном случае. -сравнение (сопоставление): на троечку, если не задавать глубины анализа и не прописывать детальный промт, как именно должны быть сравнены 2 сущности. -создание гибридной матрицы (тестировался навык синтеза): получилось что-то вроде вакансии, а не матрицы компетенций, но с самой задачей синтеза он справился. -генерация инфографики (визуализация)): на троечку, так как ИИ не смог подобрать глубину инфографики таким образом, чтобы получился наглядный результат. У него вышло что-то вроде рекламы (ура, мы сравнили 3 матрицы, хотя мы не сравнивали третью, а генерировали ее). -общее впечатление: пока похоже на 11-классника, который имеет строгий крен в естественно-научный профиль, а просят у него сделать упражнение по обществознанию. Форму подобрать может, а вот с содержанием так себе. Что я с этим буду делать: промты генерировать) Зная слабые места текущих моделей, необходимо под каждую задачу генерировать подходящий промт и действовать итеративно, так как при итеративной работе модель справляется лучше, чем на комплексном задании, где описаны сразу все детали."