"Вопросы ""в глубину"" к стартовым задачкам (1/2) На самом деле, если вы занимались вышеперечисленными задачами, вы знаете, что они практически все с подвохами :) И это делает их хорошими для того, чтобы копать вглубь на, к примеру, собеседовании на AI-assisted SWE. Опишу, что же ценного может быть в каждой из них в формате вопросов для беседы с потенциальным кандидатом. Ключевое для меня, пожалуй, в том, чтобы задача заставляла видеть границы между моделью, инструментами, контекстом, инфраструктурой и измерением качества. ⭐️ Рядом с каждой задачей - оценка ""полезности"" (5 звезд - максимум). Транскрибатор звонков (+ диктовка) ⭐️⭐️⭐️⭐️ Лень - двигатель прогресса, ну и плюс ко всему, как бы сумбурно вы ни изъяснялись, голосом вы все равно больше контекста передадите, и современная нейронка вас всё-таки поймет :) А чем больше вы дадите детализированного контекста - тем лучше у вас будет итоговое решение. В этой задаче, несмотря на то, что она на изи ваншотится, есть куча подводных граблей и сопутствующих вопросов: ● разные модели дают сильно разное качество и тут бы мы поговорили по крайней мере про WER/CER как метрики ● хватит ли метрик и при чём тут предметная область? ● как боретесь с плохо распознанными словами? ● что делать, если у вас какой-то особенный сленг используется? ● случалось ли вам распознавать __интенсивные беседы__ финна и русского (которые отлично друг друга понимают)? ● как насчёт стримингового распознавания? а стримингового перевода? ● как вы боретесь с Димой Торжком? ● ASR-модель - это LLM? Вы уверены? ● чем в этой задаче может помочь LLM? ● диаризация / VAD / speaker recognition - на сдачу :) Суммаризатор каналов телеги ⭐️⭐️⭐️ Задача не столько про нейронки, сколько про обычную инженерию. ● основная проблема, которую нужно решить - это как вы, собственно, вытаскиваете контент каналов ● MTProto-юзербот vs Bot API ● каким образом вы выделяете темы, заслуживающие внимания? ● дедупликация и кластеризация при сборе новостей ● как не оказаться в эхо-камере, настроив ""важные"" темы? ● почему все пилят свои суммаризаторы? Ну и мне наверняка было бы интересно, как вы хостите это решение, насколько оно независимо от вас может работать, и как долго :) Счетчик токенов/лимитов подписок ⭐️⭐️⭐️ Задача интересная и довольно просто реализуемая в том числе очень простой адаптацией готового (тысячи их на гитхабе). Так что тут бы был +1 за ""ручную"" имплементацию - там пришлось бы влезть в логи агентов, а это в целом довольно полезно для понимания того, как там оно под капотом. ● что если нужно переключаться между разными подписками одного вендора и считать подписки по отдельности? ● а если между разными вендорами? ● а если у вендора нет API для того, чтобы узнать лимиты? ● почему у разных считалок могут быть в 10 раз отличающиеся числа? ● приходилось ли делать слежку за урезаниями лимитов со стороны вендора? ● можно ли посчитать токены перед отправкой? ● (со звездочкой) переносили ли когда-то сессию между разными вендорами / агентами? Лендинг для AI-проекта, которого еще нет ⭐️⭐️ ""__Фу таким быть!__"" - сказал бы я раньше уверенно. Сейчас бы, может, уже и не так уверенно, потому что навайбкодить проект под заинтересовавший людей лендинг стало куда проще. Нооо достаточно сюда добавить ""лист ожидания"" или ""мы вам перезвоним"" - и я точно уже никогда не вернусь. Фу! Я бы обязательно спросил: __почему, мистер Андерсон? Почему вы это делаете?__ Ладно-ладно: ● какая была гипотеза? ● откуда трафик? ● была ли заранее продумана метрика ""ну не шмогла я, не шмогла"", чтобы не попасть в ловушку невозвратных потерь? Как она выглядела? Ну и обязательно бы попросил показать результат - ну чисто заценить, сколько там визуального слопа осталось, заморочился ли кандидат с тем, чтобы от него избавиться, есть ли у него вкус и способность дожимать мелочи Уникальное приложение для задач / фитнеса / финансов ⭐️⭐️⭐️ Несмотря на то, что их уже и так тьма, само по себе создание подобных приложений это не плохо: ведь в случае с AI у нас открывается возможность бесконечной кастомизации функционала под себя (особенно если не питать иллюзий насчёт монетизации :)). Поэтому мне скорее был бы интересен путь ваших мыслей относительно того как вы подходили к самой задаче кастомизации: ● насколько сильно отличался конечный результат от первого ваншота? ● что пришлось допиливать под себя? ● сколько времени ушло на допиливание? ● сколько раз стартовали заново? :) ● какие вещи оказались неожиданно сложнее, чем казались? На таких задачах хорошо раскрывается способность человека рулить агентом и добиваться результата, который может сильно отклоняться от внутреннего дженерик-представления нейронки о стандартном туду-листе, к примеру RAG для чата с кучкой markdown ⭐️⭐️⭐️⭐️⭐️ Ну предположим, что кто-то именно на векторах решил эту задачу сделать :) В 2023м это было по дефолту: чанки, эмбеддинги, векторная база, вот это вот всё. Сейчас первый вопрос скорее ""__а нужен ли вам вообще векторный RAG__""? Для кучки markdown длинный контекст или простой агент с grep'ом по файлам часто даёт результаты лучше наивного эмбеддинг-поиска. ● почему вы вообще решили, что вам нужны эмбеддинги? ● как нарезали чанки? ● как боролись с потерей мелких фактов? ● dense / BM25 / гибрид? ● верили ли ранжированию выдачи векторного поиска? ● как душили галлюцинации, особенно на мелких моделях? Ну и контрольный: где всё ещё оправдан векторный RAG? #aiswe #hr #junior"