"Мы внедрили AI! И он нас заменил! Конечно, я всегда пишу заголовки, чтобы вы кликнули. Я мог бы написать: RAG + chromadb + LLM (интересное решение для телеграм бота) Крутяк. И ровно 4000 человек пролистывает эту чушь, потому что вообще непонятно для кого. И только два человека, шарящие за РАГ и языковые модели открывают этот пост. Рассказываю. Вот нас спрашивают, когда буткемп, где ссылка на бусти, когда курс? А где подписаться? А есть ссылка на роадмап.. Особенно хотелось закрыть вопрос с ближайшими потоками. И вот какая пришла у меня идея. Хотелось бота, который знает все о наших продуктах, сайтах, расписаниях и ценах.. и чтобы все в одном месте. Но писать каждый раз новые кнопки, подключения к БД нет желания и времени. И что я придумал? Я взял и написал AI телеграм бота. Если что, ничего волшебного там нет. И сейчас я вам покажу откуда готовилось ~~нападение~~ решение и как оно работает. Быстрый экскурс в LLM. Это переводится, как большая языковая модель. Все, что он делает — это круто умеет ставить слова друг за другом, подражая человеческой речи. Такой Т9 на максималках. Поэтому я скорее называю это LLM бота, а не AI. Просто AI на хайпе и не написать это — я просто не могу! Давайте я Сам решу, сам решууу! Так вот теперь можно написать боту @roadmappers_bot сообщение, как человеку и он проконсультирует вас по всем нашим продуктам, выдаст все ссылки и ответит на вопросы касательно roadmappers.ru. На вопросы не по теме, он ответит, что не располагает информацией и предложит написать нам в лс. Как это работает? Значит создаем телеграм бота. Тут все просто, дальше пишем код, который будет обращаться к LLM модели. Они бывают разные: платные, бесплатные по АПИ, бесплатные локально.. Я пробовал ВСЁ! Платный. Это например OpenAI или DeepSeek. Второй дешевле. Закидываешь ОМЕРИКАНСКИЕ ДОЛЛАРЫ в личный кабинет и платишь за использования их API. Как закинуть баксы в ДипСик — ищите в гугле. Там первая ссылка выдает отличный сайт, где вам все ваши бабки закинут на ваш Личный кабинет. Уже давно все за вас придумали. Бесплатно. Можно по API ходить в OpenRouter к любой выбранной модели. Но работает нестабильно. Также можно скачать к себе локально модель через Ollama или Docker Model Runner, но работает медленно и тоже нестабильно. Нужно явно GPU. Поигравшись с разными вариантами я понял, что готов потратить, ВНИМАНИЕ, 2 ДОЛЛАРА на API ключ в DeepSeek. АПИшка работает отлично, ответ быстрый, ошибок пока не было обнаружено. А теперь как это работает? Вопросы к LLM отсылаются, как обычный post запрос в API. Т.е. мы буквально отправляем АПИ ТОКЕН + строку с нашим вопросом. Также можно добавить туда промпт. Например ""Отвечай, как будто ты менеджер по продажам. Вот наши продукты: ....."" И по-началу я в этот промпт закидывал огромную строку с описанием всех продуктов. Но это не масштабируется. Каждый раз отправлять огромный контекст не пойдет. Что если я хочу скормить весь роадмап? Тут она либо долго будет обрабатывать, либо вообще упадет по памяти. Везде есть лимиты. И че делать? Математика 5-ый класс. ВЕКТОРА. Мы берем всю нашу полезную информацию (базу знаний) и векторизуем (текст переводим в числа), загружая все в векторную базу данных. Че? Зачем? Когда мы спрашиваем бота, он векторизует наш вопрос, идет в БД и ищет совпадения (мы же перевели строки в числа) и отбирает наиболее похожие. Например берет первые 3 варианта или 5. Это все можно настроить. В итоге в саму API летит ваш вопрос + несколько релевантных ответов, вместо всей кучи. В итоге ЛЛМка просто принимает этот текст и пересобирает в более читаемый и клевый вид. Да, там можно еще добавить, чтобы Трансформер собирал в конкретном стиле + добавить ограничения, на случай, если вопрос не связан с базой знаний. Поняли, что ничего не поняли? Подробнее о том, как это работает и как настраивается я расскажу в бусти Роадмаперы. А где ссылка? Спросите ее у бота. Вообще порекомендую пообщаться с ним. Он вам расскажет и по буткемпам и ценам и по потокам. @roadmappers_bot __Подписывайтесь и вместе поразгоняем, где можно использовать таких чат ботов!__"