Инференс-сервер своими руками: воркшоп по BentoML Обучить модель — это половина работы. Дальше встаёт вопрос: как её отдать? Как backend-команда будет к ней обращаться? Лезть в чужие репозитории и встраиваться в их инфраструктуру — не всегда вариант. Мы подготовили воркшоп, на котором покажем, как упаковать модель в BentoML, поднять инференс-сервер и организовать к нему доступ. На воркшопе разберём: — как передать готовую модель без погружения в репозитории backend-команды — как упаковать модель с помощью BentoML и поднять инференс-сервер — как обращаться к модели из внешнего кода — когда BentoML не подходит и что использовать вместо него Воркшоп — это когда вы сначала слушаете, а потом сразу делаете. Анастасия Старобыховская, руководитель лаборатории «Искусство и ИИ» в ЕУСПб, сначала расскажет теоретическую часть, а потом разобьёт участников на небольшие группы для самостоятельной работы, будет подключаться к каждой и помогать с затыками. У вас будет возможность упаковать модель самостоятельно в режиме реального времени! И в конце вместе обсудим решение и типичные ошибки. А также всем участникам подарим скидки на курс CV Rocket! 🎁 Чтобы не терять времени на воркшопе, установите docker/python/свою любимую IDE, если ещё нет 📅 Встречаемся в четверг, 12 марта в 19:00 МСК! Нажмите /start в этом боте, чтобы зарегистрироваться!
Инференс-сервер своими руками: воркшоп по BentoML Обучить модель — это половина…
Из этого канала
- #706"На днях Google гордо выкатили режим cinematic video для NotebookLM. Зная…
"На днях Google гордо выкатили режим cinematic video для NotebookLM. Зная заранее, как вольно Nano Banana обращается с историческими данным, я загрузил…
- #707VK bot для Клода вместо тг-бота На фоне грядущих отключений телеграма на всей…
VK bot для Клода вместо тг-бота На фоне грядущих отключений телеграма на всей территории РФ я сделал инструкцию по созданию и запуску ВК-бота, как альтернативы…
- #708"Как перевести книгу на 145 страниц за 20 минут и $6 Если вы когда-нибудь…
"Как перевести книгу на 145 страниц за 20 минут и $6 Если вы когда-нибудь переводили техническую документацию через чат Claude или GPT - вы знаете эту боль.
- #704Разрабам в кремниевой долине начали платить токенами — айтишники просят бюджеты…
Разрабам в кремниевой долине начали платить токенами — айтишники просят бюджеты на постоянный запуск нейронок.
- #703"Что учить сегодня для AI завтра? На прошлой неделе в комментариях задали…
"Что учить сегодня для AI завтра? На прошлой неделе в комментариях задали вопрос о том, чему учиться в эпоху нейросетей, которые ""скоро все скоро будут делать…