Кстати. Вопрос инференса в целом большой. У нас студия для трена моделек в первую очередь. Но возможно отдельную страничку можно выделить под то чтобы инференсить и запускать модели допустим с vllm/sglang на своих мощностях
Кстати. Вопрос инференса в целом большой. У нас студия для трена моделек в…
0 viewsОткрыть в Telegram →
Из этого канала
- #5721в смысле как есть lm studio это чат с модельками. мы тоже можем сделать свой.…
в смысле как есть lm studio это чат с модельками. мы тоже можем сделать свой. но пока не знаю стоит ли это развивать. но думаю что позже
- #5722На GPU Mode недавно вышла 3-х часовая лекция про RL, Агентов и фреймворк для…
На GPU Mode недавно вышла 3-х часовая лекция про RL, Агентов и фреймворк для создания и работы со средами OpenEnv.
- #5724На м4 маке 64 гб можно запустить трейн? Если да, я бы потестировал
На м4 маке 64 гб можно запустить трейн? Если да, я бы потестировал
- #5719Щас прорабатываю вопросы инференса моделей после всех стадий трейна. не до…
Щас прорабатываю вопросы инференса моделей после всех стадий трейна. не до конца проработано было.
- #5717кстати, когда более-менее все норм будет, то начну версионирование уже. пока…
кстати, когда более-менее все норм будет, то начну версионирование уже. пока рано)