Фух за сегодня прям дофига чего было поправлено -deepspeed конфиги для правильного распараллеливания -много чего с квантизациями -lorы и прочее щас только для пущих оптимизаций надо все же лигеркернелы попробовать затащить, хочется посмотреть насколько еще приятнее станет итак вроде нормик, но блин если можно еще памяти экономить и быстрее делать, то чего бы нет и кстати в будущем еще анслот будет
Фух за сегодня прям дофига чего было поправлено -deepspeed конфиги для…
0 viewsОткрыть в Telegram →
Из этого канала
- #5604Всем привет! Подскажите, находили ли вы исследования о количественном эффекте…
Всем привет! Подскажите, находили ли вы исследования о количественном эффекте внедрения LLM для управления знаниями компаний? Я ищу научные источники, чтобы…
- #5607https://macaron.im/mindlab/research/building-trillion-parameter-reasoning-rl-wit…
https://macaron.im/mindlab/research/building-trillion-parameter-reasoning-rl-with-10-gpus…
- #5609привет) пробовал чатгпт ресеч запускать на эту тему?
привет) пробовал чатгпт ресеч запускать на эту тему?
- #5602ну короче я это еще все прорабатываю. но мнекажется, что это хочется видеть…
ну короче я это еще все прорабатываю. но мнекажется, что это хочется видеть когда тюнишь модельку. что она там пишет
- #5601это все на странице мониторинга будет. Вверху слева полный промт, справа…
это все на странице мониторинга будет. Вверху слева полный промт, справа эталонный ответ, внизу варианты