От тех же ребят из стэнфорда мне понравилась идея мега-кернелов (такое как-то было в комп графике) https://hazyresearch.stanford.edu/blog/2025-05-27-no-bubbles мы всю или почти всю модель запекаем в один огромный кернел и реплееим его без цпу со скоростью света
От тех же ребят из стэнфорда мне понравилась идея мега-кернелов (такое как-то…
0 viewsОткрыть в Telegram →
Из этого канала
- #5099ля это интересно
ля это интересно
- #5100актуально только в проде( пока руки не доросли туда
актуально только в проде( пока руки не доросли туда
- #5101что-то мешает трен так же сделать?
что-то мешает трен так же сделать?
- #5097Кто-нибудь занимается именно инженерной частью - оптимизацией тренинга,…
Кто-нибудь занимается именно инженерной частью - оптимизацией тренинга, инференса под модели/железо, чтобы свои кернела разрабатывать и разного рода…
- #5096у меня нет доступа к h100( поэтому не актуально. тут, на сколько помню, sm80и…
у меня нет доступа к h100( поэтому не актуально. тут, на сколько помню, sm80и s86.