"Ещё про диффузионные LLM, теперь подход Soft Masking. Здесь вместо того, чтобы принимать бинарное решение ""заменить `[MASK]` на реальный токен"" или нет, мы при сохранении маски смешиваем эмбеддинг токена `[MASK]` с взвешенной по уверенности выпуклой комбинацией эмбеддингов топ-k предсказанных токенов с предыдущего шага. Способствует сохранению важной информации, улучшает обучение. https://t.me/gonzo_ML_podcasts/1043"
"Ещё про диффузионные LLM, теперь подход Soft Masking. Здесь вместо того, чтобы…
Из этого канала
- #4157Больше фундаментальных моделей, хороших и разных, и за пределами языка. Две…
Больше фундаментальных моделей, хороших и разных, и за пределами языка. Две недавние работы: Physics Foundation Model (https://t.me/gonzoMLpodcasts/1055) —…
- #4163Датасет для файнтюнинга агентности... из 78 примеров. LIMI: Less is More for…
Датасет для файнтюнинга агентности... из 78 примеров. LIMI: Less is More for Agency https://t.me/gonzoMLpodcasts/1083
- #4164Je suis Markov Прикольная работа, как делать долгие цепочки рассуждений, не…
Je suis Markov Прикольная работа, как делать долгие цепочки рассуждений, не растягивая контекст, а постоянно его сбрасывая и храня небольшое состояние.
- #4154Интересная работа про Planned Diffusion: сначала авторегрессионно генерим план…
Интересная работа про Planned Diffusion: сначала авторегрессионно генерим план ответа, потом диффузионно впараллель заполняем его отдельные части.
- #4153Свободу трансформерам! https://t.me/gonzoMLpodcasts/1020 Добавили к…
Свободу трансформерам! https://t.me/gonzoMLpodcasts/1020 Добавили к авторегрессионной генерации латенты в стиле CVAE и сделали это с почти минимальным…