Добавь ещё Sophia и Lion https://alphaxiv.org/abs/2305.14342 https://github.com/Liuhong99/Sophia https://www.alphaxiv.org/abs/2302.06675 https://github.com/fsaltunyuva/ADA449-HW4-LionOptimizer
Добавь ещё Sophia и Lion https://alphaxiv.org/abs/2305.14342…
0 viewsОткрыть в Telegram →
Из этого канала
- #6188Сходится быстрее Адама?
Сходится быстрее Адама?
- #6189окей, этим завтра попробую позаниматься
окей, этим завтра попробую позаниматься
- #6190а хз пока. оно первый раз сошлось. я уж бросить хотел... но сходил в…
а хз пока. оно первый раз сошлось. я уж бросить хотел... но сходил в оригинальный реп и оно прост поехало
- #6186https://github.com/KellerJordan/Muon взял щас прост вот отсюда прям подрубил и…
https://github.com/KellerJordan/Muon взял щас прост вот отсюда прям подрубил и сразу сходится) щас затащу в репу и пушну апдейт
- #6185кажется что еще через 1-2 таких релизов как текущий квен и нам особо не нужны…
кажется что еще через 1-2 таких релизов как текущий квен и нам особо не нужны будут прям внешние модельки.