Я недавно увидел проект Heretic ( https://github.com/p-e-w/heretic ), и там они интересную вещь делают - обучают только attn.o_proj и mlp.down_proj Т.е, чтобы убрать из модели цензуру (а это изменение поведения модели) - достаточно манипуляций с этими матрицами (скорее всего, добавить модели цензуру можно тоже через них, но это другая тема) Мне сразу стало интересно, а что если SFT/RL тоже делать только на этих матрицах? Какая разница по лоссу выйдет между полным обучением и таким?
Я недавно увидел проект Heretic ( https://github.com/p-e-w/heretic ), и там они…
0 viewsОткрыть в Telegram →
Из этого канала
- #5741"На моменте PreTraining, модель скорее всего выучивает все свои знания, на SFT…
"На моменте PreTraining, модель скорее всего выучивает все свои знания, на SFT она просто выучивает ""стиль"" предсказания следующего токена, в нужной манере…
- #5742я потестил русский и англиский 1.8 параметров . русский звучит с китайским…
я потестил русский и англиский 1.8 параметров . русский звучит с китайским акцентом 🤣🤣 но качество в любом случае хорошее
- #5747ребятки, а датасеты для grpo подходящие на русском знаете? то есть нужен вопрос…
ребятки, а датасеты для grpo подходящие на русском знаете? то есть нужен вопрос + чисто ответ надо что-то забить в конфиги для загрузки для grpo а-то в…
- #5739ну это все потом очень сильно тестить будем и мне щас нужно на разных сетах…
ну это все потом очень сильно тестить будем и мне щас нужно на разных сетах потеститься
- #5738ребятки во всю делаю дизайн ревардов в grpo скоро апдейтик уже инференс…
ребятки во всю делаю дизайн ревардов в grpo скоро апдейтик уже инференс пофикшен вроде система конечно постепенно усложняется, но с ллм рлем прям очень просто…