https://www.prestonfu.com/notes/ppm/

При тренировке моделей, если веса остаются прежними, то какие знания вы пускаете в расход??.

я не понимаю веса должны меняться при тренировке в этом суть

Менятся в объеме или в качестве. Тогда если модель была 4b то станет 8b. И вырастут требования к железу? Структура весов не сломается, как структурировать…

Этим кстати жестко хочется позаниматься https://t.me/researchim/3/7095

Training Large Language Models for Small-Molecule Design with Synthetic Task Scaling https://arxiv.org/abs/2609.04735 https://www.alphaxiv.org/ru/abs/2609.04735