да вообще наскок глубокие модели можно обучать

https://openai.com/index/introducing-aardvark/

Обучать сложно, fine-tuning легко. Можешь открыть ноут с huggingface и зафайнтюнить на гугл колабе например gpt-oss-20b

ну она не так уж и глубокая, я имею ввиду более экстремальные варианты

"есть какие нибудь интересные ресерчи на тему уменьшения ""ширины"" слоя и увеличения высоты модели?"

Kimi Linear: An Expressive, Efficient Attention Architecture https://arxiv.org/abs/2510.26692 https://www.alphaxiv.org/ru/overview/2510.26692v1…