Большой обзор того, как сегодня обучают фронтирные LLMы djdumpling.github.io/2026/01/31/frontier_training.html Вышел свежий материал от инженера из Prime Intellect (писали о них много раз). Автор берет несколько открытых или условно открытых проектов – вроде SmolLM3, Intellect 3, Kimi K2, DeepSeek‑R1, gpt‑oss‑120b и Hermes 4 – и на их примере проходит по всему жизненному циклу моделей. Текст абсолютно не похож на блоги компаний и тех.репорты, а скорее представляет из себя очень плотную дистилляцию реальной практики. Внутри есть как и база в оригинальной ультра-практической обработке: – Сбор и очистка данных – Как именно выглядит претрен, mid‑training и post‑training – Как выбирают архитектуру, гиперпараметры и токенизаторы ... так и то, о чем на самом деле мало где пишут: – Схемы безопасности, и где они ломаются – Где компании экономят компьют, а где, наоборот, жгут его ради качественных сдвигов – Как заводится RL и как добиться стабильности обучения в целом Если вы в теме – это мастрид. * Ссылку на отчет увидели у коллеги с канала @lovedeathtransformers
Большой обзор того, как сегодня обучают фронтирные LLMы…
Из этого канала
- #8769Google выпустили Gemini 3.1 Pro Обновленную модельку очень прилично качнули на…
Google выпустили Gemini 3.1 Pro Обновленную модельку очень прилично качнули на кодинге, ризонинге и агентных задачках.
- #8770Каждый день в 2026 такой типа
Каждый день в 2026 такой типа
- #8772СММ-щик официального аккаунта ChatGPT в твиттере определенно заслуживает…
СММ-щик официального аккаунта ChatGPT в твиттере определенно заслуживает уважения
- #8766Когда поставили на один проект с тем самым коллегой
Когда поставили на один проект с тем самым коллегой
- #8765Мем дня: Сэм Альтман и Дарио Амодеи отказались держаться за руки Во время AI…
Мем дня: Сэм Альтман и Дарио Амодеи отказались держаться за руки Во время AI саммита в Дели премьер-министр Индии затеял так называемый Unity Raise: довольно…