Абляция с заменой FA и SA слоёв.

В последнее время было возрождение интереса к эволюционным стратегиям (1, 2). Они работают, но с засадой.

"Фильтрация на уровне токенов при обучении даёт сильно более безопасные модели, чем другие способы.

Снова про проблемы перплексии. Недавно рассматривали альтернативную метрику, Epiplexity (https://t.me/gonzoML/4543).

Эксперименты с Path Patching и JSD от Logit Lens.

Метрики моделей на бенчах — обратите внимание насколько растут метрики на MinervaMath и MATH-500.