Метрики моделей на бенчах — обратите внимание насколько растут метрики на MinervaMath и MATH-500.
Метрики моделей на бенчах — обратите внимание насколько растут метрики на…
Из этого канала
- #4706Эксперименты с Path Patching и JSD от Logit Lens.
Эксперименты с Path Patching и JSD от Logit Lens.
- #4708Абляция с заменой FA и SA слоёв.
Абляция с заменой FA и SA слоёв.
- #4709В последнее время было возрождение интереса к эволюционным стратегиям (1, 2).…
В последнее время было возрождение интереса к эволюционным стратегиям (1, 2). Они работают, но с засадой.
- #4704"Дальше авторы взяли заликанный вопрос из MATH-500 и собрали Logit Lens с двух…
"Дальше авторы взяли заликанный вопрос из MATH-500 и собрали Logit Lens с двух траекторий с температурой 0.7 — траекторией с корректным ответом и с…
- #4703Дальше авторы начали делать разные эксперименты над Qwen-2.5-Math-7B, OLMo-2 и…
Дальше авторы начали делать разные эксперименты над Qwen-2.5-Math-7B, OLMo-2 и Llama-3.1-8B.