Эксперименты с Path Patching и JSD от Logit Lens.
Эксперименты с Path Patching и JSD от Logit Lens.
Из этого канала
- #4708Абляция с заменой FA и SA слоёв.
Абляция с заменой FA и SA слоёв.
- #4709В последнее время было возрождение интереса к эволюционным стратегиям (1, 2).…
В последнее время было возрождение интереса к эволюционным стратегиям (1, 2). Они работают, но с засадой.
- #4713"Фильтрация на уровне токенов при обучении даёт сильно более безопасные модели,…
"Фильтрация на уровне токенов при обучении даёт сильно более безопасные модели, чем другие способы.
- #4705Метрики моделей на бенчах — обратите внимание насколько растут метрики на…
Метрики моделей на бенчах — обратите внимание насколько растут метрики на MinervaMath и MATH-500.
- #4704"Дальше авторы взяли заликанный вопрос из MATH-500 и собрали Logit Lens с двух…
"Дальше авторы взяли заликанный вопрос из MATH-500 и собрали Logit Lens с двух траекторий с температурой 0.7 — траекторией с корректным ответом и с…