А если второй сеткой чекать ответы, маленькой на 900М параметров?

Ну вторую тоже обучить надо как-то

Тащемта это RLHF называется вопрос в том где взять дату

По идее для неё большие датасеты не нужны

Кто нибудь знает датасеты/методы для деслопизации? Или это надо собирать русскоязычный аналог Human or Not для разметки?)

При этом на английском все норм и ее можно заставить общаться почти как человек, типо взять тот же Human or Not сайт