Продолжение интересной движухи про отказ от отдельной токенизации, теперь с помощью старых добрых U-Net: https://t.me/gonzo_ML_podcasts/322 Computer vision передаёт привет NLP :) Ещё не до конца end-to-end, но приближаемся!
Продолжение интересной движухи про отказ от отдельной токенизации, теперь с…
Из этого канала
- #3727Это прекрасно! Были базовые эксперты в MoE, а теперь brain-inspired…
Это прекрасно! Были базовые эксперты в MoE, а теперь brain-inspired специализированные эксперты по логике, языку, социальным делам и модели мира.
- #3728Mixture of Cognitive Reasoners: Modular Reasoning with Brain-Like…
Mixture of Cognitive Reasoners: Modular Reasoning with Brain-Like Specialization Authors: Badr AlKhamissi, C.
- #37291. Этап 1: Предобучение экспертов. Эксперты предобучаются на небольшом,…
1. Этап 1: Предобучение экспертов. Эксперты предобучаются на небольшом, специально подобранном датасете `Dexperts` всего из 3000 с небольшим примеров.
- #3725https://www.youtube.com/watch?v=V979Wd1gmTU
https://www.youtube.com/watch?v=V979Wd1gmTU
- #3724https://www.youtube.com/watch?v=cFIlta1GkiE
https://www.youtube.com/watch?v=cFIlta1GkiE