"Легенды диплёнинга. Список Ильи или 90% всего, что важно в AI Существует легенда о том, что однажды Джон Кармак (создатель id Software, коим мы благодарны за Вульфенштейн, Дум и Квейк) спросил Илью Суцкевера о том, что ему прочитать, чтобы освоить deep learning. И Суцкевер дал тому список из сорока статей, сказав, что прочитав это, ты освоишь 90% всего того, что важно сегодня. So I asked Ilya, their chief scientist, for a reading list. This is my path, my way of doing things: give me a stack of all the stuff I need to know to actually be relevant in this space. And he gave me a list of like 40 research papers and said, ‘If you really learn all of these, you’ll know 90% of what matters today.’ And I did. I plowed through all those things and it all started sorting out in my head. Сегодня уже прошло, но легенда о списке всё жива. Проблема в том, что список канул в Лету — Кармак хранил его где-то с настройкой на автоснос (не понял, прямо в сообщениях фб чтоли?). У него остался только бумажный принт части списка. Ни Илья, ни OpenAI этот список так и не опубликовали. ""The email including them got lost to Meta's two-year auto-delete policy by the time I went back to look for it last year. I have a binder with a lot of them printed out, but not all of them."" НО. В январе 2024 в Сети всплыл реконструированный лист на 27 позиций — был расшарен исследователем из OpenAI как список с его онбординга, с отсутствующей частью про meta-learning. Это самая близкая к оригиналу версия, что есть в паблике. Остальные 13 пунктов — в тумане. Для тех, кому нечего почитать на выходных Вот тот самый ""список Суцкевера"" (27 подтверждённых пунктов, со ссылками и моими дополнениями):"
"Легенды диплёнинга. Список Ильи или 90% всего, что важно в AI Существует…
Из этого канала
- #4726"🔁 RNN / LSTM / Sequence Models 1. The Unreasonable Effectiveness of Recurrent…
"🔁 RNN / LSTM / Sequence Models 1. The Unreasonable Effectiveness of Recurrent Neural Networks (http://karpathy.github.io/2015/05/21/rnn-effectiveness/) — A.
- #4727🎯 Attention / Transformers 8. Neural Machine Translation by Jointly Learning to…
🎯 Attention / Transformers 8. Neural Machine Translation by Jointly Learning to Align and Translate (https://arxiv.org/abs/1409.0473) — Bahdanau et al., 2015…
- #4728🧠 CNNs / Vision 11. ImageNet Classification with Deep Convolutional Neural…
🧠 CNNs / Vision 11. ImageNet Classification with Deep Convolutional Neural Networks…
- #4719Правильная дистилляция помогает избавиться от лишнего запоминания моделью!…
Правильная дистилляция помогает избавиться от лишнего запоминания моделью! Memorization Dynamics in Knowledge Distillation for Language Models Jaydeep Borkar,…
- #4716Снова про проблемы перплексии. Недавно рассматривали альтернативную метрику,…
Снова про проблемы перплексии. Недавно рассматривали альтернативную метрику, Epiplexity (https://t.me/gonzoML/4543).