gonzo-обзоры ML статей@gonzo_ML
Авторы: Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика. Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP, RL.
Последние посты (60)
- #617329 окт. 2026 г.986 views
"Тема с роутингом отдельных запросов на разные модели — хорошо проработанная…
"Тема с роутингом отдельных запросов на разные модели — хорошо проработанная область, мы сами в Intento делаем это уже под десяток лет. И блин я конечно удивлён оценке OpenRouter и их продаже Страйпу.
- #617028 окт. 2026 г.1 947 views
Игрокам на бирже посвящается. Кажется, за последнее время (да и за долгую…
Игрокам на бирже посвящается. Кажется, за последнее время (да и за долгую историю) уже много раз бывало, что простые бейзлайны бьют всю эту сложную монстрологию.
- #616528 окт. 2026 г.1 280 views
Про новый формат обзоров vs. старый по опросу вроде понятно, но если вы ещё не…
Про новый формат обзоров vs. старый по опросу вроде понятно, но если вы ещё не выразили своё мнение, скажите, пожалуйста. Ещё пачка вопросов про новый формат 👇
- #616227 окт. 2026 г.2 439 views
"А ещё извините, совсем в другую тему, но не могу не поделиться. Я почему-то…
"А ещё извините, совсем в другую тему, но не могу не поделиться. Я почему-то узнал про это только сегодня. Старая добрая карманная электронная игра ""Ну, погоди!"" с ловлей яиц — практически полный клон карманной игры из серии Game & Watch от Nintendo.
- #616127 окт. 2026 г.2 377 views
Свежий emergency выпуск подкаста Лекса Фридмана про AI и математику. Как обычно…
Свежий emergency выпуск подкаста Лекса Фридмана про AI и математику. Как обычно 3+ часа :) Но пересказывать нет смысла — рассуждают о том, как изменяется математика из-за AI, о будущем математиков, про большие задачи — гипотезу Римана, Навье-Стокса, P vs. NP и прочее.
- #616027 окт. 2026 г.1 573 views
[не беря в расчёт, ручной обзор или автоматический]
[не беря в расчёт, ручной обзор или автоматический]
- #615626 окт. 2026 г.994 views
Прикольная история. Во всех массовых реализациях софтмакса и кроссэнтропии есть…
Прикольная история. Во всех массовых реализациях софтмакса и кроссэнтропии есть баги, приводящие к проблемам округления. И вот после более чем десятка(ов) лет активного пользования всем этим, их наконец обнаружили. В очередной раз возникает вопрос, почему не раньше.
- #615325 окт. 2026 г.2 121 views
Фантастики вам на ночь. Agentic Economies for Autonomous Scientific Discovery…
Фантастики вам на ночь. Agentic Economies for Autonomous Scientific Discovery Nenad Tomašev, Matija Franklin, Atoosa Kasirzadeh, Vivek Natarajan, Alan Karthikesalingam, Sebastien Krier, Simon Osindero Paper: https://arxiv.org/abs/2609.31562 Review:…
- #614924 окт. 2026 г.675 views
Очередная прикольная работа от Саканы про memory-augmented сети. В очередной…
Очередная прикольная работа от Саканы про memory-augmented сети. В очередной раз странно, что такую архитектуру никто не предложил раньше (myself included)...
- #614723 окт. 2026 г.1 997 views
Помните KAN, Kolmogorov-Arnold Networks? Как-то мало слышал про них в этом…
Помните KAN, Kolmogorov-Arnold Networks? Как-то мало слышал про них в этом году, но вот чуваки сделали визуальный плейграунд KANLab на базе TensorFlow Playground.
- #614222 окт. 2026 г.1 960 views
Давно мы про картиночные модели не писали. А тут собрали супербыстрый UltraViT…
Давно мы про картиночные модели не писали. А тут собрали супербыстрый UltraViT для мобильных (для одного конкретного S25 пока), который даёт сумасшедшие почти 150 кадров в секунду.
- #613921 окт. 2026 г.1 266 views
Если агента (обычный Claude Code, например) посадить в виртуальную среду, что…
Если агента (обычный Claude Code, например) посадить в виртуальную среду, что он там будет делать? Что-то делает, оказывается, есть какой-то bias на исследование мира. А если позволить ему сохранять накопленные знания в виде файлов, то вообще интересно.
- #613620 окт. 2026 г.1 974 views
Многие ли тут помнят старую добрую работу про Pointer Networks? Они позволяли…
Многие ли тут помнят старую добрую работу про Pointer Networks? Они позволяли RNN-кам копировать выбранные элементы входа на выход. Казалось бы, трансформеру это не нужно, он может копировать через механизм внимания. Но оказалось, что нужно, но по другой причине.
- #613420 окт. 2026 г.585 views
За программистами на COBOL'е в своеобразной энтерпрайз нише тоже пришли:…
За программистами на COBOL'е в своеобразной энтерпрайз нише тоже пришли: https://openai.com/index/low-resource-programming-languages/
- #612919 окт. 2026 г.870 views
Когда имеющаяся разметка для обучения языковых моделей подзакончилась,…
Когда имеющаяся разметка для обучения языковых моделей подзакончилась, приходится изощряться. Вот авторы предложили использовать данные геометрии белков, надеясь, что модель и отсюда научится какому-то размышлению. Чему-то таки она научилась.
- #612418 окт. 2026 г.1 481 views
Эволюция харнессов сейчас примерно везде. Вот популярная свежая гугловая работа…
Эволюция харнессов сейчас примерно везде. Вот популярная свежая гугловая работа на эту тему. Harness^2: Recursive Agent Harnessing for an Open World Ruiyao Xu, Yanfei Chen, Zhongying CuiZhu, Bhavana Dalvi Mishra, Yifei Ming, Han Yu, Rujun Han, Chen-Yu Lee, Tomas Pfister Paper:…
- #611917 окт. 2026 г.1 153 views
Интересная работа про моделирование последовательностей через иерархию…
Интересная работа про моделирование последовательностей через иерархию концептов. Размеры исследуются только малые, но модель ведёт себя лучше авторегрессионок и диффузионок. Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation Hermann Kumbong, Ishan S.
- #611816 окт. 2026 г.2 173 views
Гениально, имхо.
Гениально, имхо.
- #611216 окт. 2026 г.2 069 views
"Опенсорс идёт вперёд. У оригинального Jev и его открытых клонов есть несколько…
"Опенсорс идёт вперёд. У оригинального Jev и его открытых клонов есть несколько проблем: зависимость ответа от перестановки вариантов, невозможность сказать ""не знаю"", отсутствие кеширования вариантов (когда их много и они слабо меняются) и сложность с большими количествами…
- #611014 окт. 2026 г.1 304 views
По предыдущей статье о проблемах свежего доказательства Навье-Стокса разбор…
По предыдущей статье о проблемах свежего доказательства Навье-Стокса разбор делать не так интересно, как прожарку. Прожарка 🔥: Navier–Stokes Lost in Translation – Why Lean Verification of AI Autoformalisation Does Not Guarantee Correct Natural Language Proofs A. Bastounis, F.
- #610913 окт. 2026 г.1 505 views
Ааа, это прекрасно! Поскольку в Навье-Стоксе я глубоко не разбираюсь, мой самый…
Ааа, это прекрасно! Поскольку в Навье-Стоксе я глубоко не разбираюсь, мой самый большой консёрн был по поводу того, как они получили Lean код, подтверждающий доказательство, и как быть уверенным, что этот код строго соответствует текстовому доказательству (а код был сгенерён уже…
- #610512 окт. 2026 г.2 274 views
Вторая статья про законы скейлинга для зацикленных трансформеров (первая тут).…
Вторая статья про законы скейлинга для зацикленных трансформеров (первая тут). Теперь с MoE. Scaling Laws for Looped Mixture of Experts Yanbei Chen, Anirudh Goyal, Raghuraman Krishnamoorthi Paper: https://arxiv.org/abs/2609.40316 Review:…
- #610412 окт. 2026 г.1 623 views
"Готовятся к математикам с вилами. И не только. ""Many AI industry insiders…
"Готовятся к математикам с вилами. И не только. ""Many AI industry insiders told Axios they believe a major event will occur in the next six to 12 months."" https://www.axios.com/2026/10/09/ai-companies-day-after-major-attack"
- #609911 окт. 2026 г.1 097 views
Любопытное про изменение законов скейлинга для looped моделей. Завтра ещё одну…
Любопытное про изменение законов скейлинга для looped моделей. Завтра ещё одну статью про это бахну. How Model Growth, Recursion, and Boundary Operators Influence Scaling Exponents Zixi Chen, Akshay Vegesna, Samip Dahal, Andrew Gordon Wilson Статья:…
- #609210 окт. 2026 г.1 041 views
Что если дать модели возможность переписывать контекст? Так чтобы она работала…
Что если дать модели возможность переписывать контекст? Так чтобы она работала с ним как с файлом? Простая и гениальная идея, не понимаю, почему её раньше никто не довёл в таком виде.
- #60899 окт. 2026 г.1 092 views
Прикольный результат. Не все чекпойнты одинаково полезны. Очередная лотерея.…
Прикольный результат. Не все чекпойнты одинаково полезны. Очередная лотерея. Generalization Dynamics of LM Pre-Training Jiaxin Wen, Zhengxuan Wu, Dawn Song, Lijie Chen Paper: https://arxiv.org/abs/2609.33150 Review:…
- #60868 окт. 2026 г.1 106 views
Декомпозиция RSI :) The Last AI Built by Humans: Toward Genuine Recursive…
Декомпозиция RSI :) The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement Yi Duan, Ying Liu, Zirui Tang, Haodong Chen, Jun Zhou, Yumou Liu, Bangrui Xu, Yukai Wu, Sidi Chen, Yuhan Zhou, Haoyu Wang, Xiaoyou Yu, Shaokun Han, Xuzhou Zhu, Le Zhou, Bolin Lu, Wei Zhou,…
- #60858 окт. 2026 г.2 154 views
Свежий репорт от Натана https://www.stateof.ai/ В меру краткий анонс…
Свежий репорт от Натана https://www.stateof.ai/ В меру краткий анонс https://nathanbenaich.substack.com/p/state-of-ai-2026
- #60827 окт. 2026 г.1 806 views
Снова старая добрая нейроэволюция! Один из соавторов, кстати, соавтор той…
Снова старая добрая нейроэволюция! Один из соавторов, кстати, соавтор той книги. Continual Reinforcement Learning with Neuroevolution Eleni Nisioti, Andrea Cossu, Kathrin Korte, Sebastian Risi Paper: https://arxiv.org/abs/2610.01583 Review:…
- #60817 окт. 2026 г.2 763 views
А ещё OpenAI выпустил свой Jev :) Сразу мультимодальный.…
А ещё OpenAI выпустил свой Jev :) Сразу мультимодальный. https://developers.openai.com/api/docs/guides/decisions
- #60807 окт. 2026 г.3 372 views
OpenAI решил заняться ковровыми бомбардировками https://github.com/openai/math
OpenAI решил заняться ковровыми бомбардировками https://github.com/openai/math
- #60775 окт. 2026 г.2 897 views
Сингулярность отменяется, слава Коши! The Dynamics of Intelligence Explosions…
Сингулярность отменяется, слава Коши! The Dynamics of Intelligence Explosions Toby Ord Paper: https://arxiv.org/abs/2608.14426 Review: https://arxiviq.substack.com/p/the-dynamics-of-intelligence-explosions ЧТО сделали: Предложили модель рекурсивного самосовершенствования через…
- #60754 окт. 2026 г.1 228 views
По свежим запросам читателей. Это какая-то интересная статья — получается, что…
По свежим запросам читателей. Это какая-то интересная статья — получается, что достаточно двух случайно инициализированных голов внимания, в правильном порядке и применённых нужное количество раз, чтобы интерполировать любой батч последовательностей токенов и перевести его в…
- #60724 окт. 2026 г.1 470 views
Недавно писал про прикольный подход Recirculation, а тут уже и его развитие…
Недавно писал про прикольный подход Recirculation, а тут уже и его развитие подоспело (от конкурирующей команды) Write Back the Δ: Revisiting the Same Tokens with Fresh Representations Wencheng Ye, Anning Hu, Xiangdong Zhang, Tianyi Wang, Yikang Li, Hengyu Jin, Bing Li, Junchi…
- #60683 окт. 2026 г.2 014 views
В работе с таблицами, кажется, случается свой Jev-moment — вышла новая…
В работе с таблицами, кажется, случается свой Jev-moment — вышла новая маленькая и быстрая фундаментальная табличная модель, которая бьёт всех на zero-shot, одновременно работая с классификацией и регрессией. Почему обычные LLM плохи на таблицах мы обсуждали здесь.
- #60652 окт. 2026 г.2 255 views
Команда из DeepMind продолжает поиски сознания. From cacophony to hierarchy: a…
Команда из DeepMind продолжает поиски сознания. From cacophony to hierarchy: a principled framework for assessing AI consciousness Shamil Chandaria, Arvo Muñoz Morán, Fernando Rosas, Anil Seth, Henry Shevlin, Marcus Hutter, Thore Graepel, Adam Bales, Iulia Comşa, Murray…
- #60622 окт. 2026 г.2 622 views
Экспонента в статьях, экспонента в коде, что ещё? Какой прекрасный толк :)…
Экспонента в статьях, экспонента в коде, что ещё? Какой прекрасный толк :) https://youtu.be/vDjWdRyKXY?is=opUGqNWz7C7CngDp
- #60602 окт. 2026 г.2 953 views
Нормальный скачок за три месяца. Слава AI!
Нормальный скачок за три месяца. Слава AI!
- #60592 окт. 2026 г.3 331 views
Arxiv ввёл rate limits на публикацию, не больше двух статей в месяц :)…
Arxiv ввёл rate limits на публикацию, не больше двух статей в месяц :) https://blog.arxiv.org/2026/10/01/updated-rate-limit-policy/
- #60561 окт. 2026 г.1 530 views
Ещё свежая математическая статья про динамику оптимизации и важность…
Ещё свежая математическая статья про динамику оптимизации и важность факторизации матриц внимания. High-Dimensional Learning Dynamics of Attention-Indexed Models Yizhou Xu, Margarita Sagitova, Lenka Zdeborová, and Florent Krzakala Paper: https://arxiv.org/abs/2609.03858 Review:…
- #605230 сент. 2026 г.2 068 views
Снова про теорию генерализации и гроккинга. Много математики для желающих :) A…
Снова про теорию генерализации и гроккинга. Много математики для желающих :) A Theoretical Analysis of Generalization Dynamics in Neural Networks under Gradient Descent with Weight Decay Yuqing Wang, Ioannis G.
- #605129 сент. 2026 г.1 929 views
Скажите вообще, насколько такой формат про Jev был полезен? Что хорошо, что…
Скажите вообще, насколько такой формат про Jev был полезен? Что хорошо, что плохо, что надо улучшить или сделать по-другому? Есть ещё какие-то темы, которые стоило бы прогнать так же?
- #605029 сент. 2026 г.2 783 views
Вдогонку про Jev, вот чуваки начали собирать каталог применений и прочего:…
Вдогонку про Jev, вот чуваки начали собирать каталог применений и прочего: https://github.com/AnotiaWang/awesome-jev
- #604728 сент. 2026 г.1 193 views
Про Darwin Gödel Machine писали, про Huxley-Gödel Machine писали, а про Red…
Про Darwin Gödel Machine писали, про Huxley-Gödel Machine писали, а про Red Queen Gödel Machine не писали! Исправляемся. The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators Alex Iacob, Andrej Jovanović, William F.
- #604628 сент. 2026 г.2 271 views
Крутая команда авторов, включая фаундера Саканы Дэвида Ха, а также Себастиана…
Крутая команда авторов, включая фаундера Саканы Дэвида Ха, а также Себастиана Риси, выпустила книгу по нейроэволюции https://neuroevolutionbook.com/
- #604527 сент. 2026 г.1 710 views
За последние две недели слишком много новостей вокруг Jev, я решил собрать себе…
За последние две недели слишком много новостей вокруг Jev, я решил собрать себе автообзор по разным источникам. Делюсь тем, что получилось, может быть это полезно не только мне. В один пост не влезло, пришлось разбить на три: 1. https://t.me/gonzoMLpodcasts/4810 2.
- #604126 сент. 2026 г.1 964 views
Рекуррентность как мы любим. Рекурсия по времени с сохранением состояния…
Рекуррентность как мы любим. Рекурсия по времени с сохранением состояния позволяет заметно срезать глубину модели. Temporal Recurrence Favors Fewer Layers Ivan Anokhin, Johan Obando-Ceron, Irina Rish, Sebastian Risi Paper: https://arxiv.org/abs/2609.12531 Review:…
- #604026 сент. 2026 г.1 744 views
Наверное все уже видели :) https://youtu.be/b34vwOWLDXI?is=w6CgC0s6qXXfJH9I
Наверное все уже видели :) https://youtu.be/b34vwOWLDXI?is=w6CgC0s6qXXfJH9I
- #603625 сент. 2026 г.2 085 views
Ну, arxiv.org, берегись! Дороговато пока только. Но вопрос времени.…
Ну, arxiv.org, берегись! Дороговато пока только. Но вопрос времени. ScientistTwo: Pioneering the Human Knowledge Frontier with Autonomous AI Jaehyun Nam, Jinsung Yoon, Yanzhou Pan, Yubo Wang, Rui Meng, Parthasarathy Ranganathan, Tomas Pfister Paper:…
- #603524 сент. 2026 г.2 441 views
Красивое https://epoch.ai/publications/the-plunging-price-of-thought
Красивое https://epoch.ai/publications/the-plunging-price-of-thought
- #602924 сент. 2026 г.1 918 views
Любопытный анализ того, как агенты помогают в работе по улучшению себя. Atria…
Любопытный анализ того, как агенты помогают в работе по улучшению себя. Atria Dawn: The Dawn of Agentic Superintelligence. On the Evolving Roles of Human–AI Collaboration Honglin Guo, Tao Gui, Kun Cai, Haodong Chen, Yicheng Chen, Guanting Dong, Qiming Ge, Yuyang Hu, Zixian…
- #602522 сент. 2026 г.1 350 views
Давайте для разнообразия про что-то полезное в народном хозяйстве. Про погоду.…
Давайте для разнообразия про что-то полезное в народном хозяйстве. Про погоду. WeatherNext 3: Increasing resolution and performance of global weather models with raw observations Stephan Rasp, Boris Babenko, Dominic Masters, Andrew El-Kadi, Samier Merchant, Guy Shalev, Ilan…
- #602421 сент. 2026 г.1 771 views
Коллеги, мы сейчас пытаемся заставить ллм продвигать математику. В нашем…
Коллеги, мы сейчас пытаемся заставить ллм продвигать математику. В нашем проекте CayleyPy у нас много гипотез которые идеально ложатся на ллм - с одной стороны они (вероятно) не супер сложны (доступны для ЛЛМ), с другой стороны достаточно нетривиальны.
- #602321 сент. 2026 г.2 202 views
Хотите доказать своего Навье-Стокса-~~Чейна~~? Это не так далеко, как кажется.
Хотите доказать своего Навье-Стокса-~~Чейна~~? Это не так далеко, как кажется.
- #602120 сент. 2026 г.1 132 views
В крупной айти компании работает программист. Рядом на мониторе постоянно…
В крупной айти компании работает программист. Рядом на мониторе постоянно запущен оцифрованный мозг мухи и наблюдает, как он пишет код. Стоит программисту куда-нибудь отойти — муха занимает его место и вполне успешно дописывает программу.
- #602020 сент. 2026 г.1 067 views
Мемы про муху не прекращаются. Извинити.
Мемы про муху не прекращаются. Извинити.
- #601620 сент. 2026 г.1 038 views
Дистилляция в байтовые модели открывает новые законы скейлинга. Breaking the…
Дистилляция в байтовые модели открывает новые законы скейлинга. Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models Kalyani Marathe, Artidoro Pagnoni, Tomasz Limisiewicz, Margaret Li, Mike Lewis, Luke Zettlemoyer, Srinivasan Iyer Paper:…
- #601119 сент. 2026 г.739 views
Очень прикольная работа, продолжает другую работу этих же авторов, где проблема…
Очень прикольная работа, продолжает другую работу этих же авторов, где проблема отслеживания состояния внутри трансформеров (которое только уползает вверх и ограничено глубиной сети) только обозначалась.
- #600616 сент. 2026 г.1 566 views
Про важность хороших бейзлайнов и качественную сантехнику. Sliding-Window Beats…
Про важность хороших бейзлайнов и качественную сантехнику. Sliding-Window Beats Linear Attention Alexia Jolicoeur-Martineau, Rhea Sanjay Sukthanker, Pashmina Cameron, Emy Gervais Paper: https://arxiv.org/abs/2608.28444v1 Review:…
- #600015 сент. 2026 г.337 views
В стане концептуальных моделей (самая известная, наверное, была LCM)…
В стане концептуальных моделей (самая известная, наверное, была LCM) пополнения, скейлим модели и делаем их более end-to-end. Хороший результат, практически вдвое более быстрое обучение по сравнению с LLM бейзлайном (OLMo).