⚡️ Интересное железо Будут интересные применения non-conventional hardware типа термодинамических компьютеров. Будет любопытная и разнообразная жизнь за пределами экосистемы NVIDIA. Может даже AMD наконец уже станет реальной альтернативой, хотя это уже совсем wishful thinking. За десяток лет так и не шмогли. ⚛️ Квантовые компьютеры Продолжат активно развиваться. Для нейросетей пока не помогут, но помогут в отдельных специфических задачах. Вовсю пора изучать. Я уже начал/продолжил. В сочетании с тем, что по прошествии ста лет с момента возникновения квантовой механики мы знаем как оно работает на уровне математики, но до сих пор не знаем, почему именно оно всё работает именно так (по крайней мере пользуясь Копенгагенской интерпретацией), это особенно интересно. 🔮 Кишки и латентный мир В архитектуре будет большой движ по части латентных рассуждений (в широком смысле). Будет больше моделей, явным образом работающих с латентным пространством, что выльется в улучшенную токенизацию или вообще уход от неё, более вычислительно эффективные решения и интересные мультимодальные решения. Возможно появятся какие-то новые забористые типы слоёв, не удивлюсь если многоуровневые и иерархические, и в сочетании с рекуррентностью. 📈 Оптимизация Не удивлюсь, если появится новый хороший градиентный алгоритм оптимизации. Мне кажется, там назревает прорыв в понимании. За пределами чисто градиентных методов ожидаю большего зоопарка и скрещивания с эволюцией. Также ожидаю развития темы про Titans/Nested Learning. 👽 Aliens Инопланетяне посмотрят на всю происходящую на Земле хероту и контактировать не станут. Ну нах. ——— Вот такой мой список. Через год посмотрим, что сбылось, а что осталось wishful thinking. Если у вас есть свои ставки на 2026 — делитесь, интересно сравнить прогнозы.
⚡️ Интересное железо Будут интересные применения non-conventional hardware типа…
Из этого канала
- #4514Адаптировали локальный алгоритм обучения Forward-Forward от Хинтона к…
Адаптировали локальный алгоритм обучения Forward-Forward от Хинтона к свёрточным сетям.
- #4518"Ай молодец, хорошо нагаллюцинировал! ""Работа даёт теоретический пинок…
"Ай молодец, хорошо нагаллюцинировал! ""Работа даёт теоретический пинок любителям «инженерного шаманизма».
- #4522Заменяем тензорный лифтинг на геометрические методы. Очередной заход на замену…
Заменяем тензорный лифтинг на геометрические методы. Очередной заход на замену квадратичного внимания на линейное не-внимание.
- #4511#2026+ Про прошедший год написал, дайте теперь помечтаю про будущее.…
#2026+ Про прошедший год написал, дайте теперь помечтаю про будущее. Краткосрочное, на ближайший год или чуть дальше.
- #4508"Развитие темы про Large Concept Model (LCM) и Byte Latent Transformer (BLT), в…
"Развитие темы про Large Concept Model (LCM) и Byte Latent Transformer (BLT), в каком-то смысле микс обеих.