100 триллионов токенов не врут: вся правда о состоянии AI Вышло фундаментальное исследование того, что люди пишут в нейросети. Ребята из OpenRouter (главный мировой хаб интеграций с нейросетями) и a16z (главный инвест-фонд в ИИ-стартапы) проанализировали 100 триллионов токенов реальных запросов к моделям. Для понимания объема: весь API OpenAI за октябрь обработал 8,6 трлн токенов. То есть выборка более чем здоровая. Главное из исследования: – Эра «думающих» моделей: после выхода OpenAI o1 в декабре 2024 рынок прошел точку невозврата. Индустрия мигрировала от простой генерации текста к моделям, способным рассуждать. На такие модели сейчас приходится более 50% всего мирового трафика. – Кризис маленьких моделей: сегмент компактных моделей (<15B параметров) умирает. Рынок консолидировался вокруг «среднего класса» (15-70B), где лидируют решения вроде Qwen2.5 Coder 32B. Именно они обеспечивают оптимальный продукт маркет фит. – Взрывной рост памяти и контекста: в задачах разработки средний размер промпта превысил 20 000 токенов (это примерно 30–40 страниц печатного текста А4). Разработчики больше не отправляют фрагменты кода — в контекст загружаются целиком репозитории и техническая документация. – Нишевое доминирование Open Source: открытые модели уверенно держат первенство благодаря эффективности. a16z особенно выделяют DeepSeek R1 и Kimi K2 - эти модели становятся главными альтернативами проприетарным гигантам в задачах кодинга и аналитики. – Агенты вместо чат-ботов: «Агентский инференс» - самый быстрорастущий сценарий использования. Модели перестают быть собеседниками и становятся функциональными узлами, которые сами планируют шаги и используют внешние инструменты (tool use). – Китай наступает: более 50% трафика генерируется за пределами США. Китайские модели демонстрируют агрессивный рост, зачастую превосходя западные аналоги в задачах перевода и кодинга. – Эффект «Хрустальной туфельки»: выявлен устойчивый поведенческий паттерн. Если пользователь находит модель, идеально решающую его специфическую задачу, он показывает высокий retention и игнорирует выход новых, более распиаренных моделей. Итого: рынок повзрослел. Период экспериментов закончился. Наступила эра глубокой интеграции: сейчас востребованы надежность, способность переваривать огромные объемы данных и сложное многоступенчатое планирование. Источники: тут и тут. Егошин | Кеды профессора