Чип от OpenAI обохдит Nvidia в инференсе — больше деталей о Jalapeño OpenAI опубликовали блогпост, протестировали чип на InferenceX от SemiAnalysis и дали лекцию на Hot Chips с деталями. На каждом таком чипе 216 гигабайт HBM4, они могут выдавать вплоть до 13,4 PFLOP/s в mxfp4. По сравнению с GB200/GB300 он выдаёт в разы больше токенов в секунду на пике и вплоть до 2x токенов на ватт при максимальной пропускной способности, причём разрыв только растёт с увеличением токенов в секунду на юзера. Но реальный конкурент Jalapeño это конечно же Rubin, новое поколение Nvidia. Бенчмарки Rubin пока что ограничены, но судя по опубликованным, Jalapeño обгоняет и их. Причём Rubin в бенчмарках использует спекулятивный декодинг, в отличие от Jalapeño, где есть ещё много что оптимизировать. Короче говоря, у OpenAI теперь есть очень хороший чип, сравнимый с лучшими чипами Nvidia в инференсе. Но самое поразительное тут это скорость разработки — начали разрабатывать чип в октябре 2024, первая версия чипа ушла в производство в ноябре 2025, с первыми чипами готовыми в мае 2026. И менее чем за три месяца софт чипа уже на уровне позволяющем конкурировать с лучшими в индустрии. Кстати делала Jalapeño крохотная команда всего в ~30 человек. Массовое развёртывание Jalapeño будет уже в следующем году. @ai_newz
Чип от OpenAI обохдит Nvidia в инференсе — больше деталей о Jalapeño OpenAI…
Из этого канала
- #4724Расчехляйте свои DGX Spark и макстудии — вышла Qwen 3.8 Flash Next Это 125B-A6B…
Расчехляйте свои DGX Spark и макстудии — вышла Qwen 3.8 Flash Next Это 125B-A6B модель с 51B Engram параметров на архитектуре Qwen 4.
- #4726Ox Alpha вышла из стелса — это GLM 5.3 Flash 320B-A18B мультимодальная модель,…
Ox Alpha вышла из стелса — это GLM 5.3 Flash 320B-A18B мультимодальная модель, веса которой уже доступны.
- #4718Keenable вышли из стелса и зарелезили свой агентский поиск. Бьют exa по…
Keenable вышли из стелса и зарелезили свой агентский поиск. Бьют exa по соотношению цена/качество! @ainewz
- #4717Apple показали новую Mac Studio с M5 Ultra Увеличили пропускную способность по…
Apple показали новую Mac Studio с M5 Ultra Увеличили пропускную способность по сравнению с M3 Ultra на 50%, до 1,2TB/s.
- #4716Новая линейка моделей GigaEmbeddings в открытом доступе Бесплатные модели под…
Новая линейка моделей GigaEmbeddings в открытом доступе Бесплатные модели под лицензией MIT, переводят текст в векторы для RAG-системы и поиска по смыслу.