Из поста SemiAnalysis про AWS (облачные вычисления и датацентры Amazon, крупнейшее в мире) x Anthropic: — Amazon уже давно разрабатывают свои чипы для AI, Trainium. Свежая версия Trainium 2 во многих отношениях отстаёт от систем Nvidia. Единица вычислений на них дороже, но зато памяти в пропорции больше — а именно в память упирается обучение и запуск моделей текущего поколения. И преимущество этого чипа в пропускной способности памяти на доллар идеально вписывается в амбициозную дорожную карту Anthropic в области обучения моделей и агентов рассуждениям. — Anthropic принимали активное участие в процессе разработки чипа, и их влияние на дорожную карту Trainium только растёт. У Amazon есть свои LLM / GenAI модели, но они а) отстают от рынка б) не обновлялись с прошлого декабря, и у компании нет прям больших планов на свои разработки. Поэтому Anthropic, по сути, ключевой потребитель мощностей новых чипов на AWS. — Anthropic делает ставку на эти чипы, и готовится потратить на них десятки миллиардов долларов. Это смелая ставка на, по сути, не протестированный и не самый надёжный чип. — Amazon делает эти чипы в партнёрстве не с крупным игроком Broadcom, через которых, например, идут OpenAI и Google, а с игроками поменьше и менее опытными: Marvell и Alchip. Их технологии послабее, но зато маржа очень низкая, что, вкупе с фактом самостоятельного производства чипов памяти, приводит к лучшему балансу затрат и мощностей. — Наконец, самое главное: в сентябре и декабре этого года будут запущены крупные кластеры на 1.3 Гигаватта на основе Trainium 2. Это самые крупные кластеры на GPU/XPU не от Nvidia. Anthropic получит мощности в своё распоряжение. В крупнейшем кампусе будет немногим меньше миллиона чипов (но каждый слабее отдельной H100/B100). — AWS строит центры обработки данных быстрее, чем когда-либо. Неужели на Claude 5 Opus будут нормальные лимиты и скорость ответов...
Из поста SemiAnalysis про AWS (облачные вычисления и датацентры Amazon,…
Из этого канала
- #2850Две новости: — Microsoft заключили партнёрство с Nebius (заморская часть…
Две новости: — Microsoft заключили партнёрство с Nebius (заморская часть Yandex под контролем родившегося в Казахстане израильского предпринимателя Аркадия…
- #2851Я подумал, что для обывателя эта сумма может быть непонятна. 300 миллиардов…
Я подумал, что для обывателя эта сумма может быть непонятна. 300 миллиардов долларов — это огромные деньги.
- #2852Сегодня ровно год с момента анонса первой рассуждающей модели компанией OpenAI.…
Сегодня ровно год с момента анонса первой рассуждающей модели компанией OpenAI. Тогда нам показали, что модель, обученная подумать перед ответом, достигает…
- #2847Я просил GPT-5 Pro нарисовать Manim-визуализацию для «прохождения» вектора…
Я просил GPT-5 Pro нарисовать Manim-визуализацию для «прохождения» вектора через слои и изменение смысла, но видео получаются нагромождёнными и непонятными( за…
- #2846Визуализация самых вероятных предсказаний модели на месте эмодзи рыбки. Выделил…
Визуализация самых вероятных предсказаний модели на месте эмодзи рыбки. Выделил 52й слой, описаный в посте выше, и 86й, последний в модели — именно токен…