Google выпустили новое поколение TPU Они анонсировали TPU 8t и TPU 8i. Один чип под обучение, другой – под инференс и ризонинг. Фактически, компания уходит от универсальных ускорителей и переходит к идее специфичного проектирования чипов под узкие места и задачи (это уже абсолютно другая стратегия в сравнении с Nvidia, которые берут как раз универсальностью). Это и есть ключевой момент релиза. Итак, TPU 8t – это для обучения. Их может быть до 9 600 в одном кластере, и упор сделан на скорость обучения и масштабирование. Интересно, что есть отдельные блоки, спроектированные под ускорение специфичных операций, например для рексис. TPU 8i – для работы моделей в проде. Тут у нас больше памяти, быстрее обмен данными между чипами и отдельные механизмы для синхронизации. Относительно прошлого поколения заявляется до 2,7 раза лучше соотношение цена/производительность при обучении и до 80% (!) прироста эффективности на инференсе. Оба чипа пока в статусе coming soon https://blog.google/innovation-and-ai/infrastructure-and-cloud/google-cloud/eighth-generation-tpu-agentic-era/