Google представила ИИ-системы TPU 8tx и TPU 8i Max

TPU 8i Max собрана из двух чипов TPU 8i в одном модуле. По данным Google, в сравнении с обычной TPU 8i у новинки вдвое больше вычислительной мощности и памяти SRAM, а пропускная способность HBM тоже выше в два раза. При прежних габаритах в ней вдвое больше кремния, что, по словам компании, повышает мощность дата-центра на единицу площади и на ватт.

TPU 8tx адресована госорганизациям и компаниям из строго регулируемых отраслей. В ней TPU 8t работает вместе с процессорами AMD EPYC пятого поколения, а данные и веса моделей защищены аппаратно и во время обработки. Google заявляет, что задержка у системы до двух раз ниже, чем у TPU 8t. На ней можно дообучать модели на закрытых данных, не перенося их между кластерами.

Компания также показала программные инструменты для ускорителей, в том числе Agent Compute Engine, TPU Sync и открытый движок XLA Serving Engine. По словам Google, при помощи Gemini схемы размещения компонентов чипов теперь создаются за часы, а не за недели.

TPU 8t и TPU 8i компания показала в апреле на конференции Google Cloud Next. Главный технолог Google по ИИ и инфраструктуре Амин Вадаат, как пишет iXBT, назвал число клиентов экосистемы TPU: их почти 100. Сроки поставок и цены новых систем не раскрываются.