Гугл представила новые системы TPU для безопасной обработки и вычислений с длинным контекстом

Компания Google объявила о расширении восьмого поколения систем тензорных процессоров, предназначенных для искусственного интеллекта. В семейство добавлены две новые конфигурации: TPU 8tx и TPU 8i Max. Эти системы не являются новыми чипами, а представляют собой новые сборки на основе существующих кристаллов восьмого поколения. Разработка включает методы интеграции вычислений, памяти, сетей, упаковки и технологий защиты. Система TPU 8tx предназначена для выполнения задач вывода в средах конфиденциальных вычислений. Она защищает конфиденциальные данные и веса моделей во время использования, хранения и передачи. Эта конфигурация ориентирована на государственные учреждения и компании из секторов со строгими регуляторными требованиями. TPU 8tx использует те же чипы, что и система TPU 8t.

Для координации задач, подготовки данных и управления связью с ускорителями применяются серверные процессоры AMD EPYC пятого поколения. Согласно информации от AMD, эта архитектура сочетает технологии безопасного шифрования виртуальных сред и механизмы проверки подлинности ускорителей. Сеть Boardfly с низким временем отклика снижает задержку вдвое по сравнению с TPU 8t при минимальном влиянии на производительность. Google утверждает, что система позволяет запускать и настраивать модели в единой архитектуре, включая тонкую настройку и обучение с подкреплением. Система TPU 8i Max нацелена на рабочие нагрузки, требующие длинного контекста и большого объема памяти. Сюда входят приложения автономных агентов, работающих с крупными репозиториями кода или длинным визуальным контентом.