구글 TPU 8세대, 학습용 8t와 추론용 8i로 나눈 이유



Google Cloud가 8세대 TPU를 학습용 8t와 추론·강화학습용 8i로 나눈 핵심은 AI 작업 단계마다 필요한 하드웨어 구성이 다르기 때문입니다.
모델을 처음 크게 학습시키는 일과, 완성된 모델이 이용자의 질문에 답하거나 반복적으로 행동을 학습하는 일은 연산과 메모리 사용 방식이 다릅니다.
그래서 이번 발표는 단일 칩의 성능 경쟁보다 클라우드 안에서 작업에 맞는 선택지를 마련한 점이 중요합니다.
학습 규모를 키우는 TPU 8t
Google Cloud는 2026년 4월 22일 Google Cloud Next 2026에서 TPU 8세대 확장을 발표했습니다.
대규모 모델 학습을 맡는 TPU 8t는 한 슈퍼팟에 칩 9,600개를 연결하고, 최대 121 엑사플롭스 연산 성능과 2페타바이트 공유 메모리 구성을 제시했습니다.
쉽게 말해 칩 여러 개를 묶어 거대한 학습 작업을 나눠 처리하고, 큰 모델에 필요한 데이터를 함께 다루도록 구성한 것입니다.
이 숫자는 Google Cloud가 발표한 슈퍼팟 구성과 성능 사양입니다.
특정 고객의 학습 시간이 얼마나 줄어드는지, 어떤 모델에서도 같은 결과가 나는지를 보장하는 독립 벤치마크로 읽으면 안 됩니다.
실제 효과는 모델 구조와 소프트웨어, 작업 규모에 따라 달라질 수 있습니다.
추론과 강화학습에 맞춘 TPU 8i
TPU 8i는 학습이 끝난 모델을 서비스에 투입해 응답을 생성하는 추론과, 보상에 따라 여러 행동을 시도하며 개선하는 강화학습을 겨냥합니다.
Google Cloud가 공개한 하드웨어 구성은 384MB 온칩 SRAM과 288GB HBM입니다.
온칩 SRAM은 칩 가까이에서 자주 쓰는 데이터를 빠르게 다루고, HBM은 큰 모델과 작업 데이터를 담는 고대역폭 메모리입니다.
이 역할과 연결해 Google Cloud는 8i의 추론 성능 대비 비용이 이전 세대보다 80% 향상된다고 밝혔습니다.
여기서 80%는 회사가 제시한 이전 세대 대비 성능/달러 주장이지, 모든 서비스의 비용이 일률적으로 80% 내려간다는 뜻은 아닙니다.
두 제품을 나란히 보면 8t는 큰 학습 작업을 모아 처리하는 쪽, 8i는 학습된 모델을 반복적으로 실행하는 쪽에 무게가 있습니다.
클라우드 고객은 자신의 주된 작업이 모델 학습인지 대규모 추론인지에 따라 인프라 구성을 비교할 수 있습니다.
TPU와 NVIDIA 인스턴스를 함께 제시
Google Cloud는 발표 당시 TPU 8t와 8i를 Cloud 고객에게 곧 제공할 예정이라고 안내했습니다.
같은 발표에서 NVIDIA Vera Rubin NVL72 기반 A5X 인스턴스 계획도 소개했습니다.
따라서 고객 선택지는 TPU로만 바뀌는 구도가 아니라, Google Cloud 안에서 자체 TPU와 NVIDIA 기반 인스턴스를 작업에 맞춰 검토하는 방향으로 넓어지는 셈입니다.
다만 당시의 ‘곧 제공’ 발표만으로 현재 일반 제공이 시작됐다고 볼 수는 없습니다.
제품 발표가 고객 확보 흐름과 만난 지점
이후 2026년 6월 19일 ZDNet Korea는 구글이 외부 TPU 고객을 확보하기 위해 데이터센터 사업 지원을 활용하는 전략을 보도했습니다.
보도에는 뉴욕주 서부 레이크 매리너 데이터센터 프로젝트에 대한 32억 달러 금융보증 사례가 소개됐고, 해당 시설의 컴퓨팅 자원은 앤트로픽에 임대될 예정이라고 전했습니다.
이는 TPU 8세대의 실제 도입 실적을 뜻하는 사례가 아니라, 구글이 클라우드 인프라 고객을 확보하려는 산업 맥락입니다.
결국 8t와 8i의 분화는 학습과 추론·강화학습이라는 서로 다른 작업을 클라우드에서 선택할 수 있게 하려는 제품 구성으로 이해하면 좋습니다.
Google Cloud가 공개한 사양과 성능 주장은 비교의 출발점이지만, 실제 선택에서는 이용 가능 지역, 가격, 사용하려는 소프트웨어와 워크로드별 성능을 확인해야 합니다.
발표만으로 경쟁의 승패나 특정 고객의 비용 절감 결과까지 단정할 수는 없습니다.
'AI 업계동향' 카테고리의 다른 글
| 엔비디아 Spectrum-X CPO 스위치 출하, AI 데이터센터 연결 방식은 어떻게 달라질까 (0) | 2026.10.03 |
|---|---|
| 구글 Gemini 3.5, 복잡한 작업을 ‘실행’하도록 설계한 새 모델의 변화 (0) | 2026.10.02 |
| 퀄컴, AI 데이터센터에 본격 진입…2028년 전용 CPU 계획이 엔비디아 경쟁에 던진 신호 (0) | 2026.09.28 |
| 오픈AI GPT-6 Astra, 왜 200달러 Pro 신규 가입까지 막았나…AI 시장의 병목이 바뀐 순간 (0) | 2026.09.27 |
| 앤트로픽 Fable 5.1·Mythos 5.1 공개, 코딩 AI가 과학 연구를 겨냥한 이유 (0) | 2026.09.18 |






























