谷歌TPU的前世今生，目前到了第七代

sec2100

https://news.futunn.com/post/654 ... et=1757243441773274

sec2100

英偉達的GPU成本大約僅幾千美元，但賣給雲廠商時價格往往動輒數萬美元不等，毛利率高達八成以上。全球所有訓練大模型的科技公司幾乎都要支付這項成本，並且無法擺脫。

OpenAI依賴英偉達GPU進行訓練和推理，且由於GPT系列模型參數規模巨大、推理量龐大，其總體算力開支遠超大多數企業的總營收。

英偉達的定價模式使這些公司無論怎麼優化模型，都難以實現規模化商業利潤。

谷歌的策略完全不同。谷歌採用自研TPU進行訓練和推理，整個供應鏈由谷歌控制，從芯片設計到製造、從網絡方案到軟件棧再到數據中心佈局，全部由谷歌內部優化。

由於不需要支付英偉達稅，谷歌的算力成本結構天生比OpenAI更具優勢。

谷歌不僅在內部獲得低成本，還將這種成本優勢傳遞給谷歌雲的客戶。通過TPU服務，谷歌可以爲客戶提供更低價格的推理能力，從而吸引大量模型公司和企業遷移到谷歌平台。

根據科技網站venturebeat.com的報道，谷歌在算力成本上的結構性優勢遠遠優於OpenAI。這意味着，谷歌提供同等推理服務時，其底層成本可能僅爲對手的兩成。如此大的成本差異在推理時代具有決定性意義。

sec2100

谷歌的路線與英偉達不同。谷歌並不追求硬件通用性，而是追求深度學習特別是Transformer負載的極致效率。TPU的核心是脈動陣列，這是一種專門爲矩陣乘法設計的架構，使其在深度學習計算中特別高效。

谷歌不是希望TPU成爲行業通用芯片，而是成爲全球AI推理和訓練最具效能的專用芯片，進而讓谷歌整個AI系統做到性能領先、成本最低、部署最廣。

谷歌的核心優勢在於全棧整合能力。他們不僅控制芯片，還控制模型、框架、編譯器、分佈式訓練系統與數據中心基礎設施。這讓谷歌可以做出許多GPU無法實現的系統級優化。

sec2100

首先，GPU並非爲推理優化，它的設計初衷是高速並行計算，而不是以最低成本執行重複推理指令。其次，GPU的靈活性意味着其硬件資源在實際推理場景中可能並非最優配置，導致單位能耗的效率不如ASIC。最後，英偉達的定價權極高，雲廠商往往需要以遠高於製造成本的價格購入GPU，形成今天廣爲人知的「英偉達稅」。

sec2100

支撐這一規模的核心，是谷歌十年磨一劍的2D/3D環面拓撲結合光路交換（OCS）網絡。

與英偉達依賴NVLink+高階交換機構建的NVL72（僅72顆GPU）不同，谷歌從根本上放棄了傳統交換機爲中心的設計，轉而用三維環面拓撲結構直接連接所有芯片，並通過OCS實現動態光路重構。

sec2100

Ironwood之所以特殊，首先在于它是TPU历史上第一款专用推理芯片。与此前以训练为主的v5p和以能效为主的v6e不同，Ironwood从第一天起就锁定超大规模在线推理这一终极场景，并在多项关键指标上首次与英伟达Blackwell系列实现正面交锋。