Pathways是Jeff Dean與2021年提出的一種穀歌通用AI架構。
基本介紹
- 外文名：Pathways
- 發布時間：2021年
簡介,
簡介
Pathways 旨在用一個架構同時處理多項任務，並且擁有快速學習新任務、更好地理解世界的能力。
PATHWAYS 使用了異步運算元的一個分片數據流圖（sharded dataflow graph），這些運算元消耗並產生 futures，並在數千個加速器上高效地對異構並行計算進行 gang-schedule，同時在它們專用的 interconnect 上協調數據傳輸。PATHWAYS 使用了一種新的異步分散式數據流設計，它允許控制平面並行執行，儘管數據平面中存在依賴關係。這種設計允許 PATHWAYS 採用單控制器模型，從而更容易表達複雜的新並行模式。
實驗結果表明，當在 2048 個 TPU 上運行 SPMD（single program multiple data）計算時，PATHWAYS 的性能（加速器利用率接近 100%）可以媲美 SOTA 系統，同時吞吐量可媲美跨越 16 個 stage 或者被分割成兩個通過數據中心網路連線的加速器島的 Transformer 模型的 SPMD 案例。
