是為深度學習神經網路定製的高性能AI計算架構。是通過數據流流動次序來控制計算順序，消除指令操作導致的額外時間開銷，讓CNN網路、transformer類CV網路和GPT等大語言模型的運算元級數據流圖可以實現高效流水線運算。同時數據流架構可並行執行數據訪問和數據計算，進一步減少計算單元的空閒時間，充分利用晶片的計算資源，從而提供更高的實測算力和算力性價比。
基本介紹
- 中文名：數據流架構
- 所屬學科：晶片架構
- 適用領域：計算機
研發背景,區別,優勢,
研發背景
隨著摩爾定律的放緩，傳統的指令集架構面臨著記憶體牆問題，晶片有效算力的發揮受到制衡，人工智慧算法的快速發展又對算力支撐提出了更高的需求，市場亟需高性能、低延時、高算力性價比的商用AI晶片。
區別
現在大部分的 GPU、CPU 都是基於指令集的架構，套用層可以通過軟體和編譯器去將語言最終轉化為機器的語言，即二進制的碼，從而執行指令和操作，並保證對不同套用的兼容性。
相較於指令集，數據流的核心就是使每個時鐘周期都能進行有效計算。數據不停流入計算單元並完成計算，得到輸出後，最終數據將會被存儲到記憶體中或流入下一個流水線操作。
數據流架構可以為特定套用場景提供更高的晶片利用率；而指令集架構雖然能提供更高的通用性，但其晶片利用率相對較低。兩種架構產生差異的原因在於：
數據流架構完全依靠數據流轉的方式來控制計算，從而消除了由於指令控制和數據搬運而產生的數據開銷；
指令集架構通過指令控制來處理不同場景下的運算，提高了對不同計算需求的通用性支持。
優勢
提升算力利用率
在保持計算正確前提下,通過不斷壓縮每個空閒時鐘推高晶片實測性能以接近晶片物理極限,讓晶片內的每個時鐘、每個計算單元都在執行有效計算。
高架構通用性
在保證每個算法在數據流架構上運行能夠實現高晶片利用率的同時,數據流架構通用支持所有主流CNN算法、transformer類CV網路和GPT等大語言模型。
高軟體易用性
通過專為數據流架構定製的編譯工具鏈實現算法端到端自動部署,用戶無需底層數據流架構背景知識,簡單兩步即可實現算法遷移和部署,降低使用門檻。
