所謂並行性(parallelism)是指在同一時刻或是同一時間間隔內完成兩種或兩種以上性質相同或不相同的工作。只要時間上互相重疊，就存在並行性。並行機器，也可以稱做並行計算機，是指機器在同一時間內能處理多個指令或多個數據項。並行機器廣泛用於大型科學、工程計算和大型事務處理。
基本介紹
- 中文名：並行機器
- 外文名：Parallel Machine
- 學科：計算機
- 定義：機器在同一時間內能處理多個指令
- 有關術語：並行性
- 領域：計算機
產品資料,套用範圍,產品技術,產品分類,
產品資料
並行機器，是指機器在同一時間內能處理多個指令，多個數據項或不同任務。多種級別的並行度現在已經成為並行計算機設計的推動力量，而能耗和成本則是主要約束條件。可以分為應用程式和計算機硬體。
套用範圍
應用程式
應用程式中主要有以下兩種並行。
(1) 數據級並行（DLP），它的出現是因為可以同時操作許多數據項。
(2) 任務級並行（TLP），它的出現是因為創建了一些能夠單獨處理但大量採用並行方式執行的工作任務。
計算機硬體
計算機硬體又以如下4種主要方式來開發這兩種類型的套用並行。
(1) 指令級並行在編譯器的幫助下，利用流水線之類的思想適度開發數據級並行，利用推理執行之類的思想以中等水平開發數據級並行。
(2) 向量體系結構和圖形處理器（GPU）將單條指令並行套用於一個數據集，以開發數據級並行。
(3) 執行緒級並行在一種緊耦合硬體模型中開發數據級並行或任務級並行，這種模型允許在並行執行緒之間進行互動。
(4) 請求級並行在程式設計師或作業系統指定的大量去耦合任務之間開發並行。
產品技術
單指令流多數據流（Single Instruction Stream Multiple Data Stream，SIMD）
SIMD以並行處理機為代表，並行處理機包括多個重複的處理單元PU1～PUn，由單一指令部件控制，按照同一指令流的要求為它們分配各自所需的不同的數據。
多指令流單數據流（Multiple Instruction Stream Single Data Stream，MISD）
MISD的結構，它具有n個處理單元，按n條不同指令的要求對同一數據流及其中間結果進行不同的處理。一個處理單元的輸出又作為另一個處理單元的輸入。
多指令流多數據流（Multiple Instruction Stream Multiple Data Stream，MIMD）
MIMD的結構是指能實現作業、任務、指令等各級全面並行的多機系統，多處理機就屬於MIMD。
產品分類
並行向量處理機
標量和向量計算機之間的主要區別在於標量計算機只允許用標量運算元，而向量處理器卻還允許用向量運算元。從這個觀點看，向量處理機只不過是在標量處理機之上發展了一步。一旦 提供了向量運算元除去一個元素一個元素地簡單分 配標量操作以外，當然還要對向量運算元規定新的功能。這種處理機上的指令流混有標量和向量兩類 指令。雖然該系統通常是面向高性能數據傳送的，但 也具有十分完整的I/O功能。
至於套用，用向量、矩陣、或張量(包括稀疏矩 陣/向量)等數學概念能表達的任何一種大規模計算，都可作為實際對象。在向量處理機上，算法(和應 用對比)及其編碼已有重要發展。
向量處理的機器概念是向量的數學抽象模型，但二者並不等同。更明確地說，通過向量處理機獲得的計算結果有可能要取決於執行運算元的次序，尤其當結果向量共享運算元向量的存儲單元時，更是如此。“向量冒險性”這個概念在現代系統里是通過能保證數據完整性的勝任軟體對終點用戶或程式設計師進行禁止的。因此，對用戶來說，能獲得期望的數學結果。
最簡單的向量指令是一些基本的向量操作，它指明用兩個向量運算元中各按順序的(標量)元素完成一個標量操作，每對向量元素產生一個標量結果，且許多標量結果聚集構成向量結果。變換指令也使用向量運算元。這些指令中的幾個例子是向量內積以及和數歸約指令，它們都獲得標量結果。
對稱多處理機
對稱多處理（英語：Symmetric multiprocessing，縮寫為 SMP），也譯為均衡多處理、對稱性多重處理，是一種多處理器的電腦硬體架構，在對稱多處理架構下，每個處理器的地位都是平等的，對資源的使用許可權相同。現代多數的多處理器系統，都採用對稱多處理架構，也被稱為對稱多處理系統（Symmetric multiprocessing system）。在這個系統中，擁有超過一個以上的處理器，這些處理器都連線到同一個共享的主存上，並由單一作業系統來控制。在多核心處理器的例子中，對稱多處理架構，將每一個核心都當成是獨立的處理器。
在對稱多處理系統上，在作業系統的支持下，無論進程是處於用戶空間，或是核心空間，都可以分配到任何一個處理器上運行。因此，進程可以在不同的處理器間移動，達到負載平衡，使系統的效率提升。
大規模並行處理機
