NUMA（Non Uniform Memory Access Architecture）技術可以使眾多伺服器像單一系統那樣運轉，同時保留小系統便於編程和管理的優點。基於電子商務套用對記憶體訪問提出的更高的要求，NUMA也向複雜的結構設計提出了挑戰。
基本介紹
- 中文名：NUMA
- 外文名：Non Uniform Memory Access Architecture
- 中文名：非統一記憶體訪問架構
- 所屬類別：用於多處理器的電腦記憶體設計
產生,基本概念,介紹,快取相關,發展經過,集群運算,
產生
非統一記憶體訪問（NUMA）是一種用於多處理器的電腦記憶體設計，記憶體訪問時間取決於處理器的記憶體位置。 在NUMA下，處理器訪問它自己的本地存儲器的速度比非本地存儲器（存儲器的地方到另一個處理器之間共享的處理器或存儲器）快一些。
NUMA架構在邏輯上遵循對稱多處理（SMP）架構。 它是在二十世紀九十年代被開發出來的，開發商包括Burruphs （優利系統）， Convex Computer（惠普），義大利霍尼韋爾信息系統（HISI）的（後來的Group Bull），Silicon Graphics公司（後來的矽谷圖形），Sequent電腦系統（後來的IBM），通用數據（EMC）， Digital （後來的Compaq ，HP）。 這些公司研發的技術後來在類Unix作業系統中大放異彩，並在一定程度上運用到了Windows NT中。
首次商業化實現基於NUMA的Unix系統的是對稱多處理XPS-100系列伺服器，它是由VAST公司的Dan Gielen為HISI設計的。 這個架構的巨大成功使HISI成為了歐洲的頂級Unix廠商。
基本概念
現代計算機的處理速度比它的主存速度快不少。而在早期的計算和數據處理中，CPU通常比它的主存慢。但是隨著超級計算機的到來，處理器和存儲器的性能在二十世紀六十年代達到平衡。自從那個時候，CPU常常對數據感到飢餓而且必須等待存儲器的數據到來。為了解決這個問題，很多在80和90年代的超級計算機設計專注於提供高速的存儲器訪問，使得計算機能夠高速地處理其他系統不能處理的大數據集。
限制訪問存儲器的次數是現代計算機提高性能的要點。對於商品化的處理器，這意味著設定數量不斷增長的高速快取和使用不斷變得精巧複雜的算法以防止“快取數據缺失（cache missed)”。但是作業系統和應用程式大小的明顯增長壓制了前述的快取技術造成的提升。沒有使用NUMA的多處理器系統使得問題更糟糕。因為同一時間只能有一個處理器訪問計算機的存儲器，所以在一個系統中可能存在多個處理器在等待訪問存儲器。
NUMA通過提供分離的存儲器給各個處理器，避免當多個處理器訪問同一個存儲器產生的性能損失來試圖解決這個問題。對於涉及到分散的數據的套用（在伺服器和類似於伺服器的套用中很常見），NUMA可以通過一個共享的存儲器提高性能至n倍,而n大約是處理器（或者分離的存儲器）的個數。
當然，不是所有數據都局限於一個任務，所以多個處理器可能需要同一個數據。為了處理這種情況，NUMA系統包含了附加的軟體或者硬體來移動不同存儲器的數據。這個操作降低了對應於這些存儲器的處理器的性能，所以總體的速度提升受制於運行任務的特點。
介紹
為了全面的了解NUMA的優勢，我們不妨先來考察一下這幾種模式在處理器與存儲器結構方面的區別。
SMP模式將多個處理器與一個集中的存儲器相連。在SMP模式下，所有處理器都可以訪問同一個系統物理存儲器，這就意味著SMP系統只運行作業系統的一個拷貝。因此SMP系統有時也被稱為一致存儲器訪問（UMA）結構體系，一致性意指無論在什麼時候，處理器只能為記憶體的每個數據保持或共享唯一一個數值。很顯然，SMP的缺點是可伸縮性有限，因為在存儲器接口達到飽和的時候，增加處理器並不能獲得更高的性能。
MPP模式則是一種分散式存儲器模式，能夠將更多的處理器納入一個系統的存儲器。一個分散式存儲器模式具有多個節點，每個節點都有自己的存儲器，可以配置為SMP模式，也可以配置為非SMP模式。單個的節點相互連線起來就形成了一個總系統。MPP體系結構對硬體開發商頗具吸引力，因為它們出現的問題比較容易解決，開發成本比較低。由於沒有硬體支持共享記憶體或高速快取一致性的問題，所以比較容易實現大量處理器的連線。
可見，單一SMP模式與MPP模式的關鍵區別在於，在SMP模式中，數據一致性是由硬體專門管理的，這樣做比較容易實現，但成本較高；在MPP模式中，節點之間的一致性是由軟體來管理，因此，它的速度相對較慢，但成本卻低得多。
在美國某大學的研究項目中被提出來的NUMA模式，也採用了分散式存儲器模式，不同的是所有節點中的處理器都可以訪問全部的系統物理存儲器。然而，每個處理器訪問本節點內的存儲器所需要的時間，可能比訪問某些遠程節點內的存儲器所花的時間要少得多。換句話說，也就是訪問存儲器的時間是不一致的，這也就是這種模式之所以被稱為“NUMA”的原因。簡而言之，NUMA既保持了SMP模式單一作業系統拷貝、簡便的應用程式編程模式以及易於管理的特點，又繼承了MPP模式的可擴充性，可以有效地擴充系統的規模。這也正是NUMA的優勢所在。
快取相關
幾乎所有利用少量的極快的非共享的記憶體例如cache的CPU結構利用記憶體訪問方法中引用的位置。使用NUMA的系統，在共享記憶體時維持高速快取一致性的開銷非常大。儘管設計與搭建更簡單，但是非一致性高速快取NUMA系統編程在馮諾依曼編程架構標準下變得非常複雜。
典型的，ccNUMA在快取控制器中使用處理器間通信，以此來保持穩定的存儲器映像當多個快取試圖存儲在同一個記憶體位置時。由於這個原因，當多處理器快速連續的嘗試訪問相同的記憶體區時ccNUMA可能表現比較差。支持NUMA的作業系統嘗試通過以NUMA友好的方式分配處理器和記憶體，同時避免會使NUMA非友好方式成為必然的調度、鎖定算法來降低這種類型訪問的頻率。另外,快取一致性協定如MESIF協定試圖減少需要維護快取一致性的通信。可擴展一致性接口(SCI)是一個IEEE標準定義的一個基於目錄的快取一致性協定,以避免在早期的多處理器系統中發現的可擴展性限制。SCI被用作Numascale NumaConnect的基礎技術。
截止2011年，ccNUMA系統是基於AMD Opteron處理器的多處理器系統（該系統可以在沒有外部邏輯的情況下執行），或者基於英特爾安騰處理器（需要晶片組以支持NUMA的系統）。支持CCNUMA的晶片組例子有SGI SHUB(Super hub)，Intel E8870，HP sx2000（在Integrity and Superdome伺服器中使用），和那些以NEC Itanium-based的系統上。早期ccNUMA系統例如那些來自矽谷圖形（計算機公司）是基於MIPS處理器和DEC Alpha 21364 (EV7)處理器的。
發展經過
Sequent公司是世界公認的NUMA技術領袖。早在1986年，Sequent公司率先利用微處理器作為創建大型系統的構建，開發了基於Unix的SMP體系結構，開創了業界轉入SMP領域的先河。1999年9月，IBM公司收購了Sequent公司，將NUMA技術集成到IBMUnix陣營中，並推出了能夠支持和擴展Intel平台的NUMA-Q系統及解決方案，為全球大型企業客戶適應高速發展的電子商務市場提供了更加多樣化、高可擴展性及易於管理的選擇，成為NUMA技術的領先開發者與革新者。
此後，IBM還推出了名為NUMACenter的多層次系統，集成了Unix和WindowsNT系統優勢，為WindowsNT應用程式提供了預集成的環境，允許客戶在高可擴充性和高可用性的Unix數據層中，自由使用WindowsNT應用程式，有效的實現了Unix和WindowsNT的互操作。
NUMA-Q結構的基本構成是Intel的4個處理器組建塊（Quad）設計，NUMA-Q實現的2項關鍵技術是Quad設計和IQ-Link互連設備。NUMA-QQuad由4個處理器、一定數量的記憶體和7個位於PCI通道的PCI插槽組成。NUMA-Q體系結構利用Quad實現了CC-NUMA結構，大規模擴展並保留了SMP編程模式，並可提供容錯光纖通道I/O子系統，使SMP應用程式能運行於其上。NUMA-Q能在單一節點上支持高達256個處理器。IQ-Link互聯設備是NUMA-QQuad匯流排間的互聯設備，這種互聯設備的一致性嚴格以硬體實現，不需要用軟體維護。IQ-Link互聯設備允許使用多個低延遲匯流排，具備低延遲和吞吐量高的特點，提供了很強的系統可擴充性和整體性能。
可見，這種體系結構的優勢在於：首先，NUMA的突破性技術徹底擺脫了傳統的超大匯流排對多處理結構的束縛。它大大增強單一作業系統可管理的處理器、記憶體和I/O插槽。
其次，NUMA設計的重點是讓處理器快速的訪問在同一單元的記憶體，NUMA-Q處理器訪問同一單元上的記憶體的速度比一般SMP模式超出一倍。並且，NUMA-Q作業系統充分利用處理器快取，能達到極高的定址命中率。SMP模式雖然比NUMA簡單，但是，所有的處理器訪問記憶體的時間是一致且緩慢的。同時，基於SMP的匯流排存著在一個物理極限，令系統的擴充性逐步降低。此外，在基於SMP體系結構的大型系統中，平衡的增加處理器、I/O和記憶體變得更加困難。
此外，NUMA系統提供記憶體互連的硬體系統，這種技術可以開發新型動態的分區系統。系統分區的好處在於允許系統管理員在同一計算機內運行多個作業系統（如Unix和WindowsNT），並根據用戶工作負荷的要求，在不同的作業系統環境間，簡單的管理和使用CPU和記憶體資源，從而實現最佳的性能和最高的資源利用率。
NUMA-Q現已成為IBM網際網路伺服器部門的支柱產品，加強了IBM伺服器在電子商務領域的競爭力。不難看出，NUMA-Q的目標市場是那些解決“關鍵事務性”（Mission-Critical）的商業數據中心。這些商業數據中心的計算機系統具有一些共同的特徵，如具有高可用性、高可靠性、能夠適應與日俱增的性能需求的高可擴充性的特點。NUMA-Q體系結構可以幫助在線上事務處理、決策支持系統和企業信息通訊系統設計人員創建這種大規模的“關鍵事務性”解決方案。
因此，NUMA-Q廣泛的適用於具有大量I/O計算、商業智慧型、客戶關係管理、企業資源規劃的環境。它給企業提供利用同一組部件創建多種體系結構的靈活性，以及適用於多種解決方案的高可用性和高可管理性的工具集，同時可以支持多用戶和更大的吞吐量，減少客戶故障停機時間，提升了I/O功能，實現更大的在線上存儲與備份能力，並具有很強的擴展性，可以最大程度地保護客戶的投資。
目前，包括美國Nasdaq證券自動報價系統，波音飛機製造公司、福特汽車公司等在內的諸多國際著名企業都選用了IBMNUMA-Q體系結構的伺服器，全球最大的Internet兒童產品零售商eToys依靠NUMA-Q成功地實現了電子商務。國內已有很多大型企業，包括中國銀行、中國建設銀行、郵政儲蓄管理局、北京西單商場股份有限公司及國務院辦公廳等等部門，採用IBMNUMA-Q建立了自己的系統環境。
業界許多伺服器產品供應商，如Sun、HP、Compaq、Unisys、SGI和DataGeneral等廠商的硬體結構也將向NUMA結構轉移，很多廠商正在計畫或正在研製基於NUMA體系結構的計算機系統。IBM也將推出更有競爭力的第4代NUMA-Q體系結構，迎接NUMA對複雜設計、多路I/O提出的挑戰。
高速快取相關的非一致性記憶體訪問（CacheCoherentNon-UniformMemoryAccess，CC-NUMA）是NUMA的一種類型。在CC-NUMA系統中，分散式記憶體相連線形成單一記憶體，記憶體之間沒有頁面複製或數據複製，也沒有軟體訊息傳送。CC-NUMA只有一個記憶體映象，存儲部件利用銅纜和某些智慧型硬體進行物理連線。CacheCoherent是指不需要軟體來保持多個數據拷貝的一致性，也不需要軟體來實現作業系統與套用系統的數據傳輸。如同在SMP模式中一樣，單一作業系統和多個處理器完全在硬體級實現管理。
高速快取唯一的記憶體體系結構（Cache-OnlyMemoryArchitecture，COMA）是CC-NUMA體系結構的競爭者，兩者擁有相同的目標，但實現方式不同。COMA節點不對記憶體部件進行分布，也不通過互連設備使整個系統保持一致性。COMA節點沒有記憶體，只在每個Quad中配置大容量的高速快取。
集群運算
我們可以把NUMA看作集群運算的一個緊密耦合的形式。虛擬記憶體對集群結構的頁式調度技術的加入更是使得NUMA可以完全由軟體實現。基於軟體的NUMA在節點間的延遲仍然比基於硬體的NUMA大幾個數量級。
