《隨機門設計及其體系結構在機器學習中的套用》是依託上海交通大學，由苑波擔任項目負責人的面上項目。
基本介紹
- 中文名：隨機門設計及其體系結構在機器學習中的套用
- 項目類別：面上項目
- 項目負責人：苑波
- 依託單位：上海交通大學
項目摘要,結題摘要,
項目摘要
許多機器學習和推理問題的一個特點是存在著不確定性。在這種不確定的環境下對推理問題的解決依賴於將它轉換為機率性的模型,並求解機率分布。為了降低計算的複雜度,機器學習和推理問題的解決現在多依賴於基於圖模型的採樣算法。進一步提高這一算法的運行性能將提升許多學習和推理問題的求解速度,增大計算機能夠處理的問題的規模。然而,利用傳統處理器來實現這種採樣算法具有局限性。主要原因在於:(1)圖模型採樣算法的隨機性和硬體的確定性之間存在著一定的矛盾;(2)基於傳統處理器的實現不利於發揮算法所具備的並行性。在本項目中,我們將探索一種更高效的硬體平台來實現基於圖模型的採樣算法。針對算法需要以任意機率分布產生隨機輸出的特點,我們提出設計一種稱為隨機門的數字電路來更自然地產生隨機輸出。進一步,我們將探索如何設計基於隨機門的可重構的體系結構來實現這一算法,以充分利用算法具有的並行性,並能夠對任意的圖進行採樣.
結題摘要
許多機器學習算法具有一定的並行性，而基於傳統處理器的實現不利於發揮算法所具備的並行性。因而，現在的一大研究熱點是如何設計專門的硬體電路來實現機器學習算法。隨機計算是一種非傳統的計算方式。它具有面積小和容錯性高的優勢。本項目面向機器學習算法，研究基於隨機計算的實現。主要研究內容和相關成果如下： 1. 為設計面向機器學習的隨機計算體系結構，一個很重要的方面是設計隨機門，用以產生任意機率的隨機比特序列。之前的研究工作已提出了一些基本的設計。然而，這些設計的面積和功耗往往很大。為了使整體電路的面積和功耗降低，我們對如何設計面積小、功耗低的隨機門開展了研究。首先，提出了一種通用的降低隨機門硬體開銷的方法，相比於已有的隨機門設計方法，該方法可以帶來44%的面積減小和57%的功耗降低。其次，提出了一種利用新興低功耗納米器件來實現輸出機率可靠的隨機門的方法。最後，提出了一種基於插入D觸發器來同時降低隨機門硬體開銷和隨機計算架構延時的方法，這一方法相比現有方法可以進一步把電路能耗降低58%。 2. 隨機門用於產生滿足給定機率分布的隨機比特序列，而隨機計算架構中需要有另外的電路來處理由隨機比特序列編碼的信息。這部分電路被稱為隨機計算核心電路。為了實現基於隨機計算的架構，隨機計算核心電路的設計也至關重要。我們對如何最佳化設計核心電路開展了研究。首先，針對組合邏輯電路，提出了一種基於寬度優先搜尋最佳化隨機計算核心電路的方法。相比現有方法，該方法可以降低20%的硬體開銷。其次，針對時序邏輯電路，提出了一種可重構的隨機計算核心電路。該設計有著較小的延時和能耗，並表現出很好的容錯性。 3. 針對一個基於深度神經網路的手寫數字分類器，實現了對應的基於隨機門的實現。在這一實現中，利用了所提的降低隨機門面積和功耗的方法，從而大大降低了隨機計算實現的面積與功耗。與傳統的二進制實現相比，所提的基於隨機計算的架構使面積減小了95%，能耗減小了37%。
