多任務學習

多任務學習（MTL）是一個很有前景的機器學習領域，通過使用包含在相關任務的監督信號中的領域知識來改善泛化性能。

基本介紹

• 中文名：多任務學習
• 外文名：Multi-task learning
• 簡稱：MTL
• 歸屬學科：機器學習
• 領域：人工智慧
• 相關學科：遷移學習，領域自適應

引言

利用歷史數據中的有用信息來幫助分析未來數據的機器學習，通常需要大量有標籤數據才能訓練出一個優良的學習器。深度學習模型是一種典型的機器學習模型，因為這類模型是帶有很多隱藏層和很多參數的神經網路，所以通常需要數以百萬計的數據樣本才能學習得到準確的參數。但是，包括醫學圖像分析在內的一些套用無法滿足這種數據要求，因為標註數據需要很多人力勞動。在這些情況下，多任務學習（MTL）可以通過使用來自其它相關學習任務的有用信息來幫助緩解這種數據稀疏問題。

MTL 是機器學習中一個很有前景的領域，其目標是利用多個學習任務中所包含的有用信息來幫助為每個任務學習得到更為準確的學習器。我們假設所有任務（至少其中一部分任務）是相關的，在此基礎上，我們在實驗和理論上都發現，聯合學習多個任務能比單獨學習它們得到更好的性能。根據任務的性質，MTL 可以被分類成多種設定，主要包括多任務監督學習、多任務無監督學習、多任務半監督學習、多任務主動學習、多任務強化學習、多任務線上學習和多任務多視角學習。

多任務監督學習任務（可能是分類或回歸問題）是根據訓練數據集（包含訓練數據實例和它們的標籤）預測未曾見過的數據的標籤。多任務無監督學習任務（可能是聚類問題）是識別僅由數據構成的訓練數據集中的有用模式。多任務半監督學習任務與多任務監督學習類似，只是其訓練集中不僅包含有標籤數據，也包含無標籤數據。多任務主動學習任務是利用無標籤數據來幫助學習有標籤數據，這類似於多任務半監督學習，其差異在於主動學習會選擇無標籤數據來主動查詢它們的標籤從而降低標註開銷。多任務強化學習任務是選擇動作以最大化累積獎勵。多任務線上學習任務是處理序列數據。多任務多視角學習任務是處理多視角數據——其中每個數據實例都有多組特徵。

MTL 可以看作是讓機器模仿人類學習行為的一種方法，因為人類常常將一個任務的知識遷移到另一個相關的任務上。例如，根據作者自身經驗，打壁球和打網球的技能可以互相幫助提升。與人類學習類似，（機器）同時學習多個學習任務是很有用的，因為一個任務可以利用另一個相關任務的知識。

MTL 也與機器學習的某些其它領域有關，包括遷移學習、多標籤學習和多輸出回歸，但 MTL 也有自己不同的特點。比如說，類似於 MTL，遷移學習的目標也是將知識從一個任務遷移到另一個任務，但不同之處在於遷移學習希望使用一個或多個任務來幫助另一個目標任務，而 MTL 則是希望多個任務彼此助益。當多任務監督學習的不同任務使用了同樣的訓練數據時，這就變成了多標籤學習或多輸出回歸。從這個意義上看，MTL 可以被看作是多標籤學習和多輸出回歸的一種泛化。

與傳統遷移學習、領域自適應等方法不同，多任務學習是一種並行遷移模式。傳統遷移學習強調學習的先後順序，即將在一個領域學到的知識遷移到另一個領域，知識遷移的過程是串列進行。而在多任務學習中，任務之間的信息相互共享，知識在不同的任務中互相遷移，因此多任務學習也被叫做並行遷移學習。多任務學習方法通過多任務信息共享提升整體的學習效果，這對於小樣本上的學習尤其有效。假設有大量的小樣本學習任務，多任務學習方法可以充分利用多個小樣本的信息，提升多任務整體的學習效果。