領域自適應

領域自適應是與機器學習和轉移學習相關的領域。 當我們的目標是從源數據分布中學習在不同（但相關）的目標數據分布上的良好性能模型時，就會出現這種情況。 例如，常見垃圾郵件過濾問題的任務之一在於使模型從一個用戶（源分發）適應到接收顯著不同的電子郵件（目標分發）的新模型。 注意，當有多個源分發可用時，該問題被稱為多源域自適應。

基本介紹

• 中文名：領域自適應
• 外文名：Domain adaptation

形式化

設為輸入空間（或描述空間），讓為輸出空間（或標籤空間）。機器學習算法的目的是學習數學模型（假設）：→到的例子。從學習樣本學習該模型。

通常在監督學習中（沒有域適應），我們假設示例是，從支持×的分布（未知和固定）。然後，目標是學習（來自，使得它儘可能地提交最小的錯誤來標記來自分布的新例子。

監督學習和領域適應之間的主要區別在於，在後一種情況下，我們研究×上的兩個不同（但相關）的分布和。域適應任務則包括從源域到然後，目標是學習（來自兩個域的標記或未標記樣本），使得它在目標域上儘可能少地提交錯誤。

主要問題如下：如果從源域學習模型，它能夠正確標記來自目標域的數據的能力是多少？

不同類型的域適應

域適應有幾種情況。它們在為目標任務考慮的信息方面有所不同。

1、無監督域適應：學習樣本包含一組標記的源示例，一組未標記的源示例和一組未標記的目標示例。

2、半監督域適應：在這種情況下，我們還考慮一組“小”標記的目標示例。

3、監督的域適應：所有考慮的例子都應該被標記。

三種算法原理

重新加權算法

目標是重新加權源標記樣本，使其“看起來像”目標樣本（根據所考慮的誤差測量）。

疊代算法

用於適應的方法包括疊代地“自動標記”目標示例。原理很簡單：從標記的例子中學習模型h;

h自動標記一些目標示例;

從新標記的示例中學習新模型。

注意，存在其他疊代方法，但它們通常需要目標標記示例。

搜尋公共表示空間

目標是為這兩個域找到或構建一個公共表示空間。目標是獲得域彼此接近的空間，同時在源標記任務上保持良好的性能。這可以通過使用對抗機器學習技術來實現，其中鼓勵來自不同域中的樣本的特徵表示難以區分。