排斥損失(Repulsion Loss)用於解決密集人群檢測中人與人之間存在大量遮擋以致難以準確定位人群中單個人的問題。排斥損失由吸引項和排斥項構成,其中,吸引項用於縮小預測框與其指定目標之間差距,排斥項用於增大預測框與周圍非目標物體之間的距離。
基本介紹
- 中文名:排斥損失
- 外文名:Repulsion Loss
- 歸屬學科:計算機視覺
- 源於:磁極相互排斥吸引啟發
- 提出時間:2018年
- 用於:人群檢測
設計思想,RepLoss 計算方法,吸引項,排斥項(RepGT),排斥項(RepBox),
設計思想
因為在現實場景中行人經常聚集成群、相互遮擋,因此,檢測人群中的行人依然是一個充滿挑戰性的問題。一般而言,物體遮擋問題可以分為類內遮擋和類間遮擋兩種情況。類間遮擋產生於扎堆的同類物體,也被稱為密集遮擋(crowd occlusion)。在行人檢測中,密集遮擋在所有遮擋問題中占比最大,嚴重影響著行人檢測器的性能。
密集遮擋顯著增加了行人定位的難度。如圖1,當目標行人 T 被行人 B 遮擋之時,由於兩者外觀特徵相似,檢測器很可能無法進行定位。從而本應該框定 T 的邊界框轉而框定 B,導致定位不準確。更糟糕的是,由於非極大值抑制(non-maximum suppression,NMS)需要進一步處理主要的檢測結果,從 T 移走的邊界框可能會被 B 的預測框抑制,進而造成 T 漏檢。即人群遮擋使得檢測器對非極大值抑制(NMS)閾值很敏感:較高的閾值會帶來更多的誤檢(false positives),較低的閾值則造成更多的漏檢(missed detection)。這會讓大多數實例分割框架失效,因為它們也需要精確的檢測結果。因此,如何精確地定位人群之中的每個行人是檢測器最為關鍵的問題之一。
在當前最優的檢測框架中,邊界框回歸技術常用來定位物體,其中回歸器被訓練用來縮小候選區域提議和真值框之間的差距。儘管如此,現有方法只需要候選區域提議接近其指定目標,並不考慮周遭的物體。如圖 1 所示,在標準的邊界框回歸損失中,當預測框移向周遭物體時,對其並沒有額外的懲罰。這不免使人構想:如果要檢測人群之中的一個目標,是否應該考慮其周遭物體的定位?
在磁極相互排斥吸引的啟發下,wang等提出一種全新的定位技術,稱之為 Repulsion Loss(RepLoss),通過它,每一個候選區域提議不僅會靠近其指定目標 T,還會遠離其它真值框物體以及指定目標不是 T 的其他 候選區域提議。如圖 1 所示,由於與周遭的非目標物體重疊,紅色邊界框移向 B 將受到額外的懲罰。因此,RepLoss 可以有效防止預測邊界框移向相鄰的重疊物體,提升檢測器在人群場景中的魯棒性。
RepLoss 計算方法
RepLoss 包括 3 個組件,表示為:
其中, 是吸引項,需要預測框靠近其指定目標; 和 是排斥項,分別需要預測框遠離周遭其他的 groundtruth 物體和其他指定目標不同的預測框。係數α和 β 充當權重以平衡輔助損失。
為簡明起見,下面僅考慮兩類檢測,假定所有的真值框物體屬於同一類別。分別使 和 為候選區域提議邊界框和真值邊界框,並分別由它們的左上點坐標及其高度、寬度表示。 是所有正候選區域提議的集合(那些和至少一個真值框有高 IoU 的被視為正樣本,反之為負樣本); 是一張圖片中所有真值框的集合。
吸引項
給定一個候選區域提議 ,把具有極大值 IoU 的 groundtruth box 作為其指定目標: 。由此吸引損失可計算為:
排斥項(RepGT)
RepGT 損失旨在使候選區域提議受到相鄰的非目標 groundtruth 物體的排斥。給定一個候選區域提議,它的排斥 groundtruth 物體被定義為除了其指定目標之外帶有最大 IoU 區域的 groundtruth 物體。受 IoU 損失的啟發,RepGT 損失被計算以懲罰 P和之間的重疊。從而 ,RepGT 損失可寫為:
其中,,,
候選區域提議越傾向於與非目標groundtruth 物體重疊,RepGT 損失對邊界框回歸器的懲罰就越大,從而有效防止邊界框移向相鄰的非目標物體。
排斥項(RepBox)
NMS 是絕大多數檢測框架中不可或缺的後處理步驟,為降低檢測器對 NMS 的敏感度,Wang等接著提出 RepBox 損失,排斥來自不同指定目標的 proposal。RepBox 損失可計算為:
從上式可以看到,為最小化 RepBox 損失,指定目標不同的兩個預測框之間的 IoU 區域需要較小。這意味著 RepBox 損失可以降低 NMS 之後不同回歸目標的邊界框合併為一的機率,使得檢測器在密集場景中更魯棒。