《一種製作虛擬試衣模特圖像的方法和裝置》是北京京東尚科信息技術有限公司於2013年8月16日申請的發明專利，該專利的申請號為2013103590129，公布號為CN103489107A，授權公布日為2014年1月1日，發明人是趙剛。
《一種製作虛擬試衣模特圖像的方法和裝置》提供一種製作虛擬試衣模特圖像的方法和裝置，有助於使虛擬試衣模特的試衣效果更接近用戶本人的試衣效果。該方法包括：提取參考圖像中的頭像；將所述參考圖像中的頭像與虛擬試衣模特圖像中的模特身體區域合成，從而得到完整的人像。根據該發明的技術方案，將用戶頭像與虛擬試衣模特的身體區域合成得到新的虛擬試衣模特，使用該新的虛擬試衣模特進行虛擬試衣時，臉型、膚色等都與用戶本人一致，從而與圖庫中的虛擬試衣模特相比，具有用戶頭像的虛擬試衣模特的試衣效果更接近用戶本人的試衣效果。
2016年12月7日，《一種製作虛擬試衣模特圖像的方法和裝置》獲得第十八屆中國專利優秀獎。
（概述圖為《一種製作虛擬試衣模特圖像的方法和裝置》摘要附圖）
基本介紹
- 中文名：一種製作虛擬試衣模特圖像的方法和裝置
- 公布號：CN103489107A
- 公布日：2014年1月1日
- 申請號：2013103590129
- 申請日：2013年8月16日
- 申請人：北京京東尚科信息技術有限公司
- 地址：北京市海淀區蘇州街20號2號樓2層
- 發明人：趙剛
- Int.Cl.：G06Q30/00(2012.01)I
- 代理機構：中原信達智慧財產權代理有限責任公司
- 代理人：劉光明、陸錦華
- 類別：發明專利
專利背景,發明內容,專利目的,技術方案,改善效果,附圖說明,權利要求,實施方式,榮譽表彰,
專利背景
截至2013年8月，虛擬試衣方案主要利用圖庫中的虛擬試衣模特，由用戶選擇虛擬試衣模特和衣服，從而可以通過該模特穿著該衣服的效果來挑選服裝。
發明內容
專利目的
《一種製作虛擬試衣模特圖像的方法和裝置》有助於使虛擬試衣模特的試衣效果更接近用戶本人的試衣效果。
技術方案
根據《一種製作虛擬試衣模特圖像的方法和裝置》的一個方面，提供了一種製作虛擬試衣模特圖像的方法。
《一種製作虛擬試衣模特圖像的方法和裝置》的製作虛擬試衣模特圖像的方法包括：提取參考圖像中的頭像；將所述參考圖像中的頭像與虛擬試衣模特圖像中的模特身體區域合成，從而得到完整的人像。
可選地，所述提取參考圖像中的頭像的步驟包括：對所述參考圖像中的頭像進行檢測以確定頭像直徑和頭像的中心位置；以所述頭像的中心位置為中心設定兩個圓，第一個圓的直徑接近於所述頭像直徑，第二個圓的直徑接近於所述頭像直徑的1.5倍；使用GrabCut算法確定所述參考圖像中的頭像範圍，其中，所述第一個圓內部設定為前景，所述第一個圓和所述第二個圓之間設定為可能的前景，所述第二個圓外部設定為背景；從所述參考圖像中提取所述頭像範圍的圖像作為所述參考圖像中的頭像。
可選地，所述提取參考圖像中的頭像的步驟包括：對所述參考圖像中的頭像進行檢測以確定頭像直徑和頭像的中心位置；以所述頭像的中心位置為圓心設定兩個圓，第一個圓的直徑接近於所述頭像直徑，第二個圓的直徑接近於所述頭像直徑的1.5倍；使用GrabCut算法獲得所述參考圖像中的頭像範圍，其中，所述第一個圓內部設定為前景，所述第一個圓和所述第二個圓之間設定為可能的前景，所述第二個圓外部設定為背景；接收用於調整所述頭像範圍的指令並根據該指令對該頭像範圍做出調整；使用GrabCut算法確定調整後的頭像範圍中的精確頭像範圍，其中，所述調整後的頭像範圍的邊緣曲線的內部設定為前景，外部設定為背景；從所述參考圖像中提取所述精確頭像範圍的圖像作為所述參考圖像中的頭像。
可選地，所述使用GrabCut算法獲得所述參考圖像中的頭像範圍的步驟之後、所述接收用於調整所述頭像範圍的指令的步驟之前，該方法還包括：在所述參考圖像中的頭像範圍的邊緣設定多個控制點；所述指令用於調整所述控制點的位置；所述根據該指令對該頭像範圍做出調整的步驟包括：根據所述指令對所述控制點的位置進行調整並根據調整後的控制點的位置確定調整後的頭像範圍。
可選地，將所述參考圖像中的頭像與虛擬試衣模特圖像中的模特身體區域合成的步驟包括：確定所述參考圖像中的頭像的中軸線；將所述參考圖像中的頭像與虛擬試衣模特圖像中的模特身體區域拼接，並使所述中軸線與所述模特身體區域的中軸線在一條直線上。
根據《一種製作虛擬試衣模特圖像的方法和裝置》的另一方面，提供了一種製作虛擬試衣模特圖像的裝置。
《一種製作虛擬試衣模特圖像的方法和裝置》的製作虛擬試衣模特圖像的裝置包括：提取模組，用於提取參考圖像中的頭像；合成模組，用於將所述參考圖像中的頭像與虛擬試衣模特圖像中的模特身體區域合成，從而得到完整的人像。
可選地，所述提取模組還用於：對所述參考圖像中的頭像進行檢測以確定頭像直徑和頭像的中心位置；以所述頭像的中心位置為中心設定兩個圓，第一個圓的直徑接近於所述頭像直徑，第二個圓的直徑接近於所述頭像直徑的1.5倍；使用GrabCut算法確定所述參考圖像中的頭像範圍，其中，所述第一個圓內部設定為前景，所述第一個圓和所述第二個圓之間設定為可能的前景，所述第二個圓外部設定為背景；從所述參考圖像中提取所述頭像範圍的圖像作為所述參考圖像中的頭像。
可選地，所述提取模組還用於：對所述參考圖像中的頭像進行檢測以確定頭像直徑和頭像的中心位置；以所述頭像的中心位置為圓心設定兩個圓，第一個圓的直徑接近於所述頭像直徑，第二個圓的直徑接近於所述頭像直徑的1.5倍；使用GrabCut算法獲得所述參考圖像中的頭像範圍，其中，所述第一個圓內部設定為前景，所述第一個圓和所述第二個圓之間設定為可能的前景，所述第二個圓外部設定為背景；接收用於調整所述頭像範圍的指令並根據該指令對該頭像範圍做出調整；使用GrabCut算法確定調整後的頭像範圍中的精確頭像範圍，其中，所述調整後的頭像範圍的邊緣曲線的內部設定為前景，外部設定為背景；從所述參考圖像中提取所述精確頭像範圍的圖像作為所述參考圖像中的頭像。
可選地，所述提取模組還用於：在所述參考圖像中的頭像範圍的邊緣設定多個控制點；根據所述指令對所述控制點的位置進行調整並根據調整後的控制點的位置確定調整後的頭像範圍。
可選地，所述合成模組還用於：確定所述參考圖像中的頭像的中軸線；將所述參考圖像中的頭像與虛擬試衣模特圖像中的模特身體區域拼接，並使所述中軸線與所述模特身體區域的中軸線在一條直線上。
改善效果
根據《一種製作虛擬試衣模特圖像的方法和裝置》的技術方案，將用戶頭像與虛擬試衣模特的身體區域合成得到新的虛擬試衣模特，使用該新的虛擬試衣模特進行虛擬試衣時，臉型、膚色等都與用戶本人一致，從而與圖庫中的虛擬試衣模特相比，具有用戶頭像的虛擬試衣模特的試衣效果更接近用戶本人的試衣效果。另外該發明實施例中，將GrabCut算法套用到頭像提取的步驟中，有助於得到儘可能精確的用戶頭像；在將用戶頭像與虛擬試衣模特的身體區域合成時對合成效果加以考慮，使得到的新的虛擬試衣模特具有更好的視覺效果。
附圖說明
圖1是根據《一種製作虛擬試衣模特圖像的方法和裝置》實施例的提取參考圖像中的頭像的一種優選流程的示意圖；
圖2是根據該發明實施例的用戶頭像居中的圖像；
圖3是根據該發明實施例的在包含用戶頭像的圖像中設定圓的示意圖；
圖4是根據該發明實施例的使用GrabCut算法獲得參考圖像中的頭像範圍的示意圖；
圖5是根據該發明實施例的用戶調整後的頭像範圍的示意圖；
圖6是根據該發明實施例的精確頭像範圍的示意圖；
圖7是根據該發明實施例的提取了精確頭像範圍的圖像的示意圖；
圖8是根據該發明實施例的合成後的虛擬試衣模特的示意圖；
圖9是根據該發明實施例的製作虛擬試衣模特圖像的裝置的基本結構的示意圖。
權利要求
1.一種製作虛擬試衣模特圖像的方法，其特徵在於，包括：提取參考圖像中的頭像；將所述參考圖像中的頭像與虛擬試衣模特圖像中的模特身體區域合成，從而得到完整的人像。
2.根據權利要求1所述的方法，其特徵在於，所述提取參考圖像中的頭像的步驟包括：對所述參考圖像中的頭像進行檢測以確定頭像直徑和頭像的中心位置；以所述頭像的中心位置為中心設定兩個圓，第一個圓的直徑接近於所述頭像直徑，第二個圓的直徑接近於所述頭像直徑的1.5倍；使用GrabCut算法確定所述參考圖像中的頭像範圍，其中，所述第一個圓內部設定為前景，所述第一個圓和所述第二個圓之間設定為可能的前景，所述第二個圓外部設定為背景；從所述參考圖像中提取所述頭像範圍的圖像作為所述參考圖像中的頭像。
3.根據權利要求1所述的方法，其特徵在於，所述提取參考圖像中的頭像的步驟包括：對所述參考圖像中的頭像進行檢測以確定頭像直徑和頭像的中心位置；以所述頭像的中心位置為圓心設定兩個圓，第一個圓的直徑接近於所述頭像直徑，第二個圓的直徑接近於所述頭像直徑的1.5倍；使用GrabCut算法獲得所述參考圖像中的頭像範圍，其中，所述第一個圓內部設定為前景，所述第一個圓和所述第二個圓之間設定為可能的前景，所述第二個圓外部設定為背景；接收用於調整所述頭像範圍的指令並根據該指令對該頭像範圍做出調整；使用GrabCut算法確定調整後的頭像範圍中的精確頭像範圍，其中，所述調整後的頭像範圍的邊緣曲線的內部設定為前景，外部設定為背景；從所述參考圖像中提取所述精確頭像範圍的圖像作為所述參考圖像中的頭像。
4.根據權利要求3所述的方法，其特徵在於，所述使用GrabCut算法獲得所述參考圖像中的頭像範圍的步驟之後、所述接收用於調整所述頭像範圍的指令的步驟之前，該方法還包括：在所述參考圖像中的頭像範圍的邊緣設定多個控制點；所述指令用於調整所述控制點的位置；所述根據該指令對該頭像範圍做出調整的步驟包括：根據所述指令對所述控制點的位置進行調整並根據調整後的控制點的位置確定調整後的頭像範圍。
5.根據權利要求1至4中任一項所述的方法，其特徵在於，將所述參考圖像中的頭像與虛擬試衣模特圖像中的模特身體區域合成的步驟包括：確定所述參考圖像中的頭像的中軸線；將所述參考圖像中的頭像與虛擬試衣模特圖像中的模特身體區域拼接，並使所述中軸線與所述模特身體區域的中軸線在一條直線上。
6.一種製作虛擬試衣模特圖像的裝置，其特徵在於，包括：提取模組，用於提取參考圖像中的頭像；合成模組，用於將所述參考圖像中的頭像與虛擬試衣模特圖像中的模特身體區域合成，從而得到完整的人像。
7.根據權利要求6所述的裝置，其特徵在於，所述提取模組還用於：對所述參考圖像中的頭像進行檢測以確定頭像直徑和頭像的中心位置；以所述頭像的中心位置為中心設定兩個圓，第一個圓的直徑接近於所述頭像直徑，第二個圓的直徑接近於所述頭像直徑的1.5倍；使用GrabCut算法確定所述參考圖像中的頭像範圍，其中，所述第一個圓內部設定為前景，所述第一個圓和所述第二個圓之間設定為可能的前景，所述第二個圓外部設定為背景；從所述參考圖像中提取所述頭像範圍的圖像作為所述參考圖像中的頭像。
8.根據權利要求6所述的裝置，其特徵在於，所述提取模組還用於：對所述參考圖像中的頭像進行檢測以確定頭像直徑和頭像的中心位置；以所述頭像的中心位置為圓心設定兩個圓，第一個圓的直徑接近於所述頭像直徑，第二個圓的直徑接近於所述頭像直徑的1.5倍；使用GrabCut算法獲得所述參考圖像中的頭像範圍，其中，所述第一個圓內部設定為前景，所述第一個圓和所述第二個圓之間設定為可能的前景，所述第二個圓外部設定為背景；接收用於調整所述頭像範圍的指令並根據該指令對該頭像範圍做出調整；使用GrabCut算法確定調整後的頭像範圍中的精確頭像範圍，其中，所述調整後的頭像範圍的邊緣曲線的內部設定為前景，外部設定為背景；從所述參考圖像中提取所述精確頭像範圍的圖像作為所述參考圖像中的頭像。
9.根據權利要求8所述的裝置，其特徵在於，所述提取模組還用於：在所述參考圖像中的頭像範圍的邊緣設定多個控制點；根據所述指令對所述控制點的位置進行調整並根據調整後的控制點的位置確定調整後的頭像範圍。
10.根據權利要求6至9中任一項所述的裝置，其特徵在於，所述合成模組還用於：確定所述參考圖像中的頭像的中軸線；將所述參考圖像中的頭像與虛擬試衣模特圖像中的模特身體區域拼接，並使所述中軸線與所述模特身體區域的中軸線在一條直線上。
實施方式
《一種製作虛擬試衣模特圖像的方法和裝置》實施例中，由用戶通過終端設備例如個人計算機，向電子商務系統中的伺服器提供參考圖像，該參考圖像中有用戶的頭像，一般來說是用戶的正面照片，由該伺服器根據該參考圖像以及圖庫中的虛擬試衣模特圖像，得到具有用戶頭像的虛擬試衣模特，在該處理中，伺服器首先提取參考圖像中的頭像，然後將參考圖像中的頭像與虛擬試衣模特圖像中的模特身體區域合成，從而得到完整的人像。該完整的人像因為具有用戶的頭像，因此作為虛擬試衣模特時，臉型、膚色等都與用戶本人一致，從而與圖庫中的虛擬試衣模特相比，具有用戶頭像的虛擬試衣模特的試衣效果更接近用戶本人的試衣效果。
為了使具有用戶頭像的虛擬試衣模特具有更好的視覺效果，該實施例中的方案中，採取了相關措施使頭像提取的精度更高，並提高了用戶頭像與虛擬試衣模特身體合成時的效果。以下對該實施例的具體技術方案做出說明。
圖1是根據《一種製作虛擬試衣模特圖像的方法和裝置》實施例的提取參考圖像中的頭像的一種優選流程的示意圖。如圖1所示，伺服器在從用戶提供的參考圖像中提取頭像時可按如下步驟：
步驟S11：對參考圖像中的頭像進行檢測以確定頭像直徑和頭像的中心位置。該步驟可以採用2013年8月前的人臉檢測（或稱面部識別、人臉識別、人像識別等）技術來實現。頭像的中心位置一般來說是人像的鼻尖位置，也可以是人臉區域的形心。在確定出頭像直徑和頭像的中心位置後，頭像區域也隨之確定。此時可以對參考圖像作適當剪裁，使頭像居中，如圖2所示，圖2是根據該發明實施例的用戶頭像居中的圖像，其中用戶頭像21在圖像20中處於居中位置。
步驟S12：以步驟S11中得到的頭像的中心位置為圓心設定兩個圓，第一個圓的直徑接近於頭像直徑，第二個圓的直徑接近於頭像直徑的1.5倍。這兩個圓是用來向步驟S13中的GrabCut算法提供參數，直徑可根據實際情況適當調整。可參考圖3，圖3是根據《一種製作虛擬試衣模特圖像的方法和裝置》實施例的在包含用戶頭像的圖像中設定圓的示意圖，其中圖像30中，在用戶頭像21上設定了圓31和圓32，其中圓31的直徑接近於頭像21直徑，圓32直徑接近於頭像21直徑的1.5倍。
步驟S13：使用GrabCut算法獲得參考圖像中的頭像範圍。在套用GrabCut算法時，圓31內部設定為前景，圓31和圓32之間設定為可能的前景，圓32外部設定為背景。算法完成之後得到的頭像範圍的邊緣可參考圖4，圖4是根據《一種製作虛擬試衣模特圖像的方法和裝置》實施例的使用GrabCut算法獲得參考圖像中的頭像範圍的示意圖。如圖4所示，圖像40中，曲線41是用戶頭像21的邊緣。
步驟S14：接收用於調整頭像範圍的指令並根據該指令對該頭像範圍做出調整。該指令是用戶通過操作終端設備而發出。因為由用戶操作，因此用戶可以對自己的頭像作一些取捨，比如適當選擇連線在頭部的脖子的長度。伺服器可以在頭像範圍的邊緣提供一些控制點以供用戶使用，用戶用滑鼠拖動這些控制點，就可以調整控制點兩側的邊緣形狀。參考圖4，設定控制點時最好是便於用戶調整頭像邊緣的各個部分，因此可以先在頭像範圍內靠近中心的位置A點起向外做若干條例如8條射線，相鄰射線夾角接近或相等，射線與用戶頭像21的邊緣即曲線41的交點即為控制點。用戶調整頭像範圍後的狀態可參考圖5，圖5是根據《一種製作虛擬試衣模特圖像的方法和裝置》實施例的用戶調整後的頭像範圍的示意圖，其中圖像50中，用戶調整後的頭像範圍的邊緣是曲線51。
步驟S15：使用GrabCut算法確定調整後的頭像範圍中的精確頭像範圍。該次計算是進一步使頭像範圍精確化。在設定GrabCut算法的參數時，調整後的頭像範圍的邊緣曲線51的內部設定為前景，曲線51的外部設定為背景。計算後得到的精確頭像範圍如圖6所示，圖6是根據《一種製作虛擬試衣模特圖像的方法和裝置》實施例的精確頭像範圍的示意圖，其中圖像60內的頭像範圍的邊緣是曲線61。
步驟S16：從參考圖像中提取精確頭像範圍的圖像作為參考圖像中的頭像。如圖7所示，圖7是根據《一種製作虛擬試衣模特圖像的方法和裝置》實施例的提取了精確頭像範圍的圖像的示意圖。圖7中的圖像70內，基於圖6中的精確頭像範圍，去除了圖6中的精確頭像範圍以外的背景，從而得到精確的頭像71。
需要說明的是，如果在用戶提供的照片中，前景（用戶頭像）與背景的色彩差異較大，那么在步驟S13中就可以得到相當精確的頭像，此時無需步驟S14和S15，直接在步驟S16中提取S13的頭像範圍內的圖像即可。
在得到用戶頭像之後，需將用戶頭像與虛擬試衣模特圖像中的模特身體區域進行合成。為了提高合成之後完整人像的視覺效果，在該實施例中，將用戶頭像與虛擬試衣模特圖像中的模特身體進行對齊。具體做法是先確定參考圖像中的頭像的中軸線，可以在步驟S11中的人臉識別過程中同時確定該中軸線；然後在參考圖像中的頭像與虛擬試衣模特圖像中的模特身體區域拼接時，使該中軸線與模特身體區域的中軸線在一條直線上，如圖8所示，圖8是根據《一種製作虛擬試衣模特圖像的方法和裝置》實施例的合成後的虛擬試衣模特的示意圖，其中圖像80內有試衣模特81，它的頭像811是用戶的頭像。
圖9是根據《一種製作虛擬試衣模特圖像的方法和裝置》實施例的製作虛擬試衣模特圖像的裝置的基本結構的示意圖。如圖9所示，製作虛擬試衣模特圖像的裝置90主要包括提取模組91和合成模組92。提取模組91用於提取參考圖像中的頭像；合成模組92用於將參考圖像中的頭像與虛擬試衣模特圖像中的模特身體區域合成，從而得到完整的人像。
提取模組91還可用於：對參考圖像中的頭像進行檢測以確定頭像直徑和頭像的中心位置；以頭像的中心位置為中心設定兩個圓，第一個圓的直徑接近於頭像直徑，第二個圓的直徑接近於頭像直徑的1.5倍；使用GrabCut算法確定參考圖像中的頭像範圍，其中，第一個圓內部設定為前景，第一個圓和第二個圓之間設定為可能的前景，第二個圓外部設定為背景；從參考圖像中提取頭像範圍的圖像作為參考圖像中的頭像。
提取模組91還可用於：對參考圖像中的頭像進行檢測以確定頭像直徑和頭像的中心位置；以頭像的中心位置為圓心設定兩個圓，第一個圓的直徑接近於頭像直徑，第二個圓的直徑接近於頭像直徑的1.5倍；使用GrabCut算法獲得參考圖像中的頭像範圍，其中，第一個圓內部設定為前景，第一個圓和第二個圓之間設定為可能的前景，第二個圓外部設定為背景；接收用於調整頭像範圍的指令並根據該指令對該頭像範圍做出調整；使用GrabCut算法確定調整後的頭像範圍中的精確頭像範圍，其中，調整後的頭像範圍的邊緣曲線的內部設定為前景，外部設定為背景；從參考圖像中提取精確頭像範圍的圖像作為參考圖像中的頭像。
提取模組91還可用於：在參考圖像中的頭像範圍的邊緣設定多個控制點；根據指令對控制點的位置進行調整並根據調整後的控制點的位置確定調整後的頭像範圍。
合成模組92還可用於：確定參考圖像中的頭像的中軸線；將參考圖像中的頭像與虛擬試衣模特圖像中的模特身體區域拼接，並使中軸線與模特身體區域的中軸線在一條直線上。
以上結合具體實施例描述了《一種製作虛擬試衣模特圖像的方法和裝置》的基本原理，但是，需要指出的是，對該領域的普通技術人員而言，能夠理解該發明的方法和設備的全部或者任何步驟或者部件，可以在任何計算裝置（包括處理器、存儲介質等）或者計算裝置的網路中，以硬體、固件、軟體或者它們的組合加以實現，這是該領域普通技術人員在閱讀了該發明的說明的情況下運用他們的基本編程技能就能實現的。
因此，《一種製作虛擬試衣模特圖像的方法和裝置》的目的還可以通過在任何計算裝置上運行一個程式或者一組程式來實現。所述計算裝置可以是公知的通用裝置。因此，該發明的目的也可以僅僅通過提供包含實現所述方法或者裝置的程式代碼的程式產品來實現。也就是說，這樣的程式產品也構成該發明，並且存儲有這樣的程式產品的存儲介質也構成該發明。顯然，所述存儲介質可以是任何公知的存儲介質或者將來開發出的任何存儲介質。
還需要指出的是，在《一種製作虛擬試衣模特圖像的方法和裝置》的裝置和方法中，顯然，各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應視為該發明的等效方案。並且，執行上述系列處理的步驟可以自然地按照說明的順序按時間順序執行，但是並不需要一定按照時間順序執行。某些步驟可以並行或彼此獨立地執行。
榮譽表彰
2016年12月7日，《一種製作虛擬試衣模特圖像的方法和裝置》獲得第十八屆中國專利優秀獎。
