基本介紹
- 中文名：百度增強現實
- 外文名：DuMix AR
- 別名：百度大腦DuMix AR
- 定位：AR生態開放平台
- 官網：ar.baidu.com
- 發布時間：2017年7月
- Slogan：虛實融合，創所未見
發展歷程,產品介紹,行業套用,開發者生態,
發展歷程
- 2017年1月，百度宣布正式成立增強現實實驗室AR Lab（增強現實技術部前身）；
- 2017年7月，DuMix AR平台正式開放，開發者可以利用該平台推出AR產品，內容創作者也可以利用其中的AR編輯器製作AR動畫。
- 2017年8月，百度AR Lab升級成為百度ART（百度增強現實技術部），旨在依託百度大腦打造智慧型互動性的AR開放平台，以多維度資源輸出，為開發者提供一站式AR解決方案。
- 2017年11月，百度世界大會發布DuMix AR 2.0。
- 2018年7月，“Create 2018”百度AI開發者大會，百度 AR發布DuMix AR 3.0，發布三大創新技術能力、四項集成方案和兩大內容利器，賦能全球AR領域開發者與各行業合作夥伴的共建AR生態。。
- 2018年11月，百度世界大會百度AR發布視頻特效解決方案。
- 2019年7月，“Create 2019”百度AI開發者大會，百度全面升級DuMix AR 5.0平台，發布兩大AR互動系統——一體化人機互動與大場景物理世界互動系統；並以持續構建的虛實融合基礎設施和不斷變革的人機互動創新體驗，帶來六大行業解決方案。
- 2020年8月，百度大腦DuMix AR升級6.0，發布業內首個端雲一體虛擬形象構建及套用解決方案。
- 2021年8月，百度大腦DuMix AR 7.0發布，進一步降低技術套用門檻，提升套用效率及效果，使能力更智慧型，套用 更實用。
產品介紹
核心技術能力
構建虛實互聯的基礎設施，變革人機互動的創新體驗
- 人機互動——領先的人臉關鍵點檢測、肢體骨骼點/輪廓點檢測能力，超輕量級手部互動算法能力矩陣及完備的環境特效能力矩陣，套用於豐富的特效場景，持續創造AR人機互動新玩法。
- 視覺定位與增強（VPAS ）——依託百度深厚的計算機視覺技術能力發布全新視覺定位與增強服務(VPAS)，包含離線高精地圖構建/線上定位/融合跟蹤三大基礎模組，具備穩定實時跟蹤能力，支持室外大場景/室內場景厘米級高精度定位。
- 3D識別與跟蹤——國內領先的3D識別、跟蹤能力，支持實物的跟蹤識別。在創新性引入紋理特性與邊緣輪廓聯合最佳化的基礎上，可對日常生活及工業場景中豐富紋理或弱紋理的3D物體進行實時跟蹤。
- 3D 互動和特效渲染——超輕量、跨平台的移動端AR互動和渲染引擎。遊戲級AR 3D場景虛實互動效果，支持3D動畫表情、手勢、肢體等互動需求；基於PBR的逼真場景渲染實力，支持大規模場景渲染，支持實時物理特效，同時為開發者提供完善的腳本系統和靈活的API接口。
一體化人機互動
DuMix AR聚焦利用AI技術大幅降低3D虛擬形象的生成和互動門檻，將前沿的人臉三維重建技術、圖形計算與渲染技術、知識圖譜和語音語義識別技術相結合，實現了高效的虛擬形象智慧型生成、編輯與智慧型互動方案。
- 人臉特效：百度AR從自建人臉資料庫大數據中提取東方人臉型基底，並以此為基礎構建了一套穩定高效的用戶臉型三維重建算法，使得在進行人臉驅動表情估計時，能夠提取到更精確的表情結果。此外，基於百度飛槳PaddlePaddle高性能深度學習框架，人臉關鍵點檢測在大姿態、極端表情、遮擋等複雜場景下都表現出可靠的魯棒性和準確性。在這之上，拓展出人臉美型、美妝、3D道具及3D動畫表情等十餘項豐富的⼈臉特效能力，為全民小視頻、好看視頻等套用和華為、魅族等企業級合作夥伴提供了視頻特效拍攝方案。
- 手勢特效：百度AR建立了一系列業內領先的超輕量級（計算量小，體積小）手部互動算法能力矩陣，涵蓋手勢識別、指尖點檢測和手勢關鍵點檢測，除了常見的控雨等手勢控制操作，還能自定義手部特效、空間作畫等多種創意玩法。
- 肢體/環境特效：在移動端，百度率先實現了肢體骨骼點/輪廓點檢測跟蹤，支持人體實時定位與動作捕捉；同時以18點/59點兩種不同輸出方式，跨平台兼容各主流終端設備。包含人像分割、天空分割、頭髮分割、物體檢測等多項算法能力在內的環境特效能力矩陣，致力於打造人像與虛擬環境的自然融合，可以任意選擇背景替換、染髮、天空特效、動畫疊加等AR效果。
- 虛擬形象唇形驅動（Voice-to-Animation）技術：可以讓用戶輸入文本或語音，通過VTA API 自動生成與音頻流相對應的3D虛擬形象人臉表情係數，從而完成3D虛擬形象的口型和面部表情的精準驅動。
大場景物理世界互動
基於厘米級視覺地圖構建VPAS（視覺定位與增強服務），對大場景物理世界進行實時6Dof位姿跟蹤，實現實時動態互動。
- 離線高精地圖構建：百度AR在視覺信息要素積累的基礎上實現了一套完整的視覺地圖構建方案，即實行眾源數據採集模式，對用戶通過手機收集反饋的圖像數據進行處理分析，結合百度地圖的地理位置信息持續更新完善視覺地圖。百度AR已打通常見三維重建數據導入接口，並且兼容相同格式下的第三方數據，具備易集成特性和數據批量化生產能力。
- 實時定位與跟蹤：VPAS採用了最具前瞻性的視覺技術方案，以及兼容Google、Apple平台的持續跟蹤能力與獨有自研跟蹤能力共同構成的融合跟蹤方案，能夠支持當前市場主流機型的全場景體驗需求。同時結合百度視覺語義化能力，持續提升線上定位與實時跟蹤的穩定性和精準度。
行業套用
娛樂互動解決方案
百度DuMix AR聚焦精細美化方向，實現了虛擬特效貼紙、動畫表情、美化濾鏡等與人臉/人體的精準貼合，人像與虛擬環境的自然融合。兼容市場上絕大多數高中低端移動設備，能夠支持和滿足各類視頻、直播、實時通話等套用需求。
智慧型行銷解決方案
在智慧型行銷領域，百度將AR的趣味性與互動性融入虛實結合的全新場景，定義創意表達的不同形態，更多元化地向用戶傳遞品牌價值，提升行銷轉化率。
可口可樂城市罐
經典案例：2018.03，百度AR聯合可口可樂帶來16款城市罐，北京的范兒，大連的暢，上海的潮，成都的閒…讓你足不出戶，體驗到城市的獨特魅力。打開百度APP，選擇AR掃描可口可樂城市罐，一起來探尋城市的秘密。
可口可樂城市罐
經典案例：2018年11月，百度AR首次採用3D物體識別技術為可口可樂定製摩登熊抱罐，有效提升不同光照環境下瓶身的識別速率和準確率。實時監測當前時間，呈現白天/黑夜不同場景。
智慧型設備解決方案
通過將人機互動，智慧型感知和跟蹤等領先技術能力及視覺定位與增強服務（VPAS），與智慧型大屏、AR眼鏡、PAD等更多智慧型設備結合，AR技術將突破手機的約束為人們帶來解放雙手的AR互動新體驗，在公園、景區、商圈、店鋪等挖掘豐富的使用場景。
2018年，百度將肢體互動能力與智慧型大屏結合，AR打太極項目落地全球首個AI公園-海淀公園，獨特的健身互動方式受到了大家的廣泛關注，天津南翠屏公園、福州飛鳳山公園等先後引入，每天都有絡繹不絕的遊客前來體驗。
景區行業解決方案
基於端雲一體化的視覺定位與增強服務（VPAS），融合百度地圖場景化能力，百度DuMix AR為景區打造了覆蓋行前、行中、行後的全流程互動解決方案。用戶可以通過線上AR導覽進行實景體驗，依託VPAS探索景區知名地標並將關聯信息在現實空間疊加呈現。
合併圖冊
經典案例：2018.07，百度與長隆對外發布了聯合開發的“長隆AR動物園”智慧型小程式。用戶可以打開百度APP，語音搜尋“長隆AR動物園”或者文字搜尋相關關鍵字進入“長隆AR動物園”，這是一款基於AR現實增強技術開發、融合了AR渲染、圖像識別等多項百度AI技術的智慧型小程式。
經典案例：2019年百度AI開發者大會上百度AR發布VPAS（視覺定位與增強服務），首個落地套用案例便是“再現圓明園大水法”。當用戶跟隨百度地圖導航走進圓明園西洋樓景區，VPAS將識別出準確的位置信息，在大水法遺址上重新建立起100多年前雕欄玉砌、獵狗逐鹿的恢弘奇景。
教育行業解決方案
百度DuMix AR以領先AR技術為圖書/出版物進行數位化改造，將AR內容套用於豐富的教學場景。面向教育行業開發者和從業者，提供從SDK接入到內容生產製作全流程的平台級解決方案，針對不同年齡段定製化AR內容，推動教育領域套用的快速規模化落地。
百度AR數位化改造
經典案例：2018.05，百度AR技術落地教育認知領域，攜手VIPKID、愛奇藝賦能童教類產品，愛奇藝奇巴布創新融合AI、AR技術到產品中，進一步強化“智趣成長”的兒童品牌定位，打造“寓教於樂”式親子服務平台。
合併圖冊
經典案例：2019年5月，百度聯合公益組織壹基金，打造了一款為聽障兒童提供手語翻譯服務的小程式。依託三項AI能力：OCR文字識別技術、NLP自然語言處理技術以及AR增強現實技術，通過掃描故事繪本的文字，將內容翻譯成AR手語的動畫，幫助聽障兒童快速理解繪本故事。
汽車行業解決方案
百度將AR技術套用於汽車行業，可廣泛用於線上AR展示、產品說明及工業維修等各類產業相關場景，助力汽車產業上下游企業實現智慧型化轉型。同時，百度DuMix AR還將針對不同需求端場景，定製化提供從SDK到分發的整套嵌入式套用方案。
開發者生態
2、提供一站式AR解決方案，從技術上降低了AR開發門檻和成本，賦能全球AR領域開發者與各行業合作夥伴共建AR生態。
