何曉冬，IEEE Fellow、京東集團副總裁、京東探索研究院院長、京東科技智慧型服務業務部負責人。何曉冬博士二十多年來從事自然語言處理和語言與視覺多模態智慧型等人工智慧領域的研究，是本領域世界級科學家之一，吳文俊人工智慧傑出貢獻獎獲得者。他發表了200多篇論文，引用4萬餘次，並多次獲得ACL傑出論文獎、IEEE SPS Best Paper等獎項。2018年加入京東後，他領導團隊聚焦智慧型技術的前沿突破及產品創新，打造了 “言犀”人工智慧套用平台，孵化了京東智慧型客服、互動式行銷業務，大規模套用在政務、醫療、零售、金融等行業。
基本介紹
- 中文名：何曉冬
- 畢業院校：清華大學(本科)、中國科學院(碩士)、美國密蘇里大學哥倫比亞分校(博士)
- 職業：科學家
- 主要成就：國際電氣與電子工程師協會（ IEEE ） Fellow
中國人工智慧學會（CAAI）Fellow
2022年度吳文俊人工智慧傑出貢獻獎
AI 2000人工智慧全球最具影響力學者
中國人工智慧產業發展聯盟副理事長 - 職務：京東集團副總裁、京東探索研究院院長、華盛頓大學兼職教授、京東科技智慧型服務業務部負責人
人物經歷,社會任職,學術貢獻,產業貢獻,所獲榮譽,人物觀點,
人物經歷
何曉冬本科畢業於清華大學，碩士畢業於中國科學院，後赴美國密蘇里大學哥倫比亞分校學習，獲得博士學位後加入微軟。從2012年至今任西雅圖的華盛頓大學電機與計算機系兼任教授、博士生導師。
二十載學術生涯中，何曉冬的研究貫穿語音識別、語言理解、圖像與語言多模態信息處理等領域。
何曉冬曾就職於美國微軟雷德蒙研究院十餘年，擔任首席研究員及深度學習技術中心負責人。
2018年加入京東至今，現任京東集團副總裁、京東探索研究院院長。加盟京東後，何曉冬一方面在北京、成都、矽谷等地組建語音語義與智慧型人機互動技術實驗室，聚焦多模態人機對話等前沿課題，另一方面組建智慧型客服產品部門推動實驗室產出的前沿技術落地到大規模產業套用。
基於其對自然語言理解和語言與視覺多模態信息處理的貢獻，2018年底何曉冬當選IEEE Fellow。
社會任職
何曉冬是IEEE Fellow，京東集團技術副總裁，京東人工智慧研究院常務副院長，深度學習及語音和語言實驗室的負責人。他還擔任香港中文大學（深圳），華盛頓大學（西雅圖），和同濟大學（上海）兼職教授，以及中央美術學院（北京）的榮譽教授。在加入京東集團之前，他曾擔任微軟雷德蒙德研究院深度學習技術中心的首席研究員和負責人。他的研究主要集中在人工智慧領域，包括深度學習，自然語言處理，語音識別，計算機視覺，信息檢索和多模態智慧型。他發表100餘篇論文, 谷歌學術統計引用數過萬次。他的工作包括深層結構化語義模型（DSSM），分層注意力網路（HAN），AttnGAN等，廣泛套用於語言，視覺，IR和知識表示等任務。他於2019年入選國際電氣和電子工程師協會院士（IEEE Fellow）。他於1996年獲得清華大學（北京）學士學位，1999年獲得中國科學院（北京）碩士學位，2003年獲得美國密蘇里大學哥倫比亞分校博士學位。
學術貢獻
何曉冬發表了200多篇論文，引用4萬餘次。多次獲得ACL傑出論文獎、IEEE SPS最佳論文獎等獎項。提出多個基礎方法和經典模型，推動和啟發了眾多國內外科技創新：
2013年，提出了深度結構化語義模型DSSM（Deep Structured Semantic Models），將多樣化的自然語言所表達的含義表示成為一個多維度連續語義空間中的向量，以此來幫助搜尋、推薦、分類、問答等實際套用。時至今日，幾乎所有做搜尋推薦場景的大廠仍在使用DSSM及其衍生模型。
2014年，他與深度學習三巨頭之一Yoshua Bengio等人給IEEE TASLP投稿的《Using RNN for Slot Filling in Spoken Language Understanding》，提出了基於深度循環神經網路的口語理解模型，為口語理解領域帶來突破。
2018年的時候，何曉冬就提出了語言 - 視覺深度多模態語義模型（DMSM），以及在 2018 年進一步提出了現在業界廣為採用的 Bottom-Up and Top-Down attention（BUTD）跨模態注意力機制，單篇引用量已超過 4128 次，一直推動和見證了多模態技術的實用化。
2018年，何曉冬與沈向洋、李笛等人在中國工程院刊FITEE發表論文《From Eliza to XiaoIce: Challenges and Opportunities with Social Chatbots》，深度探討了構建先進人機對話系統的設計原則，獲得業界廣泛關注，並獲得2018年度優秀論文獎。
產業貢獻
何曉冬團隊研發的語言和視覺多模態智慧型機器人三部曲，包括Caption Bot、Attentive VQA、Drawing Bot，為行業貢獻了大量的技術實例。其研究成果對微軟產品如 Office、Seeing AI、搜尋及廣告、智慧型雲服務、微軟小冰等有著重要價值。
加入京東後，他先後在北京、成都、矽谷等地組建智慧型人機互動技術實驗室，並組建了智慧型客服產品部推動技術的產業化落地。他領導團隊研發了業界第一個大規模商用情感智慧型客服系統，服務超過5億用戶，並在多個行業落地大型企業標桿案例與成功實踐。
何曉冬延續了此前在對話式 AI、多模態等領域的研究，牽頭搭建了京東內部大規模對話式 AI 系統的搭建工作，聚焦於To B為主的真實場景的具體問題和任務驅動型的對話。並帶領團隊將一系列研究成果迅速轉化，套用在京東的智慧型服務業務中，包括知識融合的預訓練模型 K-PLUG、長文本閱讀 Read-over-Read 模型、數值推理 OPERA 模型、時序知識圖譜 TSQA 模型等。
何曉冬和團隊研發了產業界第一個大規模商用的情感智慧型客服系統—言犀，涵蓋客戶服務、行銷導購、流程自動化等客戶全生命周期管理與服務的智慧型化解決方案。言犀是業界首個大規模商用的情感機器人，依託前沿AI技術，實現了從文字、語音到多模態，從對話智慧型到情感智慧型的多元互動模式，通過“線上諮詢機器人”、“語音外呼”、“語音導航”、“語音應答”、“數字人”等在內的產品及服務矩陣，在京東內部，言犀早在強有力的研發力量與京東無可比擬的場景優勢加持下，言犀有足夠的底氣，打磨出業內更出色的智慧型服務系統——服務5.5億用戶，覆蓋近1000萬自營商品SKU，沉澱超過3000萬知識點、7*24小時全渠道秒級回響能力，識別率超過95%。
2022年，何曉冬帶領團隊推出言犀2.0，伴隨著產業數位化的浪潮，作為京東集團最佳實踐的言犀也將自身成熟的能力開放出來，為政務、金融、零售、製造、物流、醫療等千行百業，提供以用戶為中心的、涵蓋客戶服務、行銷導購、流程自動化的整體智慧型化解決方案，助力政企客戶實現服務和行銷數智化轉型升級。
在政務行業，推出了京東雲智慧型政務熱線解決方案，以科技力量助力全國各地政務熱線數智化升級。
在金融行業，江南農商銀行與京東智慧型客服言犀共同合作推出的VTM數字員工正式“上崗“，是全國第一個能獨立、全程辦理銀行真實交易的數字人。
在製造行業，京東雲與中聯重科聯手打造的業內首個“泵送機械AI專家診斷系統”，依託京東智慧型客服團隊成熟的技術能力，以人工智慧技術為驅動實現工業自動化與智慧型化，極大提升了設備故障診斷效率，有效保障了客戶施工的連續性，每年可幫助售後團隊節省故障排查時間4200小時，單次設備維修時間縮短了20%以上，為單產品線創造間接經濟效益超過230萬元。
2023年7月，何曉冬所帶領研發的言犀大模型正式對外發布，言犀大模型融合了70%的通用數據與30%京東數智供應鏈原生數據，具有“更高產業屬性、更強泛化能力、更多安全保障”的優勢，致力於面向知識密集型、任務型產業場景，解決真實產業問題。
所獲榮譽
ACL傑出論文獎
IEEE SPS最佳論文獎
2019年獲得多跳推理機器閱讀理解（Wikihop）第一名（Tu, et al. ACL 2019）
2020年文檔級關係抽取DocRED第一名（Zhou, et al. AAAI21）
2021年獲得可解釋的多跳推理機器閱讀理解（HotpotQA）第一名（Tu, et al. AAAI 2020）
2021年獲得多輪對話式機器閱讀理解（QuAC）第一名（Zhao, et al. EMNLP 2021）
2022年離散推理型閱讀理解榜單DROP Leaderboard冠軍
2023年5月6日，中國智慧型科學技術最高獎“吳文俊人工智慧科學技術獎”頒獎典禮在北京舉行，60個獲獎項目及個人受到表彰獎勵。京東集團副總裁、京東探索研究院院長何曉冬獲頒“吳文俊人工智慧傑出貢獻獎”。
人物觀點
產業AI的核心是服務實體行業，在複雜、真實場景中最大化AI價值。
何曉冬指出：“在多年的技術落地實踐中，我們意識到，用AI來提升、賦能傳統實體行業才能最大化影響力和套用價值，傳統實體行業的體量足夠大，提升1%就能創造巨大的套用價值。”
首先，傳統實體產業體量大，新增價值更顯規模化效應。傳統實體行業是國民經濟的重要支柱，已積累的大規模數據可以為Al嵌入提供充足燃料，簡單提升即可創造巨大價值；其次，傳統產業能帶動技術升級的生態鏈裂變，傳統行業已經形成規模化上下游生態，技術變革將牽動整體生態鏈價值提升。
除此之外，傳統實體產業轉型積澱深、門檻高、場景複雜，企業需求各異，定製化程度高。傳統實體行業各有特點，需要採集數據、清洗數據等，一個綜合性AI系統遷移成本低、適用能力強，更核心的能夠產生一些實際的價值。
產業智慧型時代，企業應堅定長期投入
相比於通用大模型，何曉冬更看好有產業套用價值的大模型，強調“布局大模型應結合具體場景，從產業價值出發”。
“大模型應該產業化才能產生價值，而且在落地產業的時候必然會遇到很多問題，這樣才能不斷疊代進步。”何曉冬表示。在他看來，“企業擁抱大模型產業機遇，還是要堅持長期主義，堅定長期投入。”
下一步AGI將走向多模態和具身智慧型
“理論上視覺信息中每個物體和物體之間的關係動作，甚至包括顏色、姿態、空間關係以及時間關係，都蘊含著大量的知識。但目前的知識網路還是在文字層面，通過調用一個簡單的API實現的多模態，並沒有真正實現語言信息和視覺信息的融合，所以從智慧型湧現角度來說，深層次融合的程度”，何曉冬表示。
何曉冬預測，也許明年或下一代的GPT大模型就能夠做到。多模態的智慧型湧現一旦突破了，將會有一個很驚艷的效果。“自然語言處理是有語義的，但其實視覺也有語義，從視覺最底層的像素，再往上構造成物體，再往上就變成語義，然後再往上就是整體的融合。我感覺是如果能達到那一步應該會有很多的想像空間，可能真的能夠把整個宇宙數位化了。”
