《人工智慧倫理治理標準化指南》是國家人工智慧標準化總體組、全國信標委人工智慧分委會2023年3月發布的指南。
基本介紹
- 中文名：人工智慧倫理治理標準化指南
- 頒布時間：2023年3月
- 發布單位：國家人工智慧標準化總體組、全國信標委人工智慧分委會
內容簡介
1 編寫背景
ChatGPT等大模型的出現不斷刷新著人們的認知極限，Al性能步趨近人類智慧型，並體現出極強的套用賦能潛力。人工智慧技術顛覆性地重塑著人類生活、工作和交流的方式，正在與人類社會融合為一。
作為一種具有顏覆傳統、改變人類未來的技術，人工智慧所帶來的隱私泄漏、偏見岐視、濫用惡用等倫理問題已引起“政產學研用”各界的廣泛關注。
本指南圍繞中辦國辦《關於加強科技倫理治理的意見》、科技部國家新一代人工智慧治理專委會《新一代人工智慧倫理規範》和外交部《中國關於加強人工智慧倫理治理的立場檔案》等政策檔案有關要求，重點圍繞以下四點開展研究：
1、人工智慧倫理概念和範疇
2、人工智慧倫理風險評估
3、人工智慧倫理治理技術
4、人工智慧倫理治理標準化
2 編寫單位
（排名不分先後）
山東人工智慧研究院
威麟 AIII 人工智慧國際研究院
廣東中科凱澤信息科技有限公司
中科南京軟體技術研究院
OPPO 廣東移動通信有限公司
國科礎石（重慶）有限公司
杭州量安科技有限公司
3 整體架構
本指南的編制，以人工智慧倫理治理標準體系的建立和具體標準的研製為目標。
一、概述
•概念和範疇
•國內外檔案分析
二、準則
•人工智慧
•倫理準則
三、風險分析
•人工智慧技術
•倫理風險分析
四、技術方案
•技術框架
•技術細節
五、標準化工作方案
•標準體系
•重點標準
六、發展趨勢
•發展趨勢
•下一步工作建議
七、研究重點
基於標準制定的視角：
- 明確人工智慧倫理治理概念範疇
- 細化人工智慧倫理準則內涵外延
- 人工智慧倫理風險分類分級分析
- 提出人工智慧倫理治理技術框架
- 研究人工智慧倫理治理標準體系
- 總結人工智慧倫理治理工作建議
4 人工智慧倫理概念
人工智慧倫理概念的內涵包含三方面：
- 人類在開發和使用人工智慧相關技術、產品及系統時的道德準則及行為規範；
- 人工智慧體本身所具有的符合倫理準則的道德編程或價值嵌入方法；
- 人工智慧體通過自我學習推理而形成的倫理規範。
通過闡釋倫理與道德、科技、科技倫理、人工智慧倫理的關係，進一步明確人工智慧倫理的準確概念。
5 人工智慧倫理準則
（一）增進人類福祉
（1）以人為本（For Human）：福祉、尊嚴、自主自由
（2）可持續性（Sustainability）：遠期人工智慧、環境友好、向善性
（二）尊重生命權利
（3）合作（Collaboration）：跨文化交流、協作
（4）隱私（Privacy）：知情與被通知、個人數據權利、隱私保護設計
（三）堅持公平公正
（5）公平（Fairness）：公正、平等、包容性、合理分配、無偏見、不歧視
（6）共享（Share）：數據傳遞、平等溝通
（四）合理控制風險
（7）外部安全（Security）：網路安全、保密、風險控制、物理安全、主動防禦
（8）內部安全（Safety）：可控性、魯棒性、可靠性、冗餘、穩定性
（五）保持公開透明
（9）透明（Transparency）：可解釋、可預測、定期披露和開源、可追溯
（10）可問責（Accountability）：責任、審查和監管
中共中央辦公廳、國務院辦公廳《關於加強科技倫理治理的意見》已明確五大類科技倫理原則。本指南針對人工智慧技術特性、當前主流國際觀點和我國技術發展現狀，基於標準化視角拆解、具象化各準則的要求，梳理細化出10項可實施性較強的人工智慧倫理準則，為後續具體標準的研製提供可操作性的方向。
6 人工智慧倫理風險來源及屬性
基於人工智慧的敏捷治理原則，圍繞人工智慧全生命周期，重點從數據、算法、系統（決策方式）、人為因素等4個維度，識別人工智慧倫理風險來源。
一、數據層面
（一）設計開發環節
數據主體採集授權相關風險；（隱私保護）
數據集的規模、均衡性等設計不足；（公平性）
數據預處理、模型訓練等環節數據處理流程安全問題；（隱私保護、安全）
數據預處理的質量問題，如數據標註準確率不足（公平性）
（二）驗證測試環節
模型評估等環節數據處理流程安全問題（隱私保護、安全）
測試數據集規模、均衡性等質量問題（公平性）
測試數據集與訓練數據集重複度高（透明及可解釋性）
（三）部署運行環節
模型部署環節數據處理流程安全問題（隱私保護、安全）
模型部署時的數據集完整性等質量問題（安全）
模型部署時的數據集均衡性不足等質量問題（公平性）
模型推理環節運行數據處理流程安全問題（隱私保護、安全）
模型推理環節運行數據泄露、缺乏對運行數據的有效可追溯技術（可問責性）
（四）維護升級環節
再訓練階段數據處理流程安全問題（隱私保護、安全）
（五）退役下線環節
數據退役階段數據泄露、留存數據末刪除（隱私保護）
二、算法層面
（一）設計開發環節
算法存在對特定人群以及性別歧視設計（公平性）
算法存在對個人和社會的惡意設計、潛在危害（向善性、可持續發展）
算法缺乏安全、可控性設計（安全、監督和決策）
模型訓練環節的算法產生偏見、不公平問題（公平性）
模型訓練環節的算法不可解釋問題（透明及可解釋性）
（二）驗證測試環節
模型評估環節的算法偏見問題（公平性）
模型評估環節算法安全問題（安全）
模型評估環節中缺乏有效的版本管理、不可追溯等問題（可問責性）
模型評估環節的算法不可解釋問題（透明及可解釋性）
（三）部署運行環節
模型部署環節的環境不可控（監督和決策）
模型部署環節的算法安全、韌性問題（安全）
模型部署環節的算法不可解釋問題（透明及可解釋性）
模型推理環節的算法安全、韌性問題（安全）
模型推理環節的算法不可控問題（監督和決策）
模型推理環節的算法濫用、誤用問題（監督和決策）
模型推理環節中缺乏有效版本管理、不可追溯等問題（可問責性）
模型推理環節的算法不可解釋、不可預測問題（透明及可解釋性）
（四）維護升級環節
模型更新時模型參數與配置不正確（安全）
模型更新時缺乏有效版本管理（可問責性）
（五）退役下線環節
模型退役時模型未徹底刪除或模型參數泄露（隱私保護、安全）
三、系統因素
人工智慧系統固有的不透明性、低可解釋性等特徵
系統漏洞、設計缺陷等風險，可能引發個人信息等數據泄露，工業生產線停止等社會問題，威脅個人權益、社會秩序、國家安全等。因此，人工智慧系統可能在諸多方面帶來一系列倫理風險。
四、人為因素
主要體現在人為造成的算法歧視：
- 由算法設計者造成的算法歧視
- 由用戶造成的算法歧視
7 人工智慧倫理風險分析方法
人工智慧倫理風險分析方法基於人工智慧倫理風險類別、風險責任主體和治理準則三大維度進行分析。
人工智慧倫理風險類別具體分為：
- 技術型：與AI技術特徵直接相關
- 套用型：由技術套用帶來的衍生效應
- （技術套用）混合型：受技術本身特徵與場景套用共同影響
風險責任主體歸類為：
- 技術主體：對應研發活動
- 管理主體：對應管理活動
- 套用主體：對應供應活動和使用活動
針對六大人工智慧成用場景展開分析：
- 自動駕駛
- 智慧型教育
- 智慧型媒體
- 智慧型醫療
- 智慧型電商
- 科學智慧型
8 人工智慧倫理治理技術
基於人工智慧生命周期的四個階段之間相互關聯，通過多個反饋迴路，循環將倫理技術方案嵌入到人工智慧產品全生命周期。其中：
相關基準數據集及診斷指標的合理性，從人工智慧產品設計之初就己確定，目前相關的基準敬據重以性別偏見、刻板印象偏見等為主，診斷指標句括公平性、隱私性和可鰹釋性等。
倫理嵌入技術是指將價值設計、隱私、公平、可持續等符合倫理準則的技術框架與路徑採用嵌入方式加入技術模組。
倫理評估評測（監管）技術是指在人工智慧產品和套用在開發和推廣過程中基於倫理原則進行技術審查。
9 人工智慧倫理治理解決方案
一、隱私性（Privacy）
（一）技術實現路徑
·數據隱私。
作為數據驅動的範式，強調數據集本身的準確性、完整性和隱私性。
·安全計算、聯邦學習、同態加密等相關技術
不直接訪問用戶數據隱私，分散式進行模型的訓練。
·隱私攻擊測試
有針對性的防禦技術，確保人工智慧模型的安全性。
（二）管理實現路徑
·“隱私保護管理工具”的使用貫穿於系統的全生命周期，其基本內容包括：
（1）個人信息安全影響評估
《中華人民共和國個人信息保護法》、GB/T 35273-2020
（2）數據出境評估
《數據出境安全評估辦法》
二、安全和魯棒性（Security and Robust）
（一）技術實現路徑
·對抗測試。
一般來說，對抗算法分為4個等級：隨機攻擊、盲盒攻擊等。
·博弈模型。
從博弈論的角度，將互動過程視為一個博弈模型。
·形式化驗證。
因為輸入擾動地選擇組合情況龐大，引入形式化驗證作為對抗測試方法的補充十分關鍵。
（二）管理實現路徑
·“安全性和魯棒性管理工具”的使用貫穿於系統的全生命周期，應考慮與技術工具配合使用進行協同治理，其基本內容包括：
（1）算法分級備案管理
（2）算法安全評估
（3）算法違法違規處置機制
（4）數據安全管理機制
三、透明與可解釋性（Transparency and Explainable）
（一）技術實現路徑
·數據可解釋。
基於數據分析和可視化技術，展示得出輸出的關鍵依據。
·特徵可解釋。
指評估特徵對模型的重要程度。
·模型可解釋。
直接構建具有高可解釋性的模型。
·邏輯可解釋。
在建模中融入人工經驗，使模型輸出與專家判斷更吻合。
（二）管理實現路徑
“可解釋性管理工具”的使用貫穿人工智慧系統的全生命周期，並結合披露對象的不同調整信息披露的形式和內容，其中包括：
（1） 披露對象識別要求
（2）算法可解釋性說明
（3）數據處理日誌
四、公平性（Fairness）
（一）技術實現路徑
·個體公平。
認為如果兩個人有相似屬性，則人工智慧算法應當做出相似決策。
·群體公平。
算法針對特定屬性的群體要做出相同的機率預測，包括人口結構均等、機率和機會均等。
·反事實公平。
受保護的屬性（如種族和性別）可能對輸出產生因果性影響。
（二）管理實現路徑
·“公平性管理工具”的使用貫穿人工智慧系統的全生命周期，其基本內容包括：
（1）數據集公平性說明
（2）系統運行機制說明
（3）產品適用性說明
10 人工智慧倫理治理標準體系
A 基礎共性標準包括術語、參考架構和測試評估，支撐標準體系中的其他部分；
B 治理技術標準旨在規範人工智慧倫理治理的支撐技術，加強對倫理問題事前控制的可操作性和規範性，輔助人工智慧倫理治理落地；
C 管理標準包含組織中為保障人工智慧倫理要求，所需要協調統一的管理事項的標準，提升人工智慧解決方家全流程的生產力
D 行業套用標準圍繞自動駕駛智慧型媒體等人工智慧倫理高風險高敏感領域開展“急用先行”的標準研究，引領相關產業發展。
11 相關標準研製建議清單
A 基礎共性
AA 術語
AB 參考架構
AC 測試評估
B 治理技術
BA 數據清洗
BB 倫理符合設計
C 管理
CA管理體系
CB 設計開發
CD 資源管理
D 行業套用
DA 自動駕駛
DB 智慧型媒體
DD 智慧型電商
DF 智慧型機器人
12 總結與展望
細化完善人工智慧的倫理準則，力爭凝聚全球各界發展新共識。
加速打造多方協同的治理模式，促進政產學硏用治理深度融合。
逐步強化支撐技術的實踐水平，跨越準則到可實施技術的鴻溝。
發揮急用先行標準的引領作用，引導產業健康發展高質量發展。
科技創新引領產業升級，先進標準支撐高質量發展，“雙輪驅動”釋放科技紅利。
13 下一步工作計畫
一是繼續深化人工智慧倫理治理相關研究，推動《人工智慧算法治理標淮化白皮書》等研究工作，針對公平性、可解釋性、隱私性等關鍵技術要素展開前沿研究；
二是加速人工智慧倫理治理標準體系建設，推動《人工智慧風險評估模型》《人工智慧可信賴規範》等擬立項國家標準立項，推動《人工智慧管理體系》等已立項國家標準研製；
三是完善人工智慧檢驗檢測基礎服務平台，遴選相關優質案例集，促進產業健康發展。
