《人工智慧安全治理框架》（下簡稱《框架》）是為貫徹落實《全球人工智慧治理倡議》，全國網路安全標準化技術委員會研究制定的檔案。
《框架》以鼓勵人工智慧創新發展為第一要務，以有效防範化解人工智慧安全風險為出發點和落腳點，提出了包容審慎、確保全全，風險導向、敏捷治理，技管結合、協同應對，開放合作、共治共享等人工智慧安全治理的原則。針對模型算法安全、數據安全和系統安全等內生安全風險和網路域、現實域、認知域、倫理域等套用安全風險，《框架》提出相應技術應對和綜合防治措施，以及人工智慧安全開發套用指引，為促進人工智慧健康發展和規範套用，提供了基礎性、框架性技術指南。
2024年9月9日，全國網路安全標準化技術委員會發布《人工智慧安全治理框架》1.0版。
基本介紹
- 中文名：人工智慧安全治理框架
- 發布時間：2024年9月9日
- 發布單位：全國網路安全標準化技術委員會
發布歷史,內容解讀,發布意義,
發布歷史
2024年9月9日，在2024年國家網路安全宣傳周主論壇上，全國網路安全標準化技術委員會發布《人工智慧安全治理框架》1.0版。
內容解讀
《框架》提出了包容審慎、確保全全，風險導向、敏捷治理，技管結合、協同應對，開放合作、共治共享等人工智慧安全治理的原則。
《框架》指出，人工智慧系統設計、研發、訓練、測試、部署、使用、維護等生命周期各環節都面臨安全風險，既面臨自身技術缺陷、不足帶來的風險，也面臨不當使用、濫用甚至惡意利用帶來的安全風險。
《框架》嘗試從內生（自身）安全和套用安全維度，對人工智慧安全風險進行分類。在內生安全風險層面，主要面臨模型算法安全風險、數據安全風險和系統安全風險。
以數據安全風險為例，《框架》指出，訓練數據中含有虛假、偏見、侵犯智慧財產權等違法有害信息，或者來源缺乏多樣性，導致輸出違法的、不良的、偏激的等有害信息內容。訓練數據還面臨攻擊者篡改、注入錯誤、誤導數據的“投毒”風險，“污染”模型的機率分布，進而造成準確性、可信度下降。
為防範數據安全風險，《框架》提出完善人工智慧數據安全和個人信息保護規範。針對模型算法安全風險，《框架》建議推進人工智慧可解釋性研究，構建負責任的人工智慧研發套用體系。同時《框架》提出，強化人工智慧供應鏈安全保障、風險威脅信息共享和應急處置機制，以更好地應對系統安全風險。
安全風險與技術應對措施、綜合治理措施映射表。
在套用層面，《框架》按網路域、現實域、認知域、倫理域等四類安全風險進行劃分。其中，網路域安全風險的一個表現在混淆事實、誤導用戶、繞過鑒權。
《框架》指出，人工智慧系統及輸出內容等未經標識，導致用戶難以識別互動對象及生成內容來源是否為人工智慧系統，難以鑑別生成內容的真實性，影響用戶判斷，導致誤解。同時，人工智慧生成圖片、音頻、視頻等高仿真內容，可能繞過現有人臉識別、語音識別等身份認證機制，導致認證鑒權失效。
現實域安全風險的重要體現是，當人工智慧與傳統領域結合而產生的隱患。比如，《框架》提到人工智慧可能被利用於涉恐、涉暴、涉賭、涉毒等傳統違法犯罪活動，包括傳授違法犯罪技巧、隱匿違法犯罪行為、製作違法犯罪工具等。
在認知域安全風險上，《框架》認為人工智慧廣泛套用於定製化信息服務，可能加劇“信息繭房”效應風險等。在倫理域安全風險上，則可能加劇社會歧視偏見、擴大智慧型鴻溝風險等。
針對這些安全風險，《框架》提出了多重治理措施。具體包括，實施人工智慧套用分類分級管理；建立人工智慧服務可追溯管理制度；加大人工智慧安全人才培養力度；建立健全人工智慧安全宣傳教育、行業自律、社會監督機制；促進人工智慧安全治理國際交流合作等。
如何建立人工智慧服務可追溯管理？《框架》認為，對面向公眾服務的人工智慧系統，應通過數字證書技術對其進行標識管理。制定出台人工智慧生成合成內容標識標準規範，明確顯式、隱式等標識要求，全面覆蓋製作源頭、傳播路徑、分發渠道等關鍵環節，便於用戶識別判斷信息來源及真實性。
《框架》還提供了人工智慧安全開發套用指引，針對模型算法研究者、服務提供者、重點領域使用者、社會公眾等不同角色，提出具體建議。
對社會公眾而言，《框架》建議其選擇信譽良好的人工智慧產品，提高個人信息保護意識，避免在不必要的情況下輸入敏感信息。同時，社會公眾在使用人工智慧產品時，應關注網路安全風險，避免人工智慧產品成為網路攻擊的目標。尤其是，注意人工智慧產品對兒童和青少年的影響，預防沉迷及過度使用。
值得一提的是，《框架》指出，目前人工智慧研發套用仍在快速發展，安全風險的表現形式、影響程度、認識感知亦隨之變化，防範應對措施也將相應動態調整更新，需要各方共同對治理框架持續最佳化完善。
貫徹落實《全球人工智慧治理倡議》,網安標委研究制定《人工智慧安全治理框架》(以下簡稱《框架》)。《框架》以鼓勵人工智慧創新發展為第一要務,以有效防範化解人工智慧安全風險為出發點和落腳點,提出包容審慎、確保全全,風險導向、敏捷治理,技管結合、協同應對,開放合作、共治共享等人工智慧安全治理的原則。
《框架》按照風險管理的理念,緊密結合人工智慧技術特性,分析人工智慧風險來源和表現形式,針對模型算法安全、數據安全和系統安全等內生安全風險和網路域、現實域、認知域、倫理域等套用安全風險,提出相應技術應對和綜合防治措施,以及人工智慧安全開發套用指引。
網安標委秘書處主要負責人表示,《框架》1.0版的發布,對推動社會各方積極參與、協同推進人工智慧安全治理具有重要促進作用,為培育安全、可靠、公平、透明的人工智慧技術研發和套用生態,促進人工智慧的健康發展和規範套用,提供了基礎性、框架性技術指南。同時,也有助於在全球範圍推動人工智慧安全治理國際合作,推動形成具有廣泛共識的全球人工智慧治理體系,確保人工智慧技術造福於人類。
發布意義
《框架》1.0版的發布，對推動社會各方積極參與、協同推進人工智慧安全治理具有重要促進作用，為培育安全、可靠、公平、透明的人工智慧技術研發和套用生態，促進人工智慧的健康發展和規範套用，提供了基礎性、框架性技術指南。同時，也有助於在全球範圍推動人工智慧安全治理國際合作，推動形成具有廣泛共識的全球人工智慧治理體系，確保人工智慧技術造福於人類。
