“雖然我們現在可能面臨很多(人工智能安全)的問題，但隻要我們能夠用防火牆或各種方式把攻擊門檻擡高，讓攻擊者無利可圖，人工智能系統就會安全。”9月16日，清華大學教授、人工智能研究院基礎理論研究中心主任朱軍在首屆人工智能安全大賽頒獎儀式暨主體技術論壇上說。論壇上，多位專家圍繞人工智能安全和治理展開熱議。有專家提到，人工智能邊界的不确定性是其很難完美防禦的原因，但隻要讓攻擊者的付出大于期望的收益，就可以認為安全了。

風險處于黑盒狀态

“錨定怎樣的發展理念、選取怎樣的技術路線，使下一代人工智能實現安全、可信、可靠的發展，将是我們這代人為未來智能世界繪制的藍圖底色。”中科院院士、清華大學人工智能研究院名譽院長張钹在緻辭中說。為了應對近年來因技術局限或者惡意應用導緻的人工智能安全問題，開展該領域的關鍵技術研究與攻防實踐成為産業進一步發展的關鍵保障。

據大賽主辦方之一——瑞萊智慧的首席執行官田天介紹，本次大賽是首個全國性的人工智能安全賽事，選取了當前人工智能安全領域關注度最高、相關風險最為嚴重的人臉識别安全、自動駕駛安全、深度僞造安全作為賽題。

“通過本次大賽的賽題設置以及所有選手的提交，我們發現人工智能安全問題具有以下三個非常典型的新的特點。”田天說，首先人工智能技術作為一項通用的普适性技術被應用在多個領域，一旦出現安全漏洞，可能影響人們日常生活的方方面面；其次技術複雜程度越來越高，人工智能安全風險往往處于黑盒狀态，導緻的損失也會更大；最後人工智能安全的風險維度除了公共安全、個人權益相關場景，已經拓展到國家安全、國際競争等方面。

在他看來，人工智能發展需要具備三大核心方面能力。一是要關注人工智能相關的數據安全問題。“為了實現人工智能的發展，我們需要在滿足對隐私數據保護訴求的同時充分釋放數據價值”——具體來說，就是在數據訓練、建模等環節部署數據安全技術。

二是關注人工智能的算法可靠。田天注意到，人臉識别、自動駕駛等複雜的人工智能系統算法中可能存在着大量的新型隐患或者被攻擊的風險，在算法模型外部署相應的安全防護組件可以有效提升人工智能系統抵禦模型竊取、對抗樣本等針對算法攻擊的能力。

三是通過技管融合防止技術濫用，保證應用安全可控。“新技術是一把雙刃劍”，他提醒，“我們需要避免新型技術被惡意利用，引發信息洩露、倫理困境等社會風險。”

不确定性使得人工智能很難完美防禦

一直以來，“達到何種程度的人工智能才是真正的安全”都是學術界和産業界共同關注的焦點問題。當人工智能安全已經顯現出新的特點，根據怎樣的理論标準，才足以驗證一項人工智能技術應用是否安全呢?

“人工智能本身不是一個孤立的東西”，朱軍指出，人工智能在運行環境中與基礎硬件等産生的諸多交互，以及其本身動态變化的邊界，使得目前難以用嚴格的、形式化的方法驗證一個人工智能系統的安全性。

北京郵電大學教授、網絡空間安全學院副院長鄧偉洪則從人工智能邊界的角度提出，即使像人臉識别這麼精準的人工智能技術，它的邊界依然很開放，一個準确率99.9%的模型很容易就會被攻破。再比如人臉活體檢測，從打印照片、三維面具發展到矽膠面具，無論采用何種算法檢測活體，總有更高級别的攻擊手段将其破解——“這種不确定性是人工智能很難完美防禦的原因”。

對此，朱軍試圖給出他的解決方法:隻要能夠通過防火牆等各種方式把攻擊的門檻擡高，讓攻擊者無利可圖，使得“攻擊的付出大于期望的收益”，就可以說人工智能系統安全了。鄧偉洪也認為，在面對不确定的人工智能時，這是“比較好的出路”。

不過，在多位專家看來，如何把握“門檻”的高度，還有賴于堅實的理論基礎。鄧偉洪指出，現在解決安全問題的方法是針對特定任務甚至特定場景的，還缺乏從數學上或模型理論上的安全保障。“我們不怕模型犯錯，我們怕的是犯錯了也不知道出于什麼原因，也不知道怎樣才能讓它下次不犯錯”，陳健生直言。

南都記者從會上了解到，北京航空航天大學教授、軟件開發環境國家重點實驗室副主任劉祥龍所在團隊已經開始着手人工智能安全評測工作。他強調，人工智能應用安全問題“是研究不完的，我們現在關心的是怎麼評估這類系統的安全性”。

比如首先要生成測試的數據以及樣本，包括自動駕駛、自動零售等不同類型。測試之後要分析系統安全性，從訓練方法、訓練技巧等角度評估不同配置生成的模型安全性如何。還要從數據段、模型段提供加固手段，以幫助模型、算法系統改善安全性。

人工智能治理要防止數據霸權

想要确保人工智能的安全，必然涉及人工智能的治理。今年以來，新加坡、歐盟、美國、中國等的監管機構和第三方機構紛紛發布人工智能治理測試工具箱、技術監管沙箱，推進人工智能治理的落地實施。

華為可信AI安全解決方案專家唐文觀察發現，歐盟的《人工智能法案》立法進程最快，它的關注重心在于人工智能是否會被濫用。“我們認為它(歐盟《人工智能法案》)實際是在推行負責任的AI，也就是AI治理過程中首先要求AI的參與方負責；如果你的AI系統産生了不良的後果，我能夠找到你的責任人。”他認為，當人工智能系統出問題的時候如何定責，是監管方非常重要的抓手。

反觀國内，鄧偉洪直言“人工智能治理是很大的問題”。他指出，人工智能已經在影響人們的生活，比如每天刷手機的時候推薦算法就在起作用，甚至影響人們的價值觀。

另一方面，他表示，以前有的隐私比如人臉信息很難獲取，但現在有人利用人臉識别技術能分析出很多東西，這是之前做不到的。“有了人工智能之後，數據、隐私保護可能比以前更難了……給相關的治理帶來更多的挑戰。”因此，他強調，人工智能治理要做到兩方面:防止數據霸權，以及數據、隐私的保護。

“如果管理人工智能技術，其實技術本身的責任沒有那麼大。”朱軍坦言，他把技術看作中性的東西，偏見或惡意可能來自采集過程，而不是算法或模型。他提到，現在人工智能的很多會議會要求投稿人就其提出的模型或者算法作聲明，告知這個技術對社會有什麼負面影響，也就是要在創造算法的時候考慮更多的社會責任，倒逼研究人員考慮最後的實際效果。比如把人臉識别用于監控的相關投稿可能就不會被會議所接收，因為可能涉及隐私。

在他看來，人工智能還處于相對比較早期的階段，目前還是要鼓勵技術發展，所以“從技術角度不應該監管(人工智能)，而是應該鼓勵它，但使用時可以監管它”。

采寫:南都記者 蔣琳 實習生 梁丙鑒