0 引 言

人工智能賦能智能制造會帶來哪些安全問題，安全問題的根源、類型以及應對之策如何，這些都是值得思考的問題。目前，很多應對之策尚未能實踐，且對策的有效性有待檢驗。

1 人工智能與人類社會的共生關系

人工智能與人類社會是一種和諧共生的關系。在人類社會發展中，人工智能賦能經濟發展， 使人類社會的生活更加美好，智能制造、智能醫療、智慧城市、智能農業、智慧城市發展十分迅速，智能醫療為老百姓帶來了更好的醫療資源，農業是我國經濟的基礎，智慧農業推動了農業發展的質量。

2016年，AlphaGo戰勝了世界圍棋冠軍， 而此類人工智能被稱為“專用的人工智能”，因為它越來越聰明，越來越高級。人工智能的專用功能、特殊功能應具有更強的通用性和適配性， 賦能各個領域的發展。未來，人工智能應能夠向“強人工智能”“超強人工智能”方向發展。

新一代人工智能發展能夠為人類社會帶來眾多變化，具體包括：

（1）知識組合。基于數字學習的機器算法給人工智能提供了非常新的發展途徑，知識獲得的手段和分析的過程往往較為碎片化。例如， 圖像識別與語音識別存在很大區別，各自具備不同的功能，系統的發展也是獨立的，各自發展自身的知識表達語言，但是，圖像識別與語音識別應當進一步向知識組合的方向發展。

（2）規劃決策。數據收集之后，其目的在于為各部門決策提供知識性意見。例如，企業需要了解哪些設備生產線已進入到大修階段，水庫管理部門需要知道雨季時水庫何時可以打開水閘泄洪，醫院里希望了解疫情控制的現狀，等等。在規劃決策中，人工智能的數據能夠提供很大的主觀幫助。

（3）自主學習。人類的知識積累過程不單單依靠課堂、書本，同樣依靠自主學習的能力，尤其學生畢業以后“單飛”，離開老師踏入社會之后，自主學習能力變得更為重要，需要更進一步的自主分析和解決問題。

（4）腦機通道。腦機通道是一種是人機協作的方式，旨在通過人工智能理解大腦如何思考問題以及作出決策。腦機結合技術幫助大腦分析問題、解決問題的能力較強，能夠作為一種有效的“助手”為人類服務。

（5）思維過程。現階段，很多認知都是基于數據的訓練，開發新的模型，幫助人類作出判斷。但是，人的智能不是單單靠知識積累，更是要靠思維的訓練。阿蘭·圖靈提出的原話是“機器能夠思考”，而非“機器能夠學習”，“思考”和“學習”的概念并不相同。例如，教師告訴學生，學習一門知識以后需要做到舉一反三，知識能夠帶來新的靈感，發現知識之間存在的聯系， 這種思維過程十分重要。“知行合一”強調知識要從行動中來，思考是加工消化知識的重要過程， 思維過程正是強人工智能需要實現的。

人工智能與人類社會是一種和諧共生的關系，在現實生活中，兩者之間的關系具體表現在四個方面：第一是輔助關系，這是通過機器協作的一種輔助關系，生產線機器人就屬于此類，機器為輔，以人為主；第二是人在回路，例如，大型無人機的控制背后仍是人類操作，而不是無人機自己發射導彈轟炸目標。“人在回路中”和“人在回路上”并不相同，但總體上看，人類參與了整個活動的過程，無論是感知、認知，還是決策；第三是人機交互，人機交互的設計時間很早，但界面設計不好，難以操作；第四是競爭關系，這是一種壞的關系，客觀意義上存在，部分工作會慢慢被機器人所替代。部分工作具有危險性，例如煤礦工作，很多人希望用機器替代，再比如銀行中的很多工作。未來，很多工作會不可避免地被替代，這是對人類并不太有利的生產關系。

在智能制造中的人工智能體系，可以從兩個方面分析。一方面，包括工業互聯網的工業制造架構，云計算等。云計算能夠大量收集數據，輔助決策，從上下游開始到場景質量、設備情況都能夠發揮作用。邊緣計算則強化了計算能力，也包括智能網關+智能感知。另一方面，企業希望通過運用人工智能技術，提高質量，降低成本。比如設備管理，利用人工智能可以有效監測設備的利用率，以及如何提高生產效率。再比如，智能制造中的監測技術，現階段，很多智能監測仍然是一種感官性的監測，需要通過人工的方式來度量，而人工智能能夠幫助作出更加標準的判斷。在狀態監測預警方面，比如說水箱里的水存量多少，壓力泵的壓力是否過高，中央指揮技術人員希望通過隨時掌握這些數據，這也是人工智能應用+大數據能夠做到的。在故障定位方面， 出現問題需要快速定位問題的來源，快速解決問題。在動態調度、業務服務方面，這些都和企業升級換代密切相關。

現階段，人工智能技術推動了實時計算、探索感知、智能決策。但是人工智能的安全可信問題值得關注，如果依賴人工智能技術作決策的話，應當保證決策是可解釋的，而且不能具備過高的安全風險。

智能制造框架分為四個層面：第一是基礎層面。既包括工業互聯網，也包括各種硬件和軟件作為支撐。如CCD、CMOS、語音、雷達、文本、藍牙、5G、WIFI、Zigbee、Lora等。第二是算法層面，人工智能算法發揮了很大作用，人工智能能夠實現圖像處理、計算機視覺、目標識別、狀態預測、態勢感知、強化學習、元學習、深度學習、遷移學習、時空分析等功能。第三是運維層面，企業層面包含三種中臺：數據中臺、業務中臺、任務中臺，存在協同分析的要求，希望與資源進行適配。第四是制造層面， 涵蓋了自動化測試，加強全流程監控，目前人工智能已發揮出作用。柔性制造和數字孿生的要求更高，如果從早期制造的三個環節設計過程中用虛擬技術來分析設計系統和用戶需求是否一致，數字建模就變成第一個難題，目前人工智能還沒有提供很有效的機制來幫助企業解決此類問題。柔性制造是廣大用戶所需求的，但從應用方面，給企業增加了負擔，過去生產線是建立在大批量生產基礎上，能夠保證質量、保證運輸、保證成本。而柔性制造意味著工序不斷地改變，即機器程序需要不斷地作修改，其難度較大，盡管計算機修改程序很容易，但是在機器運行過程中進行修改則會面臨非常大的風險。

在智能制造中，與人工智能相關產品形態非常豐富，有互聯互通帶來的新產品形態，運維管理產生的新軟件和工具，分析決策不僅可以為本企業所用，也可以為同行業內其他企業所用，也包括行業數據共享。

人工智能系統的投入較大，如果花費較大僅為自己所用并不可取，如果將此系統升級為一種平臺為大家所用，形成新的產品服務形式，這是構建新業態所需要考慮的。如果每家企業都考慮做本企業的工業APP，其投入、資源消耗將會十分巨大。

2 人工智能的安全風險

人工智能的發展同樣帶來了不同的安全風險，主要包含六個類型：

第一，技術不太成熟。現有的訓練場景不夠充足，自動駕駛車輛事故發生的原因很大程度源于此問題，原有的場景中缺少相關的訓練。

第二，不確定性環境。例如，達芬奇機器人通過探頭了解病人內部器官的癥狀，但如果開刀過程中病人出血了，污染了攝像頭，結果會導致環境信息的不準確，而在這種不確定環境中人工智能尚未有很好的處理辦法。

第三，偏見性。算法不是公平的，算法的設計應當處于公平的目的，但實際上算法并不公平，例如，國外的人工智能系統中存在的種族歧視、富人和窮人的偏見。為此，在機器模型設計中應當加強公平性。

第四，漏洞缺陷。在波音客機墜毀事故中， 其設計部門在波音，但是軟件公司并不在波音， 而是企業承包以后由幾個大學生設計重要的軟件，軟件難免存在漏洞缺陷。漏洞缺陷比想象的大得多，結果導致了悲劇的發生，而最終花費了很長時間才知道BUG的所在。

第五，隱私數據泄漏。例如，個人身份信息很容易被盜取，他人利用其注冊公司。再比如， 利用盜取的個人信息進行詐騙，往往會造成不同程度的經濟損失。

第六，政治影響。例如AI換臉，利用人工智能對領導人進行AI換臉，將會產生嚴重的政治影響。

從人工智能本身來看，存在三方面的安全缺陷，分別是物理層、算法層、應用層。面對物理層、算法層、應用層的攻擊類型多種多樣， 主要問題在于“攻”和“守”的地位不對稱，被攻擊方在明處，攻擊方在暗處，被攻擊方的弱點往往是暴露的，攻擊方可以利用各種方法發動攻擊。

人工智能的安全類型分為數據安全和算法安全。數據安全分為三個部分，數據隱私、數據質量、數據保護。無論是訓練機器所需的現場數據還是以后用它做服務的數據，數據的質量十分關鍵。算法安全包括三個方面：第一是魯棒性，環境發生變化能夠具有相應的韌性；第二是可解釋性，包括代碼功能正確性、對抗樣本影響；第三是可靠性，包括問題目標影響，軟硬件平臺依賴。

3 應對人工智能安全風險的對策

為應對人工智能的安全風險，可以圍繞以下七個方面加強應對：

第一，算法可解釋性。在需要了解或解決一件事情的時候，可以獲得我們所需要的足夠的可以理解的信息。黑盒算法缺乏透明性和可解釋性，難以分析和驗證。因此，需要進行建模前的數據可解釋性分析，構建可解釋性的模型，并開展模型部署后的可解釋性評估。

第二，隱私保護。人工智能算法存在矛盾， 隱私保護與知識挖掘之間不完全一致，數據挖掘可能會挖掘到個人隱私。

第三，公平建模。在算法實踐過程中，無論在采集階段、學習階段、部署階段都存在所謂的公平問題，最后建設模型希望能夠實現統計公平、個體公平、因果公平。

第四，可信驗證。可信驗證的引擎主要是對人工智能系統做驗證、仿真、測試，這是一種很重要的智能手段，通過提供系統性訓練和測試的可信保證，從而對成果進行定量形式化驗證。

第五，主動防御。雖然被攻擊方在明處， 攻擊方在暗處，但是被攻擊方同樣也有手段保護自己，通過安全評估、威脅者理解、預測手段等進行主動防御。

第六，倫理法律。人工智能倫理和治理成基本共識，國際社會探索建立廣泛認可的人工智能倫理原則，例如歐盟發布的《可信人工智能倫理準則》，經合組織批準和G20采納全球首個AI原則—“負責任地管理可信AI的原則”，中國發布《新一代人工智能治理原則—發展負責任的人工智能》，WAIC2019發布《中國青年科學家2019人工智能創新治理上海宣言》，以及微軟、谷歌、騰訊等主流科技公司相繼發布各自的AI倫理原則，等等。

第七，系統倫理。這其中既包含了哲學倫理的思考，也包括理論研究、工程學的考慮。從理念上看，希望構建一種人類和人工智共生的環境，不僅是希望人工智能系統具有廣義性， 實現開放性開發與公平競爭，實現人工智能的中立性、國際性。提了理念、目標以后還提了很多方法，這些方法都是我們要追求的方法。從開發原則上看，應當確保人工智能的連接與協作、透明性、可控性、安全性、保密性、隱私性、倫理性、易用性和說明性。

作者簡介：

何積豐（1943—），男，中國科學院院士、著名計算機軟件專家，主要研究方向為可信人工智能、計算機軟件理論及應用研究。

為便于排版，已省去原文參考文獻

來源：信息安全與通信保密