當地時間2024年2月2日，歐盟各國代表對《人工智能法案》（以下簡稱“《法案》”）達成共識，《法案》或將在今年上半年正式通過歐洲議會表決並落地，或將成爲全球主要經濟體通過的首個人工智能法案。
《法案》規定了自身適用範圍，由於人工智能運用的全球性，以及數據與算法在互聯網的高流動性，《法案》的適用範圍規定實質上賦予了歐盟對於人工智能監管一定的長臂管轄權。即使第三國主體开發並部署在歐盟境外的人工智能系統，只要其輸出結果在歐盟境內使用，其提供者與部署者均將可被《法案》管轄，該思路與歐盟此前相關立法相似。
《法案》按照風險將人工智能分爲風險不可接受、高風險、風險有限以及低風險四類。《法案》明確指出了屬於風險不可接受的人工智能系統類別，並禁止其運用，涉及欺詐、人群生物分類、實時遠程生物識別等。對高風險人工智能系統的發展制定了全流程管理措施，涉及風險管理、信息披露、透明度、使用記錄、准確性與穩健性等方面。
《法案》達成一致並即將獲得通過是人工智能監管領域的標志性事件，將加速全球人工智能監管的立法工作。我國的《人工智能法》或將在2-3年內出台，美國或也將由於其大型科技企業受《法案》長臂監管，考慮調整其對人工智能監管的態度。
事件：
當地時間2024年2月2日，《人工智能法案》（Artificial Intelligence Act，以下簡稱“《法案》”）獲得了歐盟各國代表的一致同意，《法案》或將在2024年上半年正式通過歐洲議會表決並落地，該《法案》將成爲全球主要經濟體首個人工智能監管立法。此前，2023年年底，部分歐盟國家曾對《法案》部分要求提出修改意見，使得《法案》立法程序終止。此後，各方逐步達成一致。在2024年1月21日，歐盟委員會人工智能辦公室公布了《法案》全文的最終版本。
點評：
近年來，全球人工智能技術快速發展，對經濟社會發展和人類文明進步產生深遠影響，給世界帶來巨大機遇。生成式人工智能的出現更是加速了全球人工智能監管的進程。歐盟《人工智能法案》按照風險將人工智能分爲不可接受風險、高風險、有限風險以及低風險四類，並給出了人工智能的“負面清單”，以及針對高風險人工智能的發展制定了全流程管理措施。歐盟《人工智能法案》的達成一致是全球人工智能監管的標志性事件，其或將加速全球人工智能監管的立法工作，我國的《人工智能法》或將在2-3年內出台，由於美國大型科技企業在歐盟展業亦需適用歐盟《人工智能法案》，因此美國或也將調整其對人工智能監管態度。
一、《法案》具有一定域外長臂管轄權
《法案》規定了其適用範圍，包括：
一是在歐盟內研發人工智能系統（Artificial Intelligence System）並投入使用的人工智能系統提供者（Providers），無論這些提供者是否位於歐盟境內或第三國。
二是位於歐盟境內的人工智能系統部署者（Deployers）。
三是雖然人工智能系統的提供者和部署者均位於第三國，但該人工智能系統的輸出在歐盟內使用。
其中，人工智能系統指“可以不同程度的自主性運行，並且在部署後可能表現出適應性，同時對於明確或隱含的目標，可從其接收到的輸入推斷如何生成輸出的基於機器的系統（Machine-Based System）”。
提供者是指“开發人工智能系統或通用人工智能模型，並將其投放市場的自然人、法人、公共機構、機構或其他團體”。
部署者是指“在提供者授權下使用人工智能系統的任何自然人、法人、公共機關、代理機構或其他團體，但在個人非專業活動過程中使用人工智能系統的情況除外”。
鑑於人工智能運用的全球性，以及數據與算法在互聯網的高流動性，《法案》的適用範圍規定實質上賦予了歐盟對於人工智能監管一定的長臂管轄權。例如，即使第三國主體开發並部署在歐盟境外的人工智能系統，只要其輸出結果在歐盟境內使用，在大多數情況下，其位於歐盟境外的人工智能系統提供者與部署者均將屬於《法案》的適用範圍。這一思路與歐盟數據監管此前相關立法相似，以歐盟《通用數據保護條例》（General Data Protection Regulation，GDPR）爲例，其適用範圍包括：在歐盟境內有實體存在的個人數據控制人和個人數據處理人的處理數據行爲，不論該處理行爲、數據控制人或數據處理人本身是否發生在歐盟境內。
在適用範圍上，《法案》也明確了部分不適用的場景：一是專門用於軍事、國防或國家安全目的的人工智能系統。二是用於科學研究的人工智能系統。三是人工智能系統或模型在投放市場或投入使用之前的任何研究、測試和开發活動。四是自然人在純粹個人非專業活動過程中所使用人工智能系統。
此外，《法案》指出，歐盟致力於人工智能國際監管合作，以確保全球對於人工智能監管可以保持相對統一的法律確定性。這一表述可以視作歐盟對2023年11月美國、中國等28個國家與歐盟共同籤署聯署了關於人工智能國際治理的《布萊切利宣言》 （Bletchley Declaration）的回應。
二、《法案》按風險對人工智能系統進行分類監管
近年來，人工智能已在多個領域引起變革，成爲生產力革命的重要驅動力。
按照人工智能的行爲模式，可以大致分爲決策式人工智能和生成式人工智能。決策式人工智能發展已較爲成熟，在生活中已廣泛應用，其通過學習數據中的條件概率分布，實現對樣本的分類或預測，起到輔助決策或代替決策的作用。生成式人工智能則需通過大量數據以及多輪次的模型訓練以學習數據的生成方式，主要應用於生成新的文本、圖片、音視頻等。無論是決策式人工智能，還是近年來興起的生成式人工智能，都已經與人類的經濟活動息息相關，並在諸多領域引起變革。
人工智能系統是基於人工智能的能力，對於明確或隱含的目標，從其接收到的輸入推斷如何生成輸出的基於機器的系統。《法案》從風險的角度出發，將人工智能系統分爲四個類別：
第一，風險不可接受（Unacceptable risk）的人工智能系統，主要包括被認爲對人類構成威脅的人工智能系統。例如對人類生物特徵進行分類（Biometric categorization systems）等可能涉及歧視的人工智能系統。對於風險不可接受的人工智能系統，《法案》採取嚴格禁止（Prohibited）的措施，詳細的“負面清單”請參見本報告第三部分。
第二，高風險（High Risk）的人工智能系統，主要包括可能影響關鍵基礎設施的人工智能系統，其可能作爲關鍵基礎設施的構成部分（Component），涉及醫療系統、教育考試系統、招聘系統、司法系統等。對於高風險的人工智能系統，《法案》制定了全流程的風險管理措施，詳情請參見本文第四部分。
第三，風險有限（Limited Risk）的人工智能系統，是指使用者在使用人工智能系統時能夠清楚意識到在使用人工智能，且其決定不受人工智能控制。《法案》給出三個判定標准：一是人工智能系統旨在執行特定的程序性任務，例如將非結構化數據轉換爲結構化數據、將傳入文檔分類、用於檢測重復項等人工智能系統應用。二是人工智能系統旨在改進人類已完成的內容，例如學術論文潤色等任務。三是人工智能系統用於檢測人爲活動的偏差，例如教師教學評分等。對於風險有限的人工智能系統，《法案》要求其履行公开透明義務，在提供相應結果時必須標注其由人工智能生成。
第四，風險最小（Minimal risk）的人工智能，包括已經廣泛應用的人工智能系統，例如垃圾郵件過濾器等應用，不屬於《法案》監管範圍。
三、人工智能應用的“負面清單”
當前，人類已逐步意識到人工智能技術對各個領域造成變革的潛力，然而某些領域若任由人工智能進入將造成極大的社會風險。《法案》規定了禁止人工智能應用的場景，屬於不可接受風險類別。
一是禁止利用人工智能系統部署影響（subliminal）、操縱（manipulative）或欺詐（deceptive）相關工具，進而嚴重扭曲個人或群體行爲。例如，利用人工智能合成虛假圖片或視頻，通過虛假宣傳以影響個人或群體的行爲，進而引發顯著社會危害（significant harm）的情況。
二是禁止利用人工智能系統發掘特定人群的脆弱性（exploiting vulnerabilities）。這些人工智能系統可能通過發掘和分類年齡、殘疾、特定社會或經濟狀況而存在脆弱性的個人或特定群體，造成嚴重影響或重大傷害。例如，針對不同種族、性別、政治觀點、宗教的人群進行算法歧視。
三是禁止利用人工智能系統對自然人或其群體進行生物分類（biometric categorization），以避免對某些特定人群的不利結果。《法案》定義生物分類爲“根據自然人的敏感生物特徵數據將其歸爲特定類別的活動”。應當指出的是，《法案》嚴格禁止根據敏感特徵（attributes）對人群進行生物分類，所謂敏感特徵包括種族、政治觀點、協會會員、宗教或性取向等特徵。不過以合法方式獲得的生物信息數據庫爲基礎，對相關人群進行列示和篩選，以及執法部門對人群按生物信息進行分類這兩種行爲並不屬於嚴格禁止的範疇。值得注意的是，近年來部分商業機構通過大數據對人群進行劃分，進而進行推廣和營銷，甚至進行大數據殺熟的行爲可能涉及根據人群敏感特徵進行生物分類，未來上述行爲的規範邊界有待進一步明確。
四是禁止利用人工智能在公共場所使用“實時”遠程生物特徵識別（’real-time’ remote biometric identification）系統，即使出於執法目的。《法案》定義生物識別爲“自動識別個人生物數據，以建立將個人的生物識別數據與已存儲的生物數據庫比較以識別身份的活動”。《法案》在嚴格限制執法部門進行實時、遠程生物識別權力的同時，也給出了部分豁免情形，以保障社會安全。豁免情形包括：有針對性地尋找綁架、販賣人口等具體受害者以及尋找失蹤人員；防止自然人的生命或人身安全受到具體的、實質性的和迫在眉睫的威脅，或當前正在發生或者可預見的恐怖襲擊威脅；定位或識別涉嫌犯有刑事犯罪的人員。
《法案》高度重視生物數據在人工智能中的應用保護，延續了歐盟對於個人隱私數據保護的傳統。個人隱私在歐盟被視爲人權的一部分受到尊重與保護，且個人數據保護具有悠久的歷史傳統。早在1950年，歐洲委員會頒布的《歐洲人權公約》（European Convention on Human Rights）[1]第8條規定：“任何人都享有私人、家庭生活及其各項通訊被尊重的權利。”
五是禁止利用人工智能僅基於人格特徵等信息預先對自然人進行實施刑事犯罪的風險評估。
六是禁止人工智能從互聯網或電視錄像中無針對性地抓取面部圖像來創建或擴展面部識別數據庫。應當指出的是，在圖像識別等深度學習人工智能發展早期，從在线視頻中抓取面部圖像是獲取數據的主流途徑之一。《法案》的規定或將對之後的人工智能模型訓練造成影響，其數據來源或將進一步規範。
除此之外，《法案》主要基於當下人工智能的發展給出負面清單，隨着人工智能的發展，該類場景或將進一步擴充。
從過渡期來看，在《法案》正式生效後的6個月內，以上涉及的人工智能系統需進行關停或整改。
四、高風險人工智能監管要點
《法案》第二章（Chapter 2）對高風險人工智能制定了全流程的風險管理措施。重點環節如下：
在風險管理方面，應建立貫穿高風險人工智能全生命周期的風險管理體系。一是預先識別人工智能在按照預設目標使用、誤用的情況下可能存在的風險；二是針對可能存在的風險點，預設應對措施；三是需對高風險人工智能進行風險測試，測試可在整個开發過程中的任何時間點酌情進行，但必須在系統投入使用之前進行。
在信息披露與透明度方面，高風險人工智能系統的設計和开發應確保其運行足夠透明，使使用者能夠解釋系統的輸出和適當地使用它。高風險人工智能系統在正式推出前需撰寫高風險人工智能系統的技術文件，其需要證明符合《法案》規定的各項要求，並以清晰、全面的形式向該司法轄區的主管當局和公告機構提供評估高風險人工智能系統所需的必要信息，包括人工智能系統的基本信息、开發與訓練的技術框架、運行監測的詳細信息以及前述所需的風險管理體系等。
在人工智能系統的使用記錄方面，爲了確保人工智能系統功能的可追溯性水平，高風險人工智能系統在技術上應允許在系統生命周期內自動記錄事件。
在人爲監督（Human oversight）方面，高風險人工智能系統的設計和开發方式應包括適當的人機交互工具（Human-Machine Interface Tools），以便在人工智能系統使用期間受到自然人的有效監督。人爲監督的目的旨在防止或盡量減少人工智能系統在正常運行或被可預見誤用（misuse）的情況下，對人類健康、安全或各類基本權利的損害。
在准確性（Accuracy）、穩健性（Robustness）與網絡安全性（Cybersecurity）方面，高風險人工智能系統的設計和开發方式應使其達到一定水平的准確性、穩健性和網絡安全性，並在應用的全生命周期過程中保持穩定。一是高風險人工智能系統應將相關准確度指標在使用說明中聲明，使用戶對其預測的准確性充分了解。二是高風險人工智能系統應盡可能地應對系統內或系統運行環境中可能發生的錯誤、故障或不一致，保持系統的穩健性。三是制定人工智能特定漏洞的技術解決方案，以應對可能的網絡安全攻擊，包括“數據中毒（Data Poisoning）”等攻擊模式。所謂數據中毒指的是當計算系統受到有害或惡意數據“投毒”影響時的情況，在生成式人工智能的應用中更爲常見。
在責任與義務方面，《法案》規定高風險人工智能系統的主要責任人爲提供者（Providers），其需要確保相應的人工智能系統滿足前述的監管要求。提供者需要在其人工智能系統投入使用或進入市場後的10年內，確保司法轄區的監管部門可以隨時調用查閱相關技術文件。
從過渡期來看，《法案》規定高風險人工智能需在《法案》正式生效後的2年至3年內完成整改以符合法律要求。
五、對我國人工智能監管的潛在影響
歐盟在數據與人工智能等領域的監管立法走在全球前列，其法律文件往往對其他國家制定法律起到引領和推動作用。此前，2016年4月27日，歐洲議會（European Parliament）[2]通過《通用數據保護條例》（General Data Protection Regulation，GDPR），基本確立歐盟個人數據的保護規則，隨後世界各國紛紛出台本國的數據保護規則[3]，我國先後在2021年6月10日和8月20日通過了《數據安全法》和《個人信息保護法》。
《法案》達成一致並即將獲得通過，將加速其他國家在人工智能領域的立法工作，我國人工智能相關立法已至出台前夜。2023年，網信辦等七部門聯合發布了《生成式人工智能服務管理暫行辦法》。同時，《人工智能法》已列入國務院2023年立法工作計劃。考慮到我國的立法流程周期，參考GDPR出現後我國《數據安全法》與《個人信息保護法》的推出進程，未來2-3年內，我國的《人工智能法》或將正式出台。
值得注意的是，目前，美國在人工智能監管方面仍處於起步階段，立法機關和學界在是否需要新設一個聯邦機構來專門負責人工智能監管、是否需要進行與歐盟類似的全面人工智能監管立法等議題上仍然存在爭議。考慮到歐盟《法案》具有一定域外長臂管轄權，將對美國的大型科技企業在歐盟展業產生影響，美國或也將思考調整其人工智能領域的監管思路。
注：本文來自興業研究2024年2月6日發布的《金融行業 | 人工智能監管立法將迎裏程碑——評歐盟《人工智能法案》達成一致》，分析師：任圖南、陳昊、魯政委
標題：興業研究：人工智能監管立法將迎裏程碑
鄭重聲明：本文版權歸原作者所有，轉載文章僅爲傳播更多信息之目的，如有侵權行爲，請第一時間聯系我們修改或刪除，多謝。
