當地時間2024年06月03日，歐洲數據保護監督機構（European Data Protection Supervisor, “EDPS”）發布了供歐盟機構、團體、辦公室和機關（EU institutions, bodies, offices and agencies，“EUIs”）使用的關于生成式人工智能和個人數據保護的指南（“指南”、“本次指南”），為歐盟EUIs提供了在使用生成式人工智能（又稱AI）系統時處理個人數據的實用建議和說明，以促進其遵守適用于EUIs的歐盟第2018/1725號條例，即《關于在歐盟機構、機關、辦公室和辦事處處理個人數據方面對自然人的保護以及這些數據的自由流動，并廢除（EC）第 45/2001 號條例和（EC）第1247/2002 號決定的條例》（“條例”）等數據保護法律的要求。值得注意的是，該指南僅適用于歐盟機構、團體、辦公室和機關等具有“公共服務職能”的主體，對歐盟境內個人或企業等私主體僅具有一定參考價值。

在指南的開篇部分，EDPS表示其系以數據保護監督機構的身份發布該指南，以確保生成式人工智能系統遵守包括條例在內的數據保護規定，而非作為人工智能監督機構。EDPS意識到，條例本身沒有明確提到人工智能的概念，但是正確詮釋數據保護原則的過程對于人工智能系統不損害個人基本權利和自由至關重要。EDPS特別強調，盡管這一指南在起草時希望涵蓋盡可能多的應用情景，但由于人工智能技術發展迅速，提供生成式人工智能服務的具體工具和手段在發生快速變化，這一指南無法毫無遺漏地涵蓋生成式人工智能處理個人數據相關的所有問題，額外問題還需歐洲的相關數據保護主管機構具體分析。

具體而言，本次指南包括以下14方面內容：1. 什么是生成式人工智能？2. EUIs可以使用生成式人工智能嗎？3. 如何知道使用生成式人工智能系統是否涉及個人數據處理？4. 在開發或部署生成式人工智能系統的過程中，數據保護官扮演什么角色？5. EUIs想要開發或實施生成式人工智能系統，何時應進行數據保護影響評估？6. 在設計、開發和驗證生成式人工智能系統時，何時處理個人數據是合法的？7. 在使用生成式人工智能系統時，如何保證符合數據最小化原則？8. 生成式人工智能系統是否尊重數據準確性原則？9. EUIs使用生成式人工智能系統時，如何告知個人有關個人數據處理的情況？10. 條例第 24 條所指的自動決定如何處理？11. 在使用生成式人工智能系統時，如何確保公平處理并避免偏見？12. 個人權利的行使如何？13. 數據安全性如何？14. 還想了解更多嗎？

(一) 什么是生成式人工智能？

根據EDPS的描述，生成式人工智能是人工智能的一種，這一技術使用專門的學習模型設計來產生多樣化的輸出以執行不同任務或支持不同應用（如生成文本、圖像或音頻）。技術上講，生成式人工智能需要依賴于其“基礎模型”的使用，基礎模型是眾多生成式人工智能系統的核心架構和基準，不同的生成式人工智能系統通過對這一模型進行微調以針對具體的任務或應用。

在指南中，EDPS肯定了生成式人工智能作為新技術的價值，它在多個領域提供解決方案，可以增強人類社會的能力。然而這一技術也可能威脅到人們的基本權利和自由，這些影響在一些時候被人們忽視，沒有得到足夠的考慮和評估。

(二) EUIs可以使用生成式人工智能嗎？

EDPS原則上肯定了EUIs對生成式人工智能的使用。EDPS認為，在遵守EUIs具體自身的相關規則和所有可適用法律要求的前提下，EUIs完全可以開發、部署和使用生成式人工智能系統以提供公共服務。但EDPS同時強調，出于使用這一項新技術時對個人基本權利和自由的尊重，如果EUIs使用生成式人工智能時涉及到個人數據處理，那么生成式人工智能系統在其全生命周期內都應該在包括條例在內的法律框架運作，并明確不同數據處理角色在條例項下義務與責任的范圍。

EDPS希望EUIs可以建立一套“可信賴而負責的人工智能系統”，這意味著這一系統必須是透明、可解釋、前后一致的，以達到最大程度上確保個人數據公平處理的目的。

(三) 如何知道使用生成式人工智能系統是否涉及個人數據處理？

EDPS在這一部分的分析中首先注意到，生成式人工智能系統的生命周期中的各個階段（包括在創建訓練數據集、訓練階段、系統運行時的輸入和輸出等階段）都可能涉及個人數據處理。因此，EDPS表示，若相關生成式人工智能的服務提供者或開發者聲稱其應用不涉及任何個人信息處理（如僅使用匿名數據集或合成數據），EUIs應首先詢問該提供者或開發者已經采取了哪些具體措施來保證這一點，并對這些措施情況進行定期監控。

特別地，EDPS再次對于使用網絡爬取技術收集個人數據的做法進行鄭重警告。EDPS稱通過這種方式采集的個人數據是在個人不知情、違背期望的情況下進行的，被收集的個人可能完全失去對其個人信息的控制。EDPS還強調，即使是公開個人數據處理仍然受歐盟數據保護法規的約束。在這方面，在人工智能系統中使用爬取技術從網站收集數據并用于訓練目的，類似的做法根本上不符合相關數據保護原則（如準確性和數據最小化原則）。

(四) 在開發或部署生成式人工智能系統的過程中，數據保護官扮演什么角色？

EDPS首先指出條例的第45條所確立的數據保護官任務，其包括負責提供有關數據保護義務的信息和建議，協助數據控制者監控內部合規性并就數據保護影響評估的結果提供建議等。具體到使用生成式人工智能系統的背景下，EDPS認為最應關注的是確保數據保護官在其職責范圍內獨立地協調EUIs遵守條例規定。這意味著數據保護官需要了解所使用的生成式人工智能何時以及如何處理個人數據的信息、掌握這一系統關于個人數據的輸入和輸出運作方式以及基礎模型實施的決策過程。另一方面，數據保護官還需要在進行數據保護影響評估時向數據控制者提供建議。確保所有流程都在透明的基礎上得到適當記錄。最后，數據保護官應參與審查與人工智能模型提供商簽署的數據共享協議的審查過程，以確保完全合規。

EDPS特意強調上述合規操作并非數據保護官一人之職責，數據控制者應與EUIs內所有相關職能部門進行聯絡，包括數據保護官、法務、IT以及本地信息安全官，以確保EUIs使用符合條例規定且值得信賴的生成式人工智能系統。若可能，EDPS提議EUIs創立一個包括數據保護官在內的特別工作組，以協調實現上述目標。

(五) EUIs想要開發或實施生成式人工智能系統。何時應進行數據保護影響評估？

EDPS首先明確了條例對數據保護影響評估的基本要求：在任何可能涉及影響個人基本權利或自由的高風險數據處理之前，都應進行數據保護影響評估。特別地，條例尤其強調對于使用新技術進行個人數據處理行為的數據保護影響評估的重要性。對此EDPS指出，若是進行首次評估，EUIs應與數據保護官員進行商議。

具體到EUIs使用生成式人工智能的場景中，EDPS認為在進行數據保護影響評估時可以適當征求數據主體本人或其代表的意見。除了在使用這一新技術時進行初次評估，EDPS認為EUIs還需要定期進行數據風險監控和審查，這一原因在于生成式人工智能模型在運作過程中可能產生新的風險或加劇原有風險。EDPS強調數據保護風險評估工作以及其后的定期審查監控應該是貫穿整個生成式人工智能系統的生命周期，EUIs有責任識別、管理與使用生成式人工智能系統相關的風險，并對未識別出的風險保持警惕態度。對于無法通過合理手段進行緩解的數據風險，EUIs還需要咨詢EDPS處理。

(六) 在設計、開發和驗證生成式人工智能系統時，何時處理個人數據是合法的？

對于這一核心問題，EDPS指出EUIs在通過生成式人工智能處理任何個人數據時至少應從條例中找到一個合法性基礎。這一合法性基礎應當是清晰、精確、可預見的，以符合包括《歐洲人權公約》在內的框架性文件要求。即使是相關數據處理是基于行使公共權力，其法律基礎也必須在歐盟法律中明確地規定。特別地，EDPS特別對EUIs可能主要使用的兩種合法性依據，即“個人同意”和“合法利益”進行了分析：

1. 個人同意

EDPS承認“個人同意”可以作為使用生成式人工智能系統的合法數據收集基礎。EDPS指出條例要求“個人同意”必須有個人“明確、具體、自主且知情”的同意。EDPS希望EUIs在接受個人同意時仔細考慮其是否符合前述規定。此外，若個人撤回同意，雖然撤回之前數據處理仍然合法，但EUIs必須停止有關通過相關生成式人工智能系統進行個人數據處理操作。如果沒有其他合法處理基礎，EUIs還必須刪除相關數據；

2. 合法利益

EDPS認可歐盟通用數據保護條例（GDPR）項下的合法利益規定同樣可以作為數據處理的合法基礎。依據歐盟法院的判決，“合法利益”這一處理基礎包含三個前提條件：首先，所追求的利益必須是合法的；其次，該合法利益需要以處理個人數據的形式實現；最后，數據處理者所追求的合法利益不會優先于相關個人的基本自由和權利。EDPS指出，在生成式人工智能系統進行數據處理的情況下，數據主體的個人自由與“合法利益”存在一個不可預測的平衡過程。因此，EUIs有責任持續驗證相關系統提供商是否符合這一法律基礎。

(七) 在使用生成式人工智能系統時，如何保證符合數據最小化原則？

EDPS指出，條例第4條的規定數據最小化原則意味著數據控制者必須確保所處理的個人數據是充分的、相關的且僅限于與處理目的相關的必要范圍內。EDPS專門駁斥了所謂數據最小化原則不應適用于人工智能領域的論調，并認為所有數據控制者都有義務將收集處理的個人數據限制在目的所必需的范圍內，避免不加選擇地處理個人數據。對于EUIs而言，EDPS指出這意味著必須確保參與生成式人工智能模型開發的人員了解可用于最小化個人數據使用的技術程序，并始終考慮到使用這些技術程序以最小化影響。

具體而言，EDPS建議EUIs應開發和使用訓練有素的高質量數據采集模型。在類似高質量模型的作用下，相關數據可以在適當的數據治理程序框架內被恰當地標記和整理，以達到最小化收集范圍的目的。

(八) 生成式人工智能系統是否尊重數據準確性原則？

EDPS指出，條例項下要求的數據準確性原則要求數據必須是準確和最新的，數據控制者有義務更新或刪除不準確的數據。具體到人工智能領域，EDPS認為EUIs必須確保在生成式人工智能系統的開發和使用的所有階段中數據的準確性。EDPS指出，這意味著EUIs要驗證用于訓練模型的數據集，包括那些來自第三方的數據集。

盡管有上述措施努力確保數據準確性，EDPS指出生成式人工智能系統仍容易出現不準確的結果，導致影響個人的基本權利和自由。因此，EUIs應該仔細評估整個系統生命周期中的數據準確性，并考慮到如果無法維持準確性，則根本不應使用這些系統。

(九) EUIs使用生成式人工智能系統時，如何告知個人有關個人數據處理的情況？

EDPS指出，適當的信息和透明度政策可以幫助減少對個人的風險，并確保符合條例的要求。因此，EUIs在使用處理個人數據的生成式人工智能系統時，必須向個人提供條例要求的所有信息。向個人提供的信息必須應在必要時更新，以確保他們得到適當的信息并能夠控制自己的數據。

EDPS通過一個虛擬案例說明了EUIs所要向用戶提供信息的范圍：歐盟機構X正在準備一個聊天機器人，以幫助個人在其網站的某些區域獲取信息。該機構在數據保護官的幫助下準備了一份數據保護通知在其網站上提供，該通知包括有關處理目的、法律依據、控制者的身份以及數據保護官的聯系方式、數據的接收者、收集的個人數據類別、數據的保留以及如何行使個人權利的信息。該通知還包括有關系統工作原理以及可能使用用戶輸入改進聊天功能的信息。若歐盟機構X使用同意作為法律依據，則用戶可以隨時撤回同意。該通知還明確指出未成年人不得使用聊天機器人。在開始使用聊天機器人前，個人可以在閱讀數據保護通知后提供同意。

(十) 條例第 24 條所指的自動決定如何處理？

EDPS首先明確，使用生成式人工智能系統并不一定意味著進行自動化決定/決策。但一部分生成式人工智能系統提供通過自動化手段獲得的決策信息，若EUIs使用這些信息作出最終決策，則可能落入條例第24條有關“自動化決定”的范圍，需要按照條例要求進行適當的個人信息保護措施（包括但不限于個人至少有權獲得一些人為干預的選項并對自動化結果表達自己的觀點）。因此，EDPS指出在管理此類人工智能決策工具時，EUIs必須仔細考慮如何保障獲得人為干預的權利（這對某些完全自動化作出決定的人工智能系統尤為重要）。另一方面，EUIs也必須關注人工智能系統提供的信息在最后決策程序中的權重，是否對EUIs的最終決定有決定性影響。EDPS意識到，進行自動化決定或決策的人工智能系統將帶來包括不公平、不道德或歧視性的潛在獨特風險，且對弱勢群體及兒童風險尤為顯著。

為此，EDPS用一個其認可的虛擬案例大致說明EUIs應對“自動化決定/決策”采取的謹慎態度：歐盟機構X正在考慮使用人工智能系統進行工作申請的初步篩選和過濾。服務提供商C提供了一個生成式人工智能系統，該系統對正式要求進行分析并對申請進行自動評估，提供分數并建議下一階段要面試的候選人。在查閱了有關模型的文檔，包括統計準確性的可用措施并考慮到模型中可能存在的偏見，歐盟機構X決定至少在有明確跡象表明偏見風險已被消除并且精確度措施得到改善之前，不使用該系統。作為現有替代，歐盟機構X可能會決定使用一個“更簡單”的在線自動化工具來篩選工作申請（例如，通過IT工具自動檢查專業經驗或教育年限）。

(十一) 在使用生成式人工智能系統時，如何確保公平處理并避免偏見？

EDPS意識到了人工智能這一技術可能會放大現有的偏見，并可能納入新的偏見，這將造成倫理與合規上的雙重風險。EDPS指出，這些偏見可能在生成人工智能系統的開發過程中的任何階段產生，其主要來源可能包括訓練數據中的現有模式、方法錯誤甚至是人工智能監控者本身引入的偏見。

EDPS建議EUIs應該首先致力于發現偏見的問題，如使用針對其業務需求量身定制的輸入數據來測試和定期監控系統輸出是否有偏見。在了解決這一問題的基礎上，EDPS建議EUIs在生成式人工智能系統生命周期的所有階段，都要應用偏見最小化的程序，以確保公平處理并避免歧視性做法。為此，EUIs對相關算法的工作原理和用于訓練模型的數據進行監督是絕對有必要的。另一方面，作為公共機構，EUIs應設置保障措施避免過度依賴系統提供的偏見性結果。

(十二) 個人權利的行使如何？

由于技術本身的特殊性，EDPS意識到生成式人工智能系統本身對行使個人權利可能造成新的挑戰，包括在個人享有的訪問權、更正權、擦除權和反對數據處理權等方面。由于技術自身限制、更新或刪除這些模型中存儲的數據是非常困難的（有時會影響到模型的有效性）。因此EDPS指出，EUIs在使用人工智能時應進行適當數據集管理。例如，保持個人數據處理的可追溯記錄并允許追蹤其使用方式管理數據集，以盡可能可能支持行使個人權利。另一方面，數據最小化技術也可以幫助減輕類似風險。有鑒于此，EDPS敦促作為數據控制者的EUIs在生成式人工智能系統的全生命周期內都應當實施適當的技術、組織和程序措施，以確保個人有效行使權利。

(十三) 數據安全性如何？

作為一項新興技術，EDPS意識到了生成式人工智能系統可能會從技術上放大現有的安全風險并創造新風險。這一原因在于與傳統系統相比，生成式人工智能依賴于不可靠的訓練數據及復雜且不透明的系統。EUIs在提供涉及一般公眾的公共服務時（如健康領域服務），尤其更可能放大這些不利影響。EDPS指出，依照條例要求，EUIs應采取適當的技術和組織措施確保與上述風險相稱的安全水平。

就安全措施而言，EDPS注意到目前出現了模型反轉攻擊、提示注入、越獄等新興黑客攻擊方式，專門針對人工智能系統。對此，EDPS建議EUIs只使用可信來源提供的數據集，并定期進行驗證程序，包括對內部數據集進行驗證。此外，EUIs也應對員工進行培訓，教會他們如何識別和處理與使用生成式人工智能系統相關的安全風險。由于風險演變迅速，定期監控和更新風險評估也是必要的。

(十四) 還想了解更多嗎？

在這一部分，EDPS通過鏈接的形式展示了該機構之前的一些關于人工智能領域的工作成果，并列舉了一些其他機構的相關研究成果，以供參考。

EDPS并非GDPR項下的執法機關，本次發布的指南和建議措施效力上也無法作為監管規定直接適用，本次合規指南僅是針對使用生成式人工智能的歐盟公共服務機構，而非一般主體。盡管如此，由于條例的規定與GDPR在監管邏輯上有一定相似性（通俗地說，條例可以大致被理解為“歐盟政府版的GDPR”），EDPS本次出具的指南仍然對生成式人工智能這一新興領域的數據合規有不小的參考價值，具體體現在以下幾個方面：

(一) 對使用生成式人工智能系統的肯定

在指南的各個部分，EDPS都表達了對于使用生成式人工智能系統的肯定，認可這一技術進步可以對包括EUIs在內的各個歐盟機構的工作帶來幫助，EDPS并不反對在符合條例法律框架（主要涉及個人數據保護）的前提下使用這一技術。

值得注意的是，EDPS的確在本次指南中的一些分析及案例中反對了EUIs在特定情況下使用生成式人工智能系統，例如這一技術無法保證輸出數據準確性或無法保證完全消除輸出結果中的偏見等情形。在這些情況下，EDPS建議EUIs根本不使用這一技術。EDPS這一結論是基于數據準確性和輸出結果中的偏見等情形會根本上動搖條例下的合規性，且現有技術手段無法彌補（如進一步改進人工智能系統），因此只能選擇不使用，并非對生成式人工智能技術本身的懷疑。

(二) 使用生成式人工智能的法律基礎

從數據合規的角度出發，生成式人工智能系統的使用本質上是一種個人數據收集方法（無論是由一般主體還是歐盟團體），需要具有一定法律基礎。在EDPS本次指南的分析中，EDPS論述的生成式人工智能系統收集數據的法律基礎并沒有跳出傳統框架范圍：合法利益、個人同意或法律法規其他明確授權。因此，即使生成式人工智能的技術本身存在一定問題（如無法隨心所欲地刪除其中儲存的個人信息，可能會影響到整個模型架構），作為一項必不可少的法律基礎，包括EUIs在內的數據收集者仍應完全尊重使用者的同意權，給予使用者撤回同意及刪除信息的權利。若無法保障類似的合法基礎，EDPS本次指南中的傾向是先不使用該技術，這一“法無授權即不為”的監管思路對我國今后對于人工智能收集個人信息的探索有一定借鑒意義。

(三) 生成式人工智能技術帶來的新挑戰

在帶來技術便利性的同時，在本次指南中EDPS反復強調了生成式人工智能這一技術本身也會給個人的“基本權利和自由”帶來挑戰。客觀上說，這一挑戰并非是數據收集者（如EUIs）刻意為之的結果，而是這一技術本身的特點導致的。例如，在訓練模型中更新或刪除一些個人數據可能會影響到整個模型，即使是在使用高質量訓練模型的情況下，仍可能生成包含不準確虛假、帶有偏見信息的輸出，這些困難目前在技術上難以直接攻克。

根據對本次指南中EDPS的表態總結，EDPS整體上對生成式人工智能這一技術采取一種謹慎樂觀的態度：數據處理者應盡可能保障通過人工智能系統收集的個人數據與其他傳統途徑收集的個人數據在合規及安全性上沒有差別。基于人工智能技術的特殊性，EDPS建議采取的措施除了進行覆蓋全數據生命周期的影響評估、定期安全性審查和監控等傳統措施外，還加入了諸如通過輸入特定信息對人工智能系統進行定期測試，判斷其是否輸出偏見或違規個人信息等針對性措施。為了防范針對人工智能的新型數據攻擊，EDPS甚至創新性地提出使用“紅隊技術”（即模擬真實對人工智能系統的攻擊以測試漏洞）來進一步杜絕數據安全風險。只有在完全無法消除可觀數據安全風險的情況下，EDPS才建議不使用這一技術。

由此可見，面對暫時無法克服的技術難題，EDPS并沒有選擇“一刀切”的直接禁止管理思路，而是希望達成一個技術進步和數據安全之間的平衡，其用心值得我國在今后針對人工智能領域的監管借鑒。

【 特別聲明：本篇文章所闡述和說明的觀點僅代表作者本人意見，僅供參考和交流，不代表本所或其律師出具的任何形式之法律意見或建議。】