2019年，瑞典數(shù)據(jù)保護局對一所高中開出罰單，認為校方使用人臉識別技術(shù)進行考勤違背了“必要性”原則，人臉信息的敏感性更高，校方完全有其他低風險的選擇。這也是歐盟通用數(shù)據(jù)保護條例GDPR通過后的首張罰單。

必要性之外，GDPR還列出了諸多原則，“相稱性”要求在使用目的和手段之間權(quán)衡利弊，“目的限定原則”要求，出于某個特定目的采集的數(shù)據(jù)不能被用于其他“不相容”目的，“數(shù)據(jù)最小化原則”則要求不得過度采集。然而，這些設(shè)想美好的原則在實操環(huán)境已經(jīng)遭遇了各種問題。

本文譯自紐約大學AI Now研究中心的報告“Regulating Biometrics: Global Approaches and Urgent Questions”（生物識別技術(shù)監(jiān)管：全球舉措及關(guān)鍵問題）第一章，為便于理解，我們對原文進行了必要的補充和修改。

2019年，中國藥科大學部分試點教室安裝了人臉識別攝像頭，用于日常考勤和課堂紀律管理，試圖杜絕逃課和“替同學簽到”的現(xiàn)象，但此舉也引發(fā)爭議。圖片來源：東方IC

許多地區(qū)的公共部門正將生物識別技術(shù)應(yīng)用于城市基礎(chǔ)設(shè)施建設(shè)，對此數(shù)據(jù)保護法能做什么？

必要性（necessity）和相稱性（proportionality）是國際人權(quán)法中基本的合法性原則，這也反映在世界各地的數(shù)據(jù)保護法中。這兩大原則要求，非必要情況，不得侵犯隱私或數(shù)據(jù)保護權(quán)利，且應(yīng)當在使用方式和預期目標之間平衡。相稱性原則在世界各國的隱私權(quán)判例中也極為重要，當然存在一些地區(qū)差異，其測度通常也會權(quán)衡個人隱私與可能與之沖突的其他權(quán)利或公共利益。

數(shù)據(jù)保護法中，這些原則體現(xiàn)在可采集的數(shù)據(jù)類型、使用方式及可存儲時間上。GDPR和一些類似的數(shù)據(jù)保護法列出了“數(shù)據(jù)最小化”原則（data minimization），要求機構(gòu)可采集的個人數(shù)據(jù)需限制在“充分、相關(guān)，就使用目的而言必要”的程度。就執(zhí)法機構(gòu)而言，《數(shù)據(jù)保護法實施指令》（Data Protection Law Enforcement Directive，DP LED）要求采用更高的標準來判定采集生物識別數(shù)據(jù)是否“必要”。

這些規(guī)定質(zhì)疑，很多場景下，是否有收集生物特征數(shù)據(jù)的必要。例如，瑞典數(shù)據(jù)保護委員會（Swedish Data Protection Authority）判定，校方出于考勤目的使用人臉識別違背了“相稱性原則”，因為有其他侵入性更小的手段，進而在學校中禁用人臉識別。法國數(shù)據(jù)保護局（French Data Protection Authority，也被稱為CNIL）和馬賽地區(qū)法院也做過類似裁定，禁止在法國采用人臉識別考勤系統(tǒng)。

為確保人道主義援助物資的有效發(fā)放，國際紅十字會使用了生物識別技術(shù)，但他們并未將這些數(shù)據(jù)視作“金礦”，而是放棄建立一個中心化的數(shù)據(jù)庫。圖片來源：國際紅十字會官網(wǎng)

本報告中，Ben Hayes和Massimo Marelli將會談及國際紅十字會（ICRC）的案例，他們在分發(fā)人道主義援助物資時使用了生物識別技術(shù)，同時注意保護“相稱性”原則。紅十字會會確定有必要使用生物識別系統(tǒng)，但他們設(shè)計了一套去中心化的系統(tǒng)，由用戶持有安全存儲自己生物識別數(shù)據(jù)的卡，紅十字會不會保留或為了其他目的使用這些數(shù)據(jù)，也放棄建立數(shù)據(jù)庫。如果人們希望撤銷或者刪除自己的數(shù)據(jù)，只需退還卡片，或者自行銷毀。

（編者注：在接受澎湃新聞采訪時，Amba Kak談及，想象一個中心化的數(shù)據(jù)庫，存儲了大量難民的生物特征數(shù)據(jù)，它會被視作“蜂蜜罐”honeypot，紅十字會選擇放棄打造這樣一種數(shù)據(jù)庫。）

不幸的是，實際生活中，人們鮮少使用這些原則去挑戰(zhàn)生物識別系統(tǒng)和數(shù)據(jù)庫的創(chuàng)建，特別是系統(tǒng)初步建立或“試點”階段。通常，對“必要性”的論述是為了促成生物識別系統(tǒng)的應(yīng)用（編者注：如企業(yè)出于合規(guī)目的），而非限制。

即便一些國家或地區(qū)的法律中提及數(shù)據(jù)最小化原則，在面對“效率”、“法律和秩序”或“國家安全”等詞語時，政府會為技術(shù)應(yīng)用大開綠燈，而不會審查目的與手段是否相符。

2020年，歐洲數(shù)字權(quán)利組織（EDRi）發(fā)布了關(guān)于生物識別監(jiān)控的報告，歐盟通用數(shù)據(jù)保護條例GDPR在各國的實施力度不一，報告認為，雖然各國都設(shè)置了國家級別的數(shù)據(jù)保護委員會，但它們?nèi)鄙儋Y源，相對弱勢。

一些國家尚未出臺數(shù)據(jù)保護法，也未成立數(shù)據(jù)保護主管機構(gòu)，面對將生物識別數(shù)據(jù)納入國民身份系統(tǒng)的項目時，人們通常會忽略相稱性原則，容易認同“技術(shù)更高效”等泛在話語，甚少去討論，是否存在替代性、較少侵權(quán)的方式。

“目的限制”原則（purpose limitation）限制了超出最初采集數(shù)據(jù)用途之外目的的數(shù)據(jù)使用，出于特定用途采集的數(shù)據(jù)不可用于其他“不相兼容”的目的。然而，泛化的“安全”要求常常模糊了犯罪、福利和移民程序之間的界限，對“兼容”做了模糊化處理（編者注：即哪些使用目的“相互兼容”？誰說了算？）。

在美國聯(lián)邦安全社區(qū)計劃（S-COMM）之下，各州都需向罪犯數(shù)據(jù)庫和移民數(shù)據(jù)庫提交被捕者的指紋，移民和海關(guān)執(zhí)法局（ICE）可以訪問這些信息。在美國多個州，ICE還要求對駕照數(shù)據(jù)庫進行人臉識別搜索的權(quán)限。澳大利亞內(nèi)政部則一直在對各州駕駛執(zhí)照數(shù)據(jù)庫進行匯總，以用于更廣泛的警務(wù)和執(zhí)法目的。印度將生物識別納入國民身份ID的Aadhaar計劃，最初是為了匹配社會福利和物資發(fā)放，但政府也表示可能在特定情況下出于國家安全目的使用這些數(shù)據(jù)，印度國家犯罪記錄局（National Crime Records Bureau）已公開表示，希望利用該系統(tǒng)開展刑事調(diào)查。這些系統(tǒng)的設(shè)置可以規(guī)避和消除數(shù)據(jù)使用的目的限制。

法規(guī)應(yīng)在多大程度上依賴技術(shù)標準制定機構(gòu)所設(shè)定的性能和準確性標準？

目前，圍繞生物識別技術(shù)的討論關(guān)注準確性和“誤差率”的度量標準，在機器學習領(lǐng)域，它們也被用來比較不同系統(tǒng)的性能。為“證明”系統(tǒng)的有效性，證明自動化相優(yōu)于人工，開發(fā)、營銷和應(yīng)用系統(tǒng)的人會聲明自己使用的這種系統(tǒng)具有一定的準確性（accuracy claims）。

然而，面對某些根據(jù)狹義標準測度出的、聲稱具有“高準確率”的人臉識別系統(tǒng)，當人們按照年齡、種族、性別和殘疾等人口統(tǒng)計數(shù)據(jù)進行細分時，準確率降低了。而“誤差”并非均勻分布，時常含有種族、性別、體能偏見（編者注：即對殘障人士更不友好），與既有的不平等相關(guān)。

為解決這一問題，研究者呼吁對特定人群和表型亞組的（編者注：系統(tǒng)識別）的準確性進行審核，并采取措施對系統(tǒng)誤差進行糾偏。

審核需要求助于技術(shù)標準制定機構(gòu)，設(shè)定系統(tǒng)準確性、性能和安全性的行業(yè)準入基準。比如美國國家標準技術(shù)研究院（NIST）2019年推出的“人臉識別供應(yīng)商測試”，他們可以評估算法在面對數(shù)據(jù)集涵蓋的不同統(tǒng)計人群時的差異。

美國國家標準技術(shù)研究院NIST推出了“人臉識別供應(yīng)商測試”Face Recognition Vendor Test。圖片來源：NIST官網(wǎng)

監(jiān)管機構(gòu)和立法部門開始召集技術(shù)標準制定機構(gòu)進行審核，為技術(shù)的準確性、性能和安全性設(shè)定基準。2020年3月，英國平等與人權(quán)委員會（UK Equality and Human Rights Commission）叫停了人臉識別技術(shù)在英格蘭和威爾士的應(yīng)用，直到獨立審查完成，這些審查會分析算法對某些弱勢群體的歧視問題。

2020年3月通過的《華盛頓州SB 6280法案》要求人臉識別技術(shù)開發(fā)公司合作，允許獨立測試，測試系統(tǒng)在面對包括種群、膚色、民族、性別、年齡或殘疾狀況在內(nèi)的各個亞群體時的準確性和偏誤。如果獨立測試顯示確有“不公平表現(xiàn)差異”（material unfair performance differences），技術(shù)開發(fā)者必須在90天內(nèi)糾正問題。

另一個正在擬議的聯(lián)邦法案（S.2878：2019面部識別技術(shù)保證法案）要求聯(lián)邦執(zhí)法機構(gòu)與NIST合作建立測試系統(tǒng)，以確保算法在面對不同性別、年齡和種族時，準確性相對一致。

這些標準走在正確的方向上，但它們遠非衡量系統(tǒng)性能的唯一標準，它們并不能充分反映這些系統(tǒng)在使用時可能產(chǎn)生的更廣泛的歧視性影響。

首先，研究人員和倡導組織發(fā)現(xiàn)，許多“通過了”當前基準評估的系統(tǒng)在現(xiàn)實環(huán)境下使用時仍然表現(xiàn)不佳。另外，當前還沒有標準的操作方式來記錄和傳達基準數(shù)據(jù)集的歷史和限制，因此沒有辦法確定它們針對特定系統(tǒng)的適用性或針對特定環(huán)境的適合性。

此外，單憑設(shè)置一個技術(shù)性限值對歧視性影響進行判斷，可能會在實操時造成更大的影響。例如，人臉識別系統(tǒng)在少數(shù)族裔社區(qū)往往有更大規(guī)模的應(yīng)用（編者注：比如少數(shù)族裔社區(qū)設(shè)置了更多攝像頭），這本身已是歧視。

值得注意的是，許多情況下，基準只是一個“復選框”（checkbox），技術(shù)供應(yīng)商和科技公司們可以自行勾選，聲稱技術(shù)是安全和公平的，而無需考慮其使用方式，或在特定環(huán)境下的適用性。

制圖：白浪