分析機器學習中的社會性別與交織性

原文網頁連結，如對本網頁翻譯有問題，歡迎聯絡我們

機器學習科技——包含風險評分、建議系統、語音辨識與臉部辨識——運作於活躍著社會性別、種族與其他形式之結構性歧視的社會當中。機器學習系統可能會以不同的方式參與強化這些結構，從鑲嵌於訓練資料中的人類偏見到演算法設計當中有意識或無意識的的選擇。理解演算法中的社會性別、生理性別、族裔與其他社會因素如何在特定脈絡中運作，得以幫助研究人員對於自己的工作如何影響社會做出更有意識與根據的決定。

1. 分析工作的社會性目標與涵義

   團隊需要共同合作定義出當前發展或研究的系統之目標，並評估其潛在的社會影響，可以下列問題作為指標：

   1. 此科技的當務之急與目標是如何訂定的？它造福了誰，又將誰給遺落或置之風險當中（Gurses et al., 2018）？
   2. 社會性別常模如何形塑此研究∕產品∕服務∕系統（Leavy, 2018）？
   3. 結構性種族歧視可能會如何形塑之，例如在搜尋演算法當中再製了種族刻板印象（Crenshaw, 1991; Noble, 2018）？
   4. 貧富差距可能會如何形塑之，例如系統的運用是否會排除或有害於貧者（Eubanks, 2018）？
   5. 環境永續性可能會如何形塑之，例如深度學習模型的訓練造成大量碳足跡的狀況（Strubell et al., 2019）？
2. 分析潛在偏見的資料

   每個訓練組都應附有說明資料是如何蒐集與註釋之資訊。含有人類資訊的資料應包含相關因子元資料的統整數據，例如參與者的社會性別、生理性別、族裔、年齡與地理位置（Gebru et al., 2018; MIT Media Lab, 2018）。透過群眾外包進行標記的資料，例如亞馬遜的Mechanical Turk，應包含參與群眾的資訊，並附上提供給群眾的標記說明指南（Zou & Schiebinger, 2018）。

   1. 用於訓練及測試模型的資料是否藏有偏見？請見範例，Buolamwini & Gebru （2018）。
   2. 對資料生成的來源脈絡進行分析——有什麼已知的社會性別偏見與常模可能會影響資料生成的過程？請見範例，Shankar et al., 2017。有些特徵若由使用它們來表達自己明顯認同於一個自我定義的社會群體的成員來呈現時，可能會產生不同的解讀或影響（例如刻意地使用一般社會常規下被認為讓人反感的字詞）。
   3. 在資料籌備的階段也有可能會帶入偏見，這牽涉了你希望演算法考量的特質之挑選。首先，思考讓演算法使用社會性別（例如，若是要使用於服飾廣告，通常會是社會性別特定的）是否合宜（例如，若是要使用於職缺廣告，則需要公平地讓所有社會性別都能看見）。若不合宜，可考慮移除顯著的社會性別特質。此外，思考模型中為了包容性所挑選的特性是否可能會在不同的社會性別之間有著不平等的傳播性？舉例而言，若是模型中使用了可能與社會性別有關的特性，例如職業或是「單親」狀態，它可能仍會間接地使用到社會性別。
   4. 偏見也有可能會鑲嵌在目標函數演算法與∕或以啟發式引導搜尋為基礎的演算法中。舉例而言，在生成目標函數時將健康花費作為健康需求的參考值，在遇到來自於被分配到較少經費的種族之患者時，可能會產生種族偏見（Obermeyer et al., 2019）。
   5. 訓練資料的族群樣本是否足夠多元，以確保其訓練之所有模型皆能夠在遇到不同族群時有好的表現？你的資料在社會性別、族裔、地理位置、年齡與其他社會因素上是否平衡？
3. 分析模型的公平性
   1. 你是否為公平性制定了適切的定義，並用以測試於機器學習模型上？

    若機器學習模型要用於為人類做出重大決定的選擇，且法律限制或社會認同的常規十分清楚時，或許可訂定一個可量化的公平性度量。這可用以測試模型本身，並偵測是否其輸出對於不同社會性別有著不公平的差異影響（Dwork et al., 2012; Hardt et al., 2016; Corbett-Davies et al., 2017）。注意：即使某個系統根據這類的量測顯示為「公平的」，但若是運用於原本就被邊緣化的群體上時，它的使用仍有可能是不公平的。

   2. 評估可能具有歧視性的機器學習模型時，須留意交織性。

    部分的公平性量測是測試在單獨遇到限定的受保障特質（例如社會性別、種族）時，該模型的表現如何；然而，這可能會遺漏了歧視的交織性型態，也就是處於兩種或更多的歧視交織下的人（例如「黑人女性」、「年長亞裔男性」）。替代的測量方法旨在確保演算法不僅能在整體上達到良好的表現，同時也能更為細緻地顧及每個子群體（Kim, et al., 2019; Tannenbaum et al., 2019）。

   3. 以公平性定義來限制或再訓練機器模型系統。

    建立了公平性的定義後，以此來審查現有的系統或限制新系統的發展，使其得以遵從該定義。可使用的取徑相當多樣，包括對資料進行預處理來減少模型中的偏見，以此限制學習中的演算法，或是在訓練結束後再為模型做調整。哪種取徑最為實用，則必須視脈絡而定（Bellamy et al., 2018）。

   4. 你是否考慮過模型一旦啟用後，可能會與更廣泛的社交科技系統有性別化的互動？

    舉例而言，一個設計用於預測個人化拍賣的廣告空間中之最佳出價的模型在測試時可能會呈現社會性別中立。然而當該系統的運用遇到了依社會性別設定目標的競爭者時，本該社會性別中立的系統可能會變成改以具社會性別偏見的方式來投放廣告（Lambrecht & Tucker, 2019）。若輸出是用來指引人類做決定時，下決定者本身可能帶有的偏見可能會抵銷或過度補償應用於機器學習模型中的任何去偏見量測。

4. 機器學習的子範疇

   上述的考量點之應用相當廣泛，去除偏見的取徑會依據所討論的機器學習之子類型有所差異。以下為可能需要不同方式之未盡臚列的子範疇清單：

   1. 自然語言處理
      • 研究人員提出了許多分析與辨識語言計算模型中的社會性別偏見的方式，特別是在詞嵌入（詞向量）的部份。以幾何學為基礎的技術得以比較某一語言中鑲嵌的陽剛或陰柔字詞與其他詞語的關係。這些方法也讓這類的詞嵌入得以是去偏見的，例如「褓姆」與「祖父」和「祖母」之間的距離是同等的（Bolukbasi et al., 2016）。另外有研究人員將標準的內隱連結測驗應用在詞嵌入上，藉此呈現其中包含了許多跟人類相同的偏見（Caliskan et al., 2017）。還有些研究人員發展出了社會性別中立的GloVe統計法變化（Zhao et al., 2018）。在圖像方面，研究人員首先展現了訓練演算法可能會強化出現在訓練資料中的偏見，接著則發展出了一項能夠降低這種強化的技術（Zhao et al., 2017）。
      • 類似的技術也可用於研究全體社會之歷史性的刻板印象與偏見。研究人員運用了以超過百年的文獻資料訓練過之幾何學基礎詞嵌入度量，辨識歷史上的社會性別與種族偏見之變化（Garg et al., 2018）。類似的方法或可使用於比較現今文獻中的偏見。
   2. 排序與推薦系統
      • 排序中的公平性所處理的，是一系列需要以公平的方式進行排序的人或物品（例如職缺的面試者，或是書籍推薦）。由於質量或相關性的測量有可能對其中部分人或物而言是具有偏見的——例如女性面試者或作家——而排序最高的面試者或書籍可能會對其餘者有不成比例的相關性——例如男性。公平排序的計算性取徑旨在強化這些搜尋結果或推薦當中受到排序的群體間的公平性（例如 Zehlike et al., 2017）。
   3. 語音辨識
      • 語音辨識當前所遭遇的困難與電腦視覺的狀況很類似（Tatman, 2017）；需要對代表性資料組的蒐集給予相同的關注。
   4. 臉部辨識
      • NIST美國國家標準技術研究院2019年針對商業臉部辨識服務的評估報告發現「黑人女性……為FMR（誤認率）最高的族群」（NIST, 2019）。