公平性（機械学習）

機械学習(ML)における公平性とは、ML モデルに基づく自動意思決定プロセスにおけるアルゴリズムの偏りを修正するためのさまざまな試みを指します。学習プロセス後にこのようなモデルによって行われた意思決定は、機密と見なされる変数(性別、民族、性的指向、障害など)に基づいている場合、不公平と見なされる可能性があります。

多くの倫理的概念と同様に、公平性と偏見の定義は議論の余地があります。一般的に、公平性と偏見は、意思決定プロセスが人々の生活に影響を与える場合に関係があると考えられています。

機械による決定はさまざまな要因によって歪められる可能性があるため、特定のグループや個人に対して不公平であると見なされる可能性があります。一例として、ソーシャル メディアサイトが消費者にパーソナライズされたニュースを配信する方法が挙げられます。

機械学習における公平性に関する議論は比較的最近の話題です。2016年以降、このテーマに関する研究が急増しています。^{[1]この増加は、米国の裁判所で}再犯を予測するために広く使用されているCOMPASソフトウェアが人種的に偏っていると主張したProPublicaによる影響力のあるレポートに一部起因している可能性があります。 ^[2]研究と議論のトピックの1つは公平性の定義です。普遍的な定義はなく、異なる定義が互いに矛盾する可能性があるため、機械学習モデルを判断することが困難です。^[3]その他の研究トピックには、バイアスの起源、バイアスの種類、バイアスを軽減する方法などがあります。^[4]

近年、テクノロジー企業は機械学習におけるバイアスを検出し、削減する方法に関するツールやマニュアルを作成しています。IBMは、ソフトウェアのバイアスを削減し、その公平性を高めるためのいくつかのアルゴリズムを備えたPythonとR用のツールを提供しています。 ^{[5] [6]} Googleは、機械学習におけるバイアスを研究し、それに対抗するためのガイドラインとツールを公開しています。^{[7] [8] Facebookは、} AIのバイアスを検出するためにFairness Flowというツールを使用していると報告しています。^[9]しかし、批評家は、同社の取り組みは不十分であり、すべてのプログラムで使用できるわけではなく、使用できる場合でもツールの使用は任意であるため、従業員によるツールの使用はほとんどないと報告していると主張しています。^[10]

意思決定における公平性と不当な差別をテストするための定量的な方法に関する議論は、機械学習における公平性に関する比較的最近の議論よりも数十年前に遡ることに注意することが重要です。^[11]実際、科学界ではこのトピックに関する活発な議論が 1960 年代半ばから 1970 年代にかけて盛んに行われましたが、これは主にアメリカの公民権運動、特に1964 年の米国公民権法の成立の結果として起こりました。しかし、1970 年代の終わりまでには、公平性に関するさまざまな、時には競合する概念により、ある公平性の概念が他の概念よりも好ましい場合について明確にする余地がほとんどなくなったため、この議論はほとんどなくなりました。

言語バイアスとは、クエリの言語に関連付けられた統計的サンプリングバイアスの一種で、「サンプリング情報の体系的な偏差により、リポジトリで利用可能なトピックやビューの真の範囲を正確に表すことができなくなる」ことを指します。^{[より良いソースが必要] [12]} Luo et al. ^[12]は、現在の大規模言語モデルは主に英語のデータでトレーニングされているため、英語以外の視点を無関係、間違っている、またはノイズとして体系的に軽視する一方で、英語圏の視点を真実として提示することが多いことを示しています。「リベラリズムとは何か？」などの政治的イデオロギーでクエリを実行すると、英語中心のデータでトレーニングされたChatGPTは、英語圏の視点からリベラリズムを説明し、人権と平等の側面を強調しますが、支配的なベトナムの視点からの「個人および経済生活への国家の介入に反対する」や、一般的な中国の視点からの「政府権力の制限」などの同様に有効な側面は欠けています。同様に、日本語、韓国語、フランス語、ドイツ語のコーパスに埋め込まれている他の政治的視点も、ChatGPTの応答には存在しません。ChatGPTは多言語チャットボットであると自称していますが、実際には英語以外の視点にはほとんど「盲目」です。^[12]

ジェンダーバイアスとは、これらのモデルが、ある性別に対して不当に偏見のある出力を生成する傾向を指します。このバイアスは通常、これらのモデルがトレーニングされるデータから生じます。たとえば、大規模な言語モデルは、伝統的なジェンダー規範に基づいて役割と特性を割り当てることが多く、看護師や秘書は主に女性に、エンジニアやCEOは男性に関連付けられる可能性があります。^[13]

政治的バイアスとは、アルゴリズムが特定の政治的見解、イデオロギー、または結果を他のものよりも体系的に優先する傾向を指します。言語モデルも政治的バイアスを示す場合があります。トレーニングデータには幅広い政治的意見と報道が含まれているため、モデルはデータ内のそれらの見解の普及度に応じて、特定の政治的イデオロギーや見解に傾いた応答を生成する可能性があります。^[14]

司法制度におけるアルゴリズムによる意思決定の利用は、精査されている注目すべき利用分野である。2014年、当時の米国司法長官 エリック・ホルダーは、「リスク評価」方法が、被告人の教育水準や社会経済的背景など、被告人の制御下にない要因に過度に焦点を当てている可能性があるという懸念を表明した。^[15] ProPublicaによる2016年のCOMPASに関する報告書では、黒人被告人が誤って高リスクと分類される可能性は白人被告人のほぼ2倍であり、白人被告人の場合はその逆の間違いをしていると主張した。^[2] COMPASの開発元であるNorthepointe Inc.は、自社のツールは公正であり、ProPublicaは統計的な誤りを犯したとして報告書に異議を唱えたが、^[16]その後ProPublicaによって再び反論された。^[17]

画像認識アルゴリズムでは、人種や性別の偏りも指摘されている。カメラの顔や動きの検出では、白人以外の被写体の表情が無視されたり、誤ってラベル付けされたりすることがわかっている。^[18] 2015年、GoogleはGoogleフォトが黒人カップルを誤ってゴリラとラベル付けしたことについて謝罪した。同様に、Flickrの自動タグ機能では、一部の黒人が「類人猿」や「動物」とラベル付けされていたことが判明した。^[19] 2016年にAIアルゴリズムによって審査された国際美人コンテストでは、トレーニングデータの偏りが原因で、肌の色が薄い人に偏っていることが判明した。^[20] 2018年に行われた3つの商用性別分類アルゴリズムの研究では、3つのアルゴリズムすべてが、肌の色が薄い男性を分類する際には概して最も正確であり、肌の色が濃い女性を分類する際には最も正確でないことが判明した。^[21] 2020年には、Twitterの画像切り抜きツールが肌の色が薄い顔を好むことが示された。^{[22] 2022年に、}テキストから画像へのモデル DALL-E 2の作成者は、生成された画像は性別や人種などの特性に基づいて著しくステレオタイプ化されていると説明しました。^{[23] [24]}

機械学習アルゴリズムが使用されている他の分野では、偏りがあることが示されており、求人やローンの申請もその一つである。アマゾンは、例えば「女性」という言葉を含む履歴書にペナルティを課すなど、性差別的な求人申請を審査するソフトウェアを使用していた。^[25] 2019年、アップルの新しいApple Cardのクレジットカード限度額を決定するアルゴリズムは、財政を共有しているカップルであっても、男性に女性よりも大幅に高い限度額を与えた。^[26]米国で使用されている住宅ローン承認アルゴリズムは、 2021年のThe Markupのレポートによると、非白人の申請者を拒否する可能性が高いことが示された。 ^[27]

最近の研究では、機械学習における公平性の現状にはいくつかの限界があることが強調されており、特にAIの現実世界での応用がますます増える中で、この点で現実的に何が達成可能かということに関しては限界がある。^{[28] [29] [30]} たとえば、公平性を形式化する数学的・定量的アプローチや、関連する「偏見をなくす」アプローチは、個人を事前に定義された社会集団に分類するなど、単純すぎて見落とされがちな仮定に依存している可能性がある。その他の微妙な側面としては、たとえば、いくつかの感覚的な特性間の相互作用、^[21]や、差別禁止に関する哲学的および/または法的概念が明確かつ共有されていないことなどがある。

分類問題では、アルゴリズムは既知の特性から離散特性、つまり目標変数を予測する関数を学習します。 を離散ランダム変数としてモデル化し、 に含まれる、または暗黙的にエンコードされた、センシティブな特性（性別、民族、性的指向など）と見なす特性をエンコードします。最終的に を分類器の予測で表します。次に、特定の分類器が公平であるかどうか、つまりその予測がこれらのセンシティブな変数の一部に影響されないかどうかを評価する3つの主な基準を定義します。^[31]${\textstyle Y}$${\textstyle X}$${\textstyle A}$${\textstyle X}$${\textstyle R}$

敏感な特性が予測値から統計的に独立している場合、ランダム変数は 独立性を満たすと言い、次のように書きます 。この概念を次の式で表すこともできます。 これは、敏感な特性に関して、異なるグループに属する人々に対して、各ターゲット クラスの分類率が等しいことを意味します。 ${\textstyle (R,A)}$${\textstyle A}$${\textstyle R}$$${\displaystyle R\bot A.}$$$${\displaystyle P(R=r\ |\ A=a)=P(R=r\ |\ A=b)\quad \forall r\in R\quad \forall a,b\in A}$$${\displaystyle A}$

独立性を表すさらに別の同等の表現は、次のように定義される ランダム変数間の相互情報量の概念を使用して与えることができます。 この式では、はランダム変数のエントロピーです。の場合、独立性が満たされます。 $${\displaystyle I(X,Y)=H(X)+H(Y)-H(X,Y)}$$${\textstyle H(X)}$ ${\displaystyle X}$${\textstyle (R,A)}$${\textstyle I(R,A)=0}$

独立性の定義を緩和する方法としては、正の余裕 を導入することが挙げられ、次の式で表されます。 ${\textstyle \epsilon >0}$$${\displaystyle P(R=r\ |\ A=a)\geq P(R=r\ |\ A=b)-\epsilon \quad \forall r\in R\quad \forall a,b\in A}$$

最後に、もう 1 つの可能な緩和策は、 を要求することです。 ${\textstyle I(R,A)\leq \epsilon }$

感度特性が目標値 を与えられた予測から統計的に独立している場合、ランダム変数は 分離条件を満たすと言い、次のように書きます 。この概念を次の式で表すこともできます。 これは、感度属性に対する 決定のすべての依存性が、真の目標変数 の実際の依存性によって正当化される必要があることを意味します。 ${\textstyle (R,A,Y)}$${\textstyle A}$${\textstyle R}$${\textstyle Y}$$${\displaystyle R\bot A\ |\ Y.}$$$${\displaystyle P(R=r\ |\ Y=q,A=a)=P(R=r\ |\ Y=q,A=b)\quad \forall r\in R\quad q\in Y\quad \forall a,b\in A}$$${\displaystyle R}$${\displaystyle A}$${\displaystyle Y}$

バイナリターゲットレートの場合の別の同等の表現は、敏感な特性のすべての値に対して、真陽性率と偽陽性率が等しい（したがって、偽陰性率と真陰性率も等しい）ということです。 $${\displaystyle P(R=1\ |\ Y=1,A=a)=P(R=1\ |\ Y=1,A=b)\quad \forall a,b\in A}$$ $${\displaystyle P(R=1\ |\ Y=0,A=a)=P(R=1\ |\ Y=0,A=b)\quad \forall a,b\in A}$$

与えられた定義を緩和する可能性のある方法としては、レート間の差の値がゼロではなく、与えられたスラックよりも 小さい正の数値になることを許可するというものがあります。 ${\textstyle \epsilon >0}$

いくつかの分野では、混同行列の分離（分離係数）は、予測される累積パーセント陰性と予測される累積パーセント陽性の間の距離（確率スコアの特定のレベルにおける）の尺度です。

特定のスコア値におけるこの分離係数が大きいほど、特定の確率カットオフで陽性と陰性のセットを区別するモデルがより効果的になります。メイズによると、^[32]「クレジット業界では、検証尺度の選択はモデリング手法によって異なることがよく見られます。たとえば、モデリング手順がパラメトリックまたはセミパラメトリックである場合、2 サンプル KS テストがよく使用されます。モデルがヒューリスティックまたは反復検索方法によって導出される場合は、モデルのパフォーマンスの尺度は通常、発散です。3 番目のオプションは分離係数です...分離係数は、他の 2 つの方法と比較して、モデルの分離パターンを反映するため、モデルのパフォーマンスの尺度として最も合理的であると思われます。」

予測 が与えられた場合、敏感な特性が目標値から統計的に独立している場合、ランダム変数は 十分性を満たすと言い、次のように書きます 。この概念を次の式で表すこともできます。 これは、異なる敏感な特性を持つ 2 人の個人が同じグループに属すると予測された場合、実際に各グループに属する確率が等しいこと を意味します。${\textstyle (R,A,Y)}$${\textstyle A}$${\textstyle Y}$${\textstyle R}$$${\displaystyle Y\bot A\ |\ R.}$$$${\displaystyle P(Y=q\ |\ R=r,A=a)=P(Y=q\ |\ R=r,A=b)\quad \forall q\in Y\quad r\in R\quad \forall a,b\in A}$$

最後に、上記の 3 つの定義に関連する主な結果のいくつかをまとめます。

• がバイナリであると仮定し、と が統計的に独立しておらず、 とも統計的に独立していない場合、修辞的な場合を除き、独立性と分離性は両方とも成立しません。${\textstyle Y}$${\textstyle A}$${\textstyle Y}$${\textstyle R}$${\textstyle Y}$
• 結合分布がすべての可能な値に対して正の確率を持ち、およびが統計的に独立していない場合、修辞的な場合を除き、分離と十分性の両方が成立することはできません。${\textstyle (R,A,Y)}$${\textstyle A}$${\textstyle Y}$

独立性、分離性、十分性がすべて同時に満たされている場合、それは完全な公平性と呼ばれます。^[33]しかし、完全な公平性は、特定の修辞的な場合を除いて達成することはできません。^[34]

公平性の統計的尺度のほとんどは異なる指標に依存しているため、まずはそれらの定義から始めます。バイナリ分類器を使用する場合、予測クラスと実際のクラスの両方が、正と負の2つの値を取ることができます。次に、予測結果と実際の結果の間に考えられるさまざまな関係について説明します。^[35]

• 真陽性 (TP) : 予測された結果と実際の結果の両方が陽性クラスである場合。
• 真陰性 (TN) : 予測された結果と実際の結果の両方が陰性クラスに割り当てられるケース。
• 偽陽性 (FP) : 陽性クラスに該当すると予測されたケースが、実際の結果では陰性クラスに該当する場合。
• 偽陰性 (FN) : 陰性クラスに予測されたケースが、実際の結果は陽性クラスになる。

これらの関係は、分類モデルの精度を表す表である 混同行列で簡単に表すことができます。この行列では、列と行はそれぞれ予測されたケースと実際のケースのインスタンスを表します。

これらの関係を使用することで、後でアルゴリズムの公平性を測定するために使用できる複数のメトリックを定義できます。

• 陽性予測値 (PPV) : すべての陽性予測のうち正しく予測された陽性ケースの割合。これは通常、精度と呼ばれ、正しい陽性予測の確率を表します。これは次の式で求められます。$${\displaystyle PPV=P(actual=+\ |\ prediction=+)={\frac {TP}{TP+FP}}}$$
• 偽発見率 (FDR) : すべての正の予測のうち、実際には負であった正の予測の割合。これは誤った正の予測の確率を表し、次の式で表されます。$${\displaystyle FDR=P(actual=-\ |\ prediction=+)={\frac {FP}{TP+FP}}}$$
• 負の予測値 (NPV) : すべての負の予測のうち正しく予測された負のケースの割合。これは、正しい負の予測の確率を表し、次の式で表されます。$${\displaystyle NPV=P(actual=-\ |\ prediction=-)={\frac {TN}{TN+FN}}}$$
• 誤脱落率 (FOR) : すべての否定的な予測のうち、実際には肯定的であった否定的な予測の割合。これは誤った否定的な予測の確率を表し、次の式で表されます。$${\displaystyle FOR=P(actual=+\ |\ prediction=-)={\frac {FN}{TN+FN}}}$$
• 真陽性率 (TPR) : すべての陽性ケースのうち、正しく予測された陽性ケースの割合。これは通常、感度または再現率と呼ばれ、陽性対象が正しくそのように分類される確率を表します。これは次の式で表されます。$${\displaystyle TPR=P(prediction=+\ |\ actual=+)={\frac {TP}{TP+FN}}}$$
• 偽陰性率 (FNR) : すべての陽性症例のうち、誤って陰性と予測された陽性症例の割合。陽性対象が誤って陰性と分類される確率を表し、次の式で表されます。$${\displaystyle FNR=P(prediction=-\ |\ actual=+)={\frac {FN}{TP+FN}}}$$
• 真陰性率 (TNR) : すべての陰性症例のうち正しく予測された陰性症例の割合。これは陰性対象が正しく陰性として分類される確率を表し、次の式で表されます。$${\displaystyle TNR=P(prediction=-\ |\ actual=-)={\frac {TN}{TN+FP}}}$$
• 偽陽性率 (FPR) : すべての陰性症例のうち、誤って陽性と予測された陰性症例の割合。これは、陰性対象が誤って陽性と分類される確率を表し、次の式で表されます。$${\displaystyle FPR=P(prediction=+\ |\ actual=-)={\frac {FP}{TN+FP}}}$$

以下の基準は、このセクションの冒頭で示した3つの一般的な定義、すなわち独立性、分離性、充足性の尺度として理解することができます。右の表^[31]では、それらの関係を見ることができます。

^{これらの尺度を具体的に定義するために、Vermaら[35]}が行ったように、予測された結果に基づく定義、予測された結果と実際の結果に基づく定義、予測された確率と実際の結果に基づく定義の3つの大きなグループに分けます。

ここではバイナリ分類器を使用します。表記は、分類器によって与えられたスコアを指します。これは、特定の対象が陽性クラスまたは陰性クラスに入る確率です。はアルゴリズムによって予測された最終的な分類を表し、その値は通常 から導出されます。たとえば、が特定のしきい値を超える場合、 は陽性になります。 は実際の結果、つまり個人の実際の分類を表し、最後に は対象の敏感な属性を示します。 ${\textstyle S}$${\textstyle R}$${\textstyle S}$${\textstyle S}$${\textstyle Y}$${\textstyle A}$

このセクションの定義は、さまざまな被験者の分布に対する予測結果に焦点を当てています。これらは公平性に関する最も単純かつ直感的な概念です。 ${\textstyle R}$

• 人口統計的パリティ、統計的パリティ、受け入れ率パリティ、ベンチマーキングとも呼ばれます。保護されたグループと保護されていないグループの被験者が、予測された陽性クラスに割り当てられる確率が等しい場合、分類器はこの定義を満たします。つまり、次の式が満たされる場合です。$${\displaystyle P(R=+\ |\ A=a)=P(R=+\ |\ A=b)\quad \forall a,b\in A}$$
• 条件付き統計的パリティ。基本的には上記の定義に含まれますが、インスタンスのサブセットのみに制限されます。数学的表記では次のようになります。$${\displaystyle P(R=+\ |\ L=l,A=a)=P(R=+\ |\ L=l,A=b)\quad \forall a,b\in A\quad \forall l\in L}$$

これらの定義では、予測される結果を考慮するだけでなく、それを実際の結果と比較します。 ${\textstyle R}$${\textstyle Y}$

• 予測的パリティは、アウトカム テストとも呼ばれます。保護されたグループと保護されていないグループの被験者の PPV が等しい場合、分類器はこの定義を満たします。つまり、次の式が満たされる場合です。$${\displaystyle P(Y=+\ |\ R=+,A=a)=P(Y=+\ |\ R=+,A=b)\quad \forall a,b\in A}$$

数学的には、分類器が両方のグループに対して等しい PPV を持つ場合、FDR も等しくなり、次の式を満たします。$${\displaystyle P(Y=-\ |\ R=+,A=a)=P(Y=-\ |\ R=+,A=b)\quad \forall a,b\in A}$$

• 偽陽性エラー率バランス、予測的等価性とも呼ばれます。保護されたグループと保護されていないグループの被験者の FPR が等しい場合、分類器はこの定義を満たします。つまり、次の式が満たされる場合です。$${\displaystyle P(R=+\ |\ Y=-,A=a)=P(R=+\ |\ Y=-,A=b)\quad \forall a,b\in A}$$

数学的には、分類器が両方のグループに対して等しい FPR を持つ場合、TNR も等しくなり、次の式を満たします。$${\displaystyle P(R=-\ |\ Y=-,A=a)=P(R=-\ |\ Y=-,A=b)\quad \forall a,b\in A}$$

• 偽陰性エラー率バランス、機会均等とも呼ばれます。保護されたグループと保護されていないグループの被験者の FNR が等しい場合、分類器はこの定義を満たします。つまり、次の式が満たされる場合です。$${\displaystyle P(R=-\ |\ Y=+,A=a)=P(R=-\ |\ Y=+,A=b)\quad \forall a,b\in A}$$

数学的には、分類器が両方のグループに対して等しい FNR を持つ場合、TPR も等しくなり、次の式を満たします。$${\displaystyle P(R=+\ |\ Y=+,A=a)=P(R=+\ |\ Y=+,A=b)\quad \forall a,b\in A}$$

• 均等化オッズ は、条件付き手順の正確さの平等と不均衡な不当な扱いとも呼ばれます。保護されたグループと保護されていないグループの被験者の TPR と FPR が等しく、次の式を満たす場合、分類器はこの定義を満たします。$${\displaystyle P(R=+\ |\ Y=y,A=a)=P(R=+\ |\ Y=y,A=b)\quad y\in \{+,-\}\quad \forall a,b\in A}$$
• 条件付き使用精度の等価性。保護されたグループと保護されていないグループの被験者の PPV と NPV が等しく、次の式を満たす場合、分類器はこの定義を満たします。$${\displaystyle P(Y=y\ |\ R=y,A=a)=P(Y=y\ |\ R=y,A=b)\quad y\in \{+,-\}\quad \forall a,b\in A}$$
• 全体的な精度の平等。保護されたグループと保護されていないグループの被験者の予測精度、つまりあるクラスの被験者がその分類器に割り当てられる確率が等しい場合、分類器はこの定義を満たします。つまり、分類器が次の式を満たす場合です。$${\displaystyle P(R=Y\ |\ A=a)=P(R=Y\ |\ A=b)\quad \forall a,b\in A}$$
• 治療の平等。保護されたグループと保護されていないグループの被験者の FN と FP の比率が等しく、次の式を満たす場合、分類子はこの定義を満たします。$${\displaystyle {\frac {FN_{A=a}}{FP_{A=a}}}={\frac {FN_{A=b}}{FP_{A=b}}}}$$

これらの定義は、実際の結果と予測される確率スコアに基づいています。 ${\textstyle Y}$${\textstyle S}$

• テストの公平性は、キャリブレーションまたは条件付き頻度のマッチングとも呼ばれます。同じ予測確率スコアを持つ個人が、保護されたグループまたは保護されていないグループのどちらに属していても、陽性クラスに分類される確率が同じである場合、分類器はこの定義を満たします。${\textstyle S}$$${\displaystyle P(Y=+\ |\ S=s,A=a)=P(Y=+\ |\ S=s,A=b)\quad \forall s\in S\quad \forall a,b\in A}$$
• ウェルキャリブレーションは、前の定義の拡張です。保護対象グループ内外の個人が同じ予測確率スコアを持つ場合、陽性クラスに分類される確率は同じでなければならず、この確率は次の値に等しくなければならないと規定しています。${\textstyle S}$${\textstyle S}$$${\displaystyle P(Y=+\ |\ S=s,A=a)=P(Y=+\ |\ S=s,A=b)=s\quad \forall s\in S\quad \forall a,b\in A}$$
• 陽性クラスのバランス。保護されたグループと保護されていないグループの両方から陽性クラスを構成する被験者の平均予測確率スコアが等しい場合、分類器はこの定義を満たします。つまり、実際の結果が陽性である保護されたグループと保護されていないグループの確率スコアの期待値は同じであり、次の式を満たします。${\textstyle S}$${\textstyle Y}$$${\displaystyle E(S\ |\ Y=+,A=a)=E(S\ |\ Y=+,A=b)\quad \forall a,b\in A}$$
• 負のクラスのバランス。保護されたグループと保護されていないグループの両方から負のクラスを構成する被験者の平均予測確率スコアが等しい場合、分類器はこの定義を満たします。つまり、実際の結果が負である保護されたグループと保護されていないグループの確率スコアの期待値は同じであり、次の式を満たします。${\textstyle S}$${\textstyle Y}$$${\displaystyle E(S\ |\ Y=-,A=a)=E(S\ |\ Y=-,A=b)\quad \forall a,b\in A}$$

混同行列に関しては、独立性、分離性、十分性は、以下に挙げるそれぞれの量が敏感な特性間で統計的に有意な差を持たないことを要求する。^[34]

• 独立性: (TP + FP) / (TP + FP + FN + TN) (つまり、)。${\displaystyle P({\hat {Y}}=1)}$
• 分離: TN / (TN + FP) と TP / (TP + FN) (つまり、特異度と再現率)。${\displaystyle P({\hat {Y}}=0\mid Y=0)}$${\displaystyle P({\hat {Y}}=1\mid Y=1)}$
• 十分性: TP / (TP + FP) および TN / (TN + FN) (すなわち、精度および陰性の予測値)。${\displaystyle P(Y=1\mid {\hat {Y}}=1)}$${\displaystyle P(Y=0\mid {\hat {Y}}=0)}$

等混同公平性の概念^{[36]では、}与えられた意思決定システムの混同行列は、すべての敏感な特性にわたって層別化して計算されたときに同じ分布を持つことが要求される。

一部の学者は、アルゴリズムの公平性を社会福祉関数の観点から定義することを提案している。彼らは、社会福祉関数を使用することで、アルゴリズム設計者は、アルゴリズムの影響を受ける人々への利益の観点から公平性と予測精度を考慮することができると主張している。また、設計者は原則的に効率性と公平性をトレードオフすることも可能になる。 ^[37] Sendhil Mullainathanは、アルゴリズム設計者は社会福祉関数を使用して、恵まれないグループの絶対的な利益を認識する必要があると述べている。たとえば、ある研究では、裁判前の拘留において、純粋な人間の判断ではなく意思決定アルゴリズムを使用すると、犯罪率を一定に保ちながら、黒人、ヒスパニック、および人種的マイノリティの拘留率が全体的に低下することが判明した。^[38]

公平性の定義における重要な違いは、グループと個人の概念の違いです。^{[39] [40] [ 35] [41]}大まかに言えば、グループの公平性の基準は、通常、敏感な属性（性別、民族、年齢など）によって識別されるグループレベルでの量を比較しますが、個人の基準は個人を比較します。言葉で言えば、個人の公平性は、「同様の個人は同様の扱いを受けるべきである」という原則に従います。

公平性に対する非常に直感的なアプローチがあり、これは通常、無意識による公平性( FTU ) または盲目性と呼ばれ、(自動化された) 決定を行う際に敏感な機能を明示的に使用しないことを規定しています。これは実質的には個人の公平性の概念であり、敏感な属性の値のみが異なる 2 人の個人は同じ結果を受け取ります。

しかし、一般的に FTU にはいくつかの欠点があり、主な欠点は、意思決定プロセスで使用されるセンシティブな属性と非センシティブな属性の間の相関関係が考慮されていないことです。たとえば、性別に基づいて差別する (悪意のある) 意図を持つエージェントは、性別の代理変数 (つまり、性別と高い相関関係にある変数) をモデルに導入し、性別情報を効果的に使用しながら、同時に FTU の規定に準拠することができます。

機密情報と相関関係にあるどの変数が意思決定プロセスにおいてモデルによって適切に採用できるかという問題は極めて重要であり、グループの概念にも関連しています。独立性メトリックでは機密情報を完全に除去する必要がありますが、分離ベースのメトリックでは相関関係は許可されますが、ラベル付けされたターゲット変数がそれらを「正当化」する範囲に限られます。

個体の公平性の最も一般的な概念は、2012年にシンシア・ドワークと共同研究者らが行った先駆的な研究^[42]で導入されたもので、特徴を入力として受け取る決定マップは「類似した個体を同様にマッピング」できるように構築されるべきであるという原則の数学的翻訳と考えることができる。これは、モデルマップ上のリプシッツ条件として表現される。彼らはこのアプローチを認識を通じた公平性（FTA ）と呼んでいるが、これはまさにFTUの対極である。なぜなら、特定の状況でどの個体が類似しているかを評価するために、適切なターゲット関連の距離メトリックを選択することの重要性を強調しているからである。この問題もまた、特定のコンテキストでどの変数が「正当」と見なせるかという上記の点と非常に関連している。

因果的公平性は、資源配分が公平でなければならない一連の特性のみが異なる、ほぼ同一の2つのユーザーまたはアプリケーションが同一の扱いを受ける頻度を測定する。^{[43] [疑わしい–議論する]}

公平性指標に関する学術研究の一分野は、機械学習モデルのバイアス評価に因果モデルを活用することに専念している。このアプローチは、通常、同じ観測分布のデータでは、結果が何らかのバイアスの影響を受けているかどうかの解釈が異なる可能性があり、変数間の因果関係が異なる可能性があるという事実によって正当化される。^[31]

クスナーら^[44]は、反事実的仮定を採用し、敏感な属性が変化する反事実的シナリオにおいて、どの個人にとっても結果が変わらない場合、意思決定プロセスが反事実的に公平であると定義することを提案している。数学的定式化は次の通りである。

${\displaystyle P(R_{A\leftarrow a}=1\mid A=a,X=x)=P(R_{A\leftarrow b}=1\mid A=a,X=x),\quad \forall a,b;}$

つまり、敏感な属性と他の特徴を持つランダムな個人と、同じ個人が を持っていたとしたら、受け入れられる可能性は同じであるはずです。 記号は、敏感な属性が に固定されているシナリオにおける反事実的ランダム変数を表します。 に対する条件付けは、この要件が個人レベルであり、単一の観測値を識別するすべての変数に対して条件付けされていることを意味します。 ${\displaystyle A=a}$${\displaystyle X=x}$${\displaystyle A=b}$${\displaystyle {\hat {R}}_{A\leftarrow a}}$${\displaystyle R}$${\displaystyle A}$${\displaystyle A=a}$${\displaystyle A=a,X=x}$

機械学習モデルは、結果がその時点での決定に依存するデータでトレーニングされることが多い。^[45]たとえば、機械学習モデルが受刑者が再犯するかどうかを判断し、受刑者を早期釈放するかどうかを決定する場合、結果は受刑者が早期釈放されたかどうかに依存する可能性がある。ミシュラーら^[46]は、反事実的均等化オッズの式を提案している。

${\displaystyle P(R=1\mid Y^{0}=0,A=a)=P(R=1\mid Y^{0}=0,A=b)\wedge P(R=0\mid Y^{1}=1,A=a)=P(R=0\mid Y^{1}=1,A=b),\quad \forall a,b;}$

ここで、はランダム変数であり、決定が行われた場合に与えられる結果を表し、敏感な特徴です。 ${\displaystyle R}$${\displaystyle Y^{x}}$${\displaystyle x}$${\displaystyle A}$

プレッコとベアインボイム^[47]は、公平性の因果分析を扱う統一的な枠組みを提案している。彼らは、4種類の変数を持つ因果グラフで構成される 標準公平性モデルの使用を提案している。

• センシティブ属性（）、${\displaystyle A}$
• 対象変数（）、${\displaystyle Y}$
• との間の媒介変数（）は、敏感な属性が結果に及ぼす可能性のある間接的な影響を表す。${\displaystyle W}$${\displaystyle A}$${\displaystyle Y}$
• （）と共通の原因を持つ可能性のある変数。これは、敏感な属性が結果に及ぼす可能性のある偽の（つまり因果関係のない）影響を表しています。${\displaystyle A}$${\displaystyle Z}$

この枠組みの中で、プレコとベアインボイム^[47]は、敏感な属性が結果に及ぼす可能性のある影響を分類することができます。さらに、これらの影響を測定する粒度、つまり、影響を平均化するために使用される条件付け変数は、公平性評価の「個人対グループ」の側面に直接関係しています。

公平性は、データの前処理、ソフトウェアトレーニング中の最適化、アルゴリズムの結果の後処理という 3 つの異なる方法で機械学習アルゴリズムに適用できます。

通常、分類器だけが問題なのではなく、データセットにも偏りがあります。グループに関するデータセットの識別は次のように定義できます。 ${\textstyle D}$${\textstyle A=a}$$${\displaystyle disc_{A=a}(D)={\frac {|\{X\in D|X(A)\neq a,X(Y)=+\}|}{|\{X\in D|X(A)\neq a\}|}}-{\frac {|\{X\in D|X(A)=a,X(Y)=+\}|}{|\{X\in D|X(A)=a\}|}}}$$

つまり、対象がと異なり に等しい保護特性を持っている場合に、正のクラスに属する確率の差の近似値です。 ${\textstyle a}$${\textstyle a}$

前処理でバイアスを修正するアルゴリズムは、不公平な決定につながる可能性のあるデータセット変数に関する情報を削除しますが、変更はできるだけ少なくしようとします。これは、機密変数を削除するだけでは十分ではありません。他の属性が保護された変数と相関している可能性があるためです。

これを実現するには、初期データセット内の各個人を、可能な限り多くの情報を維持しながら、特定の保護グループに属しているかどうかを識別できない中間表現にマッピングします。次に、データの新しい表現を調整して、アルゴリズムの精度を最大限に高めます。

この方法では、個体は新しい多変数表現にマッピングされます。新しい表現では、保護されたグループのメンバーが特定の値にマッピングされる確率は、保護されたグループに属していない個体の確率と同じです。次に、この表現は、初期データの代わりに個体の予測を取得するために使用されます。中間表現は、保護されたグループ内外の個体に同じ確率を与えるように構築されるため、この属性は分類器に対して非表示になります。

Zemelら^[48]では、多項式ランダム変数を中間表現として使用する例が説明されています。このプロセスでは、システムは偏った決定につながる可能性のある情報を除いてすべての情報を保持し、可能な限り正確な予測を得るように促されます。

一方、この手順には、前処理されたデータをあらゆる機械学習タスクに使用できるという利点があります。さらに、処理前にデータセットに修正が適用されるため、分類器を変更する必要がありません。一方、他の方法では、精度と公平性の点でより良い結果が得られます。^{[引用が必要]}

再重み付けは前処理アルゴリズムの一例です。その考え方は、指定されたグループに関して重み付けされた判別が0になるように、各データセットポイントに重みを割り当てることです。^[49]

データセットに偏りがない場合、感度変数とターゲット変数は統計的に独立しており、結合分布の確率は次のように確率の積になります。 ${\textstyle D}$${\textstyle A}$${\textstyle Y}$$${\displaystyle P_{exp}(A=a\wedge Y=+)=P(A=a)\times P(Y=+)={\frac {|\{X\in D|X(A)=a\}|}{|D|}}\times {\frac {|\{X\in D|X(Y)=+\}|}{|D|}}}$$

しかし、現実にはデータセットは偏りがなく、変数は統計的に独立していないため、観測される確率は次のようになります。 $${\displaystyle P_{obs}(A=a\wedge Y=+)={\frac {|\{X\in D|X(A)=a\wedge X(Y)=+\}|}{|D|}}}$$

バイアスを補正するために、ソフトウェアは重みを追加します。好ましいオブジェクトには重みが低く、好ましくないオブジェクトには重みが高くなります。それぞれについて、次のようになります。 ${\textstyle X\in D}$$${\displaystyle W(X)={\frac {P_{exp}(A=X(A)\wedge Y=X(Y))}{P_{obs}(A=X(A)\wedge Y=X(Y))}}}$$

それぞれに重みが関連付けられている場合、グループに関する加重判別を次のように計算します。 ${\textstyle X}$${\textstyle W(X)}$${\textstyle A=a}$$${\displaystyle disc_{A=a}(D)={\frac {\sum W(X)X\in \{X\in D|X(A)\neq a,X(Y)=+\}}{\sum W(X)X\in \{X\in D|X(A)\neq a\}}}-{\frac {\sum W(X)X\in \{X\in D|X(A)=a,X(Y)=+\}}{\sum W(X)X\in \{X\in D|X(A)=a\}}}}$$

再加重後、この加重判別は 0 であることが示されます。

もう一つのアプローチは、トレーニング時にバイアスを修正することです。これは、アルゴリズムの最適化目的に制約を追加することで実行できます。 ^[50]これらの制約により、保護されたグループと残りの個体の特定の測定値のレートを同じに保つことで、アルゴリズムは公平性を向上させるように強制されます。たとえば、保護されたグループ内の個体と保護されたグループ外の個体の偽陽性率が同じであるという条件をアルゴリズム の目的に追加できます。

このアプローチで使用される主な基準は、偽陽性率、偽陰性率、および全体的な誤分類率です。これらの制約の 1 つまたは複数をアルゴリズムの目的に追加することができます。偽陰性率が等しいということは、真陽性率が等しいことを意味し、したがって機会の平等を意味することに注意してください。問題に制限を追加すると、扱いにくくなる可能性があるため、制限を緩和する必要があるかもしれません。

我々は、勾配ベースの方法（例えば、勾配降下法）を通じて、2つの分類器を同時に訓練する。1つ目、予測器は、入力が与えられた場合に、ターゲット変数 を予測するタスクを、その重みを変更して何らかの損失関数 を最小化することで達成しようとする。2つ目、敵対者は、与えられたセンシティブ変数 を予測するタスクを、その重みを変更して何らかの損失関数 を最小化することで達成しようとする。^[51] ここで重要な点は、正しく伝播するためには、上記は離散予測ではなく、分類器の生の出力を参照する必要があるということである。たとえば、人工ニューラルネットワークと分類問題では、はソフトマックス層の出力を参照することができる。 ${\textstyle Y}$${\textstyle X}$${\textstyle W}$ ${\textstyle L_{P}({\hat {y}},y)}$${\textstyle A}$${\textstyle {\hat {Y}}}$${\textstyle U}$${\textstyle L_{A}({\hat {a}},a)}$${\textstyle {\hat {Y}}}$${\textstyle {\hat {Y}}}$

次に、勾配に従って各トレーニング ステップで最小化するように更新し、次の式に従って 変更します。 ここで、は各時間ステップで変化する可能性がある 調整可能なハイパーパラメータです。${\textstyle U}$${\textstyle L_{A}}$ ${\textstyle \nabla _{U}L_{A}}$${\textstyle W}$$${\displaystyle \nabla _{W}L_{P}-proj_{\nabla _{W}L_{A}}\nabla _{W}L_{P}-\alpha \nabla _{W}L_{A}}$$$\alpha$

直感的な考え方としては、予測子がを最小化(したがって項) すると同時に を最大化(したがって項) するようにして、敵対者がから敏感な変数を予測できなくなるよう にする、というものです。 ${\textstyle L_{P}}$${\textstyle \nabla _{W}L_{P}}$${\textstyle L_{A}}$${\textstyle -\alpha \nabla _{W}L_{A}}$${\textstyle {\hat {Y}}}$

この用語は、予測子が敵対者の損失関数を減少させる方向に移動するのを防ぎます。 ${\textstyle -proj_{\nabla _{W}L_{A}}\nabla _{W}L_{P}}$

このアルゴリズムを使用して予測子分類モデルをトレーニングすると、敵対者なしでトレーニングした場合と比較して人口統計学的パリティが向上することが示されています。

最後の方法は、公平性を実現するために分類器の結果を修正しようとします。この方法では、各個人のスコアを返す分類器があり、それらに対してバイナリ予測を行う必要があります。スコアが高いと肯定的な結果になる可能性が高く、スコアが低いと否定的な結果になる可能性が高くなりますが、必要に応じてしきい値を調整して、いつ「はい」と答えるかを決定できます。しきい値の変動は、真陽性と真陰性のレート間のトレードオフに影響することに注意してください。

スコア関数が保護された属性に依存しないという意味で公平であれば、閾値の選択も公平になりますが、このタイプの分類器は偏りがちなので、公平性を実現するためには保護されたグループごとに異なる閾値が必要になる場合があります。^[52]これを行う方法は、さまざまな閾値設定で真陽性率と偽陰性率をプロットし（これをROC曲線と呼びます）、保護されたグループと他の個人の率が等しくなる閾値を見つけることです。^[52]

分類器が与えられた場合、その分類器によって計算される確率を、そのインスタンスが正のクラス+に属する確率とします。が1または0に近い場合、そのインスタンスはそれぞれクラス+または-に属することが高い確度で特定されます。しかし、が0.5に近い場合、分類はより不明確になります。^[53]${\textstyle P(+|X)}$${\textstyle X}$${\textstyle P(+|X)}$${\textstyle X}$${\textstyle P(+|X)}$

となる特定の がある場合、 は「拒否されたインスタンス」であると言います。 ${\textstyle X}$${\textstyle max(P(+|X),1-P(+|X))\leq \theta }$${\textstyle \theta }$${\textstyle 0.5<\theta <1}$

「ROC」のアルゴリズムは、上記のルールに従って拒否されなかったインスタンスと、拒否されたインスタンスを次のように分類します。インスタンスが恵まれないグループ ( ) の例である場合は、それを陽性としてラベル付けし、そうでない場合は、陰性としてラベル付けします。 ${\displaystyle X(A)=a}$

我々は、それぞれの問題に最適なものを見つけ、特権階級に対する差別を避けるため、さまざまな差別尺度（リンク）を関数として最適化することができる。 ^[53]${\textstyle \theta }$${\textstyle \theta }$

• アルゴリズムの偏り
• 機械学習
• 表現上の害