顔認識システム

自動顔認識は、1960年代にウッディ・ブレッドソー、ヘレン・チャン・ウルフ、チャールズ・ビソンによって開拓され、彼らの研究はコンピュータに人間の顔を認識させることに焦点を当てていました。^{[ 15 ]}彼らの初期の顔認識プロジェクトは、人間がまず写真内の顔の特徴の座標をコンピュータが認識に使用できるようにする必要があるため、「人間と機械」と呼ばれていました。グラフィックタブレットを使用して、人間は瞳孔の中心、目の内側と外側の角、生え際の未亡人の峰などの顔の特徴の座標を特定します。これらの座標を使用して、口と目の幅を含む20の個別の距離を計算します。人間は1時間に約40枚の画像を処理し、これらの計算された距離のデータベースを構築できます。コンピュータは、各写真の距離を自動的に比較し、距離の差を計算し、一致する可能性のあるレコードを返します。^{[ 15 ]}

1970年、金出武夫は、顎などの解剖学的特徴を特定し、人間の介入なしに顔の特徴間の距離比を計算する顔照合システムを公開した。その後のテストで、このシステムが常に顔の特徴を確実に識別できるとは限らないことが明らかになった。それでも、この分野への関心は高まり、1977年に金出は顔認識技術に関する最初の詳細な書籍を出版した。^{[ 16 ]}

1993年、国防高等研究計画局（DARPA）と陸軍研究所（ARL）は、生産的な実生活環境で使用できる「自動顔認識機能」を開発し、「セキュリティ、情報、法執行機関の職員が職務を遂行するのを支援する」ための顔認識技術プログラムFERETを設立した。研究室で試験された顔認識システムが評価された。FERETテストでは、既存の自動顔認識システムの性能は様々であったが、既存のいくつかの手法は、制御された環境で撮影された静止画像内の顔を認識するために有効に使用できることがわかった。^{[ 17 ]} FERETテストは、自動顔認識システムを販売する3つの米国企業を生み出した。Vision CorporationとMiros Incは、FERETテストの結果をセールスポイントとして利用した研究者によって1994年に設立された。Viisage Technologyは、 MITのアレックス・ペントランドが開発した顔認識アルゴリズムの権利を商業的に利用するために、 IDカード防衛請負業者によって1996年に設立された。^{[ 18 ]}

1993 年の FERET 顔認識ベンダーテストの後、ウェストバージニア州とニューメキシコ州の車両管理局(DMV) オフィスは、異なる名前で複数の運転免許証を取得することを防ぐために自動顔認識システムを使用する最初の DMV オフィスとなりました。当時、米国の運転免許証は写真付き身分証明書として一般的に受け入れられていました。米国全土の DMV オフィスは技術的なアップグレードを進めており、デジタル ID 写真のデータベースを構築している最中でした。これにより、DMV オフィスは市場に出回っている顔認識システムを導入し、既存の DMV データベースに対して新しい運転免許証の写真を検索できるようになりました。^{[ 19 ]} DMV オフィスは自動顔認識技術の最初の主要市場の 1 つとなり、米国市民に顔認識を標準的な身分証明方法として導入しました。^{[ 20 ]} 1990 年代の米国の刑務所人口の増加により、米国の各州はデジタル生体認証データベースを組み込んだ接続された自動身分証明システムを確立し、場合によっては顔認識も含まれていました。 1999年、ミネソタ州はVisionics社の顔認識システムFaceITをマグショット予約システムに組み込み、警察、裁判官、裁判所職員が州全体で犯罪者を追跡できるようにした。^{[ 21 ]}

1990 年代までは、顔認識システムは主に人間の顔の写真ポートレートを使用して開発されていました。他のオブジェクトを含む画像から顔を確実に特定するための顔認識の研究は、1990 年代初頭に主成分分析(PCA) によって勢いを増しました。PCA による顔検出方法はEigenfaceとも呼ばれ、Matthew Turk と Alex Pentland によって開発されました。^{[ 22 ]} Turk と Pentland は、カルーネン・レーヴェの定理と因子分析の概念的アプローチを組み合わせて、線形モデルを開発しました。Eigenface は、人間の顔の全体的かつ直交する特徴に基づいて決定されます。人間の顔は、多数の Eigenface の重み付き組み合わせとして計算されます。特定の集団の人間の顔をエンコードするために使用される Eigenface が少ないため、Turk と Pentland の PCA 顔検出方法は、顔を検出するために処理する必要のあるデータ量を大幅に削減しました。 1994年、ペントランドは、顔認識におけるPCAの利用を促進するために、固有目、固有口、固有鼻などの固有顔特徴を定義しました。1997年、PCA固有顔法^{[ 23 ]}は、線形判別分析（LDA）を使用してFisherfaceを生成することで改良されました。^{[ 24 ]} LDA Fisherfaceは、PCA特徴ベースの顔認識で主に使われるようになりました。一方、固有顔は顔の再構成にも使用されました。これらのアプローチでは、顔の特徴や部分をリンクする顔の全体的な構造は計算されません。^{[ 25 ]}

顔認識に対する純粋に特徴ベースのアプローチは、1990年代後半にボーフムシステムに取って代わられました。ボーフムシステムは、ガボールフィルタを使用して顔の特徴を記録し、顔の構造のグリッドを計算して特徴をリンクしました。^{[ 26 ]}クリストフ・フォン・デア・マルスブルクとボーフム大学の研究チームは、1990年代半ばに、皮膚のセグメンテーションを使用して画像から顔を抽出するElastic Bunch Graph Matchingを開発しました。 ^{[ 22 ]} 1997年までに、マルスブルクによって開発された顔検出方法は、市場に出回っている他のほとんどの顔検出システムを凌駕しました。いわゆる「ボーフムシステム」と呼ばれる顔検出システムは、空港やその他の混雑した場所の運営者向けにZN-Faceとして市販されました。このソフトウェアは「完璧ではない顔の画像から識別を行うのに十分な堅牢性を備えており、口ひげ、あごひげ、髪型の変更、眼鏡、さらにはサングラスといった識別の妨げとなるものも多くの場合見抜くことができます」。^{[ 27 ]}

2001年に、顔検出のためのViola–Jonesオブジェクト検出フレームワークにより、ビデオ映像でのリアルタイム顔検出が可能になりました。^{[ 28 ]} Paul ViolaとMichael Jonesは、顔検出手法とデジタル画像における物体認識のためのHaarライク特徴アプローチを組み合わせて、初のリアルタイム正面顔検出器であるAdaBoostを発表しました。 ^{[ 29 ]} 2015年までに、Viola–Jonesアルゴリズムは、ハンドヘルドデバイスや組み込みシステム上の小型低電力検出器を使用して実装されました。そのため、Viola–Jonesアルゴリズムは、顔認識システムの実際的な応用範囲を広げただけでなく、ユーザーインターフェースやテレビ会議の新しい機能をサポートするためにも使用されています。^{[ 30 ]}

ウクライナは、死亡したロシア兵の身元確認に米国に拠点を置くClearview AIの顔認識ソフトウェアを使用している。ウクライナは8,600件の検索を行い、死亡したロシア兵582人の家族を特定した。このソフトウェアを使用しているウクライナ軍のITボランティア部隊は、その後、死亡した兵士の家族に連絡を取り、ウクライナにおけるロシアの活動について認識を高めている。主な目的は、ロシア政府を不安定化させることである。これは心理戦の一形態と見なすことができる。5つの省庁の約340人のウクライナ政府職員がこの技術を使用している。これは、ウクライナに侵入しようとするスパイを捕まえるために使用されている。^{[ 31 ]}

Clearview AIの顔認識データベースは政府機関のみが利用可能であり、政府機関は法執行機関の捜査を支援するため、または国家安全保障に関連してのみこの技術を使用できる。^{[ 32 ]}

このソフトウェアはClearview AI社からウクライナに寄贈された。ロシアはこれを反戦活動家を探すために使用していると考えられている。Clearview AIは元々米国の法執行機関向けに設計されたものだ。戦争でこれを使用することは新たな倫理的懸念を引き起こす。ロンドンを拠点とする監視専門家の一人、スティーブン・ヘア氏は、ウクライナ人が非人道的に見えるようになるのではないかと懸念している。「これは実際に機能しているのか？それとも（ロシア人に）『無法で残酷なウクライナ人が、我々の兵士にこんなことをしている』と言わせることになるのか？」^{[ 33 ]}

顔認識アルゴリズムの中には、被写体の顔の画像からランドマーク、つまり特徴を抽出することで顔の特徴を識別するものがあります。たとえば、アルゴリズムは目、鼻、頬骨、顎の相対的な位置、サイズ、形状を分析する場合があります。^{[ 36 ]}これらの特徴は、一致する特徴を持つ他の画像を検索するために使用されます。^{[ 37 ]}

他のアルゴリズムでは、顔画像のギャラリーを正規化してから顔データを圧縮し、顔認識に役立つ画像内のデータのみを保存します。次に、プローブ画像が顔データと比較されます。 ^{[ 38 ]}最も初期の成功したシステムの1つ^{[ 39 ]}は、一連の顕著な顔の特徴に適用されるテンプレートマッチング技術^{[ 40 ]}に基づいており、一種の圧縮された顔表現を提供します。

認識アルゴリズムは、特徴を区別する幾何学的アプローチと、画像を値に抽出してテンプレートと比較して差異を排除する統計的アプローチであるフォトメトリックアプローチの 2 つの主要なアプローチに分けられます。これらのアルゴリズムは、全体的モデルと特徴ベースモデルの 2 つの大きなカテゴリに分類されます。前者は顔全体を認識しようとしますが、特徴ベースは特徴に応じてコンポーネントに細分化し、それぞれと他の特徴に対する空間的位置を分析します。^{[ 41 ]}

一般的な認識アルゴリズムには、固有顔を使用した主成分分析、線形判別分析、Fisherface アルゴリズムを使用した弾性バンチグラフマッチング、隠れマルコフモデル、テンソル表現を使用した多重線形部分空間学習、ニューロンに動機付けられた動的リンクマッチングなどがあります。^{[ 42 ]}現代の顔認識システムでは、ディープラーニングなどの機械学習技術の利用が増えています。^{[ 43 ]}

遠隔での人物識別（HID）を可能にするために、顔の低解像度画像は顔幻覚法を用いて強調されます。CCTV画像では、顔はしばしば非常に小さく写ります。しかし、顔の特徴を識別してプロットする顔認識アルゴリズムは高解像度画像を必要とするため、信号対雑音比の高い環境で撮影された画像でも顔認識システムが動作できるように、解像度向上技術が開発されてきました。顔認識システムに画像を送信する前に画像に適用される顔幻覚アルゴリズムは、ピクセル置換または最近傍分布インデックスを用いた事例ベースの機械学習を使用し、人口統計学的および年齢に関連する顔の特徴も組み込む場合があります。顔幻覚法の使用は、高解像度顔認識アルゴリズムの性能を向上させ、超解像アルゴリズムの固有の制限を克服するために使用できます。顔幻覚法は、顔が偽装されている画像の事前処理にも使用されます。この場合、サングラスなどの偽装が取り除かれ、顔幻覚アルゴリズムが画像に適用されます。このような顔幻覚アルゴリズムは、変装ありと変装なしの類似した顔画像でトレーニングする必要があります。変装を取り除いて露出した領域を埋めるには、顔幻覚アルゴリズムは顔全体の状態を正しくマッピングする必要がありますが、低解像度の画像で捉えられた瞬間的な表情のため、これは不可能かもしれません。^{[ 44 ]}

3 次元顔認識技術は、3D センサーを使用して顔の形状に関する情報を取得します。この情報は、眼窩、鼻、顎の輪郭など、顔の表面の特徴を識別するために使用されます。^{[ 45 ]} 3D 顔認識の利点の 1 つは、他の技術のように照明の変化の影響を受けないことです。また、横顔を含むさまざまな視点から顔を識別することもできます。^{[ 45 ] [ 37 ]}顔からの 3 次元データ ポイントは、顔認識の精度を大幅に向上させます。3D 次元顔認識の研究は、構造化光を顔に投影する高度なセンサーの開発によって可能になりました。^{[ 46 ]} 3D マッチング技術は表情に敏感であるため、テクニオンの研究者は、表情を等長変換として扱うために計量幾何学のツールを適用しました。^{[ 47 ]}顔の 3D 画像をキャプチャする新しい方法は、異なる角度を向いた 3 つのトラッキング カメラを使用します。1 つのカメラは被写体の正面を向き、2 番目は横を向き、3 番目は斜めを向きます。これらのカメラはすべて連携して動作し、被写体の顔をリアルタイムで追跡し、顔検出と認識を可能にします。^{[ 48 ]}

顔認識の入力データを取得する別の方法として、サーマルカメラを使用する方法があります。この方法では、カメラは頭の形だけを検出し、眼鏡、帽子、化粧などの被写体のアクセサリーは無視します。^{[ 49 ]}従来のカメラとは異なり、サーマルカメラはフラッシュを使用せず、カメラの位置を露出させることなく、低照度や夜間でも顔画像を撮影できます。^{[ 50 ]}しかし、顔認識用のデータベースは限られています。サーマル顔画像のデータベースを構築する取り組みは2004年に遡ります。^{[ 49 ]} 2016年までに、IIITD-PSEやノートルダム大学のサーマル顔データベースなど、いくつかのデータベースが存在しました。^{[ 51 ]}現在のサーマル顔認識システムは、屋外環境で撮影されたサーマル画像から顔を確実に検出することはできません。^{[ 52 ]}

2018年、米国陸軍研究所（ARL）の研究者らは、サーマルカメラで取得した顔画像を、従来のカメラで撮影したデータベース内の顔画像と照合できる技術を開発しました。^{[ 53 ]} 2つの異なる画像モダリティからの顔認識を橋渡しする方法からクロススペクトル合成法として知られるこの方法は、複数の顔領域と詳細を分析することによって単一の画像を合成します。^{[ 54 ]}これは、特定の熱画像を対応する可視顔画像にマッピングする非線形回帰モデルと、潜在投影を画像空間に投影する最適化問題で構成されています。^{[ 50 ]} ARLの科学者らは、このアプローチは、グローバル情報（つまり顔全体の特徴）とローカル情報（つまり目、鼻、口に関する特徴）を組み合わせることによって機能すると指摘しています。^{[ 55 ]} ARLで実施された性能テストによると、マルチリージョンクロススペクトル合成モデルは、ベースライン方法と比較して約30%、最先端の方法と比較して約5%の性能向上を示しました。^{[ 54 ]}

2013 年に設立されたLooksery は、 Kickstarter で顔修正アプリの資金調達を行いました。クラウドファンディングの成功後、Looksery は2014 年 10 月にリリースされました。このアプリケーションでは、ユーザーの外見を変更する顔用特殊フィルターを介して、他のユーザーとビデオチャットを行うことができます。Facetuneや Perfect365など、すでに市場に出回っている画像拡張アプリケーションは静止画像に限定されていましたが、Looksery はライブビデオに拡張現実を適用できるようにしました。 2015 年後半、SnapChat がLooksery を買収し、Looksery は同社の画期的なレンズ機能となりました。^{[ 56 ]} Snapchat のフィルター アプリケーションは顔検出技術を使用しており、画像で識別された顔の特徴に基づいて、3D メッシュ マスクが顔の上に重ねられます。^{[ 57 ]}さまざまな技術が、顔認識防止マスクを使用して顔認識ソフトウェアを欺こうとしています。^{[ 58 ]}

DeepFaceは、 Facebookの研究グループが開発した深層学習顔認識システムです。デジタル画像から人間の顔を識別します。1億2000万を超える接続重みを持つ9層のニューラルネットワークを採用し、 Facebookユーザーがアップロードした400万枚の画像でトレーニングされています。 ^{[ 59 ] [ 60 ]}このシステムの精度は97%と言われており、FBIの次世代識別システムの85%を上回っています。^{[ 61 ]}

TikTokのアルゴリズムは特に効果的だと考えられてきたが、アプリがユーザーの希望するコンテンツを推測するのにこれほど効果的な正確なプログラミングは一体何なのか、多くの人が疑問に思っていた。^{[ 62 ]} 2020年6月、TikTokは「おすすめ」ページと、顔認識を含まない動画の推奨方法に関する声明を発表した。^{[ 63 ]}しかし、2021年2月、TikTokは、 アプリがユーザーの動画と年齢、性別、民族を識別するアルゴリズムの両方で顔認識を使用していたと主張する米国の訴訟で、9200万ドルの和解に合意した。^{[ 64 ]}

顔認識の新たな用途は、 ID検証サービスの利用です。多くの企業などが現在、銀行、ICO、その他の電子商取引向けにこれらのサービスを提供するために市場で活動しています。^{[ 65 ]}顔認識は、さまざまなコンピューティング プラットフォームやデバイスの生体認証の一形態として活用されてきました。 ^{[ 37 ]} Android 4.0「Ice Cream Sandwich」では、スマートフォンのフロント カメラを使用した顔認識がデバイスのロック解除手段として追加されました。 ^{[ 66 ] [ 67 ]}一方、Microsoft は、 Kinectアクセサリを介してXbox 360ビデオゲーム コンソールに顔認識ログインを導入し、^{[ 68 ]}また、赤外線照明カメラを必要とする「Windows Hello」プラットフォームを介してWindows 10にも導入しました。 ^{[ 69 ]} 2017 年、Apple のiPhone Xスマートフォンは、赤外線照明システムを使用する「 Face ID 」プラットフォームで顔認識を製品ラインに導入しました。^{[ 70 ]}

顔認識アルゴリズムは、鼻、頬、その他の顔の特徴を利用して、いくつかの疾患の診断に役立ちます。^{[ 75 ]}開発されたデータセットに基づいて、機械学習は顔の寸法のみに基づいて遺伝的異常を特定するために使用されてきました。^{[ 76 ]} FRTは、手術手順の前に患者を確認するためにも使用されています。

2022年3月、フォーブスの出版物によると、AI開発会社のFDNAは、10年間で遺伝学者と協力して約5,000の疾患のデータベースを開発し、そのうち1,500は顔認識アルゴリズムで検出できると主張した。^{[ 77 ]}

米国の企業3VR（現在はIdentiv ）は、 2007年にはすでに小売業者に顔認識システムとサービスを提供し始めたベンダーの一例である。^{[ 151 ]} 2012年には、同社は「顧客の待ち時間を短縮するための滞在時間と行列分析」、「従業員によるパーソナライズされた顧客挨拶を促進するための顔監視分析」、および「POS（販売時点情報管理）データと顔認識を組み合わせることでロイヤルティプログラムを作成できる」といった利点を宣伝した。^{[ 152 ]}

2001年1月に行われたアメリカンフットボールのチャンピオンシップゲーム、スーパーボウルXXXVで、フロリダ州タンパベイの警察は、イベントに参加している可能性のある犯罪者やテロリストを捜索するためにViisageの顔認識ソフトウェアを使用しました。軽犯罪歴のある19人が特定されました。^{[ 156 ] [ 157 ]}

顔認識システムは、写真管理ソフトウェアでも写真の被写体を識別するために使用されており、人物による画像検索などの機能や、写真に特定の連絡先が写っている場合にその連絡先と共有する写真を提案する機能などを実現している。^{[ 158 ] [ 159 ]} 2008年までに、顔認識システムはセキュリティシステムのアクセス制御として一般的に使用されるようになった。^{[ 160 ]}

アメリカの人気音楽界およびカントリーミュージック界のスター、テイラー・スウィフトは、 2018年のコンサートで密かに顔認識技術を使用した。カメラはチケット売り場近くのキオスクに埋め込まれており、会場に入場するコンサート客をスキャンして既知のストーカーを特定した。^{[ 161 ]}

2019年8月18日、タイムズ紙は、UAEが所有するマンチェスター・シティが、運転手プログラムに顔認識システムを導入するために、テキサス州に拠点を置くブリンク・アイデンティティ社を雇ったと報じた。同クラブは、エティハド・スタジアムのサポーターのために、超高速レーンを1つ設ける計画を立てている。^{[ 162 ]}しかし、市民権団体は、この技術の導入は「大規模な監視ツールを常態化させる」危険性があるとして、同クラブに警告を発した。リバティの政策・キャンペーン担当官ハンナ・カウチマン氏は、マンチェスター・シティの動きは憂慮すべきものであり、ファンは極めて機密性の高い個人情報を民間企業と共有することを強いられ、日常生活で追跡・監視される可能性があると述べた。^{[ 163 ]}

2019年、オーストラリアとニュージーランドのカジノは盗難防止のために顔認証を導入し、シドニーのスターカジノの代表者は、バーに再び来店した客を歓迎するなど「顧客サービス」も提供すると述べた。^{[ 154 ]}

2020年8月、米国でCOVID-19パンデミックが蔓延する中、ニューヨークとロサンゼルスのアメリカンフットボールスタジアムは、今後の試合に向けて顔認証システムを導入すると発表した。その目的は、入場プロセスを可能な限り非接触にすることである。^{[ 164 ]}フロリダ州オーランド近郊のディズニー・マジックキングダムも同様に、パンデミック中に非接触体験を実現するために顔認証技術のテストを発表した。このテストは当初2021年3月23日から4月23日の間に実施される予定だったが、 2021年4月下旬までに期間制限は撤廃された。 。^{[ 165 ]}

メディア企業は、写真や動画の追跡、整理、アーカイブを効率化するために顔認識技術の使用を開始している。^{[ 166 ]}

2006年に、最新の顔認識アルゴリズムの性能が顔認識グランドチャレンジ（FRGC）で評価されました。テストでは、高解像度の顔画像、3D顔スキャン、虹彩画像が使用されました。結果は、新しいアルゴリズムが2002年の顔認識アルゴリズムよりも10倍、1995年のアルゴリズムよりも100倍正確であることを示しました。一部のアルゴリズムは、顔認識において人間の参加者を上回り、一卵性双生児を一意に識別することができました。^{[ 45 ] [ 167 ]}

顔認識システムの重要な利点の 1 つは、被験者の協力なしに動作するため、大量識別を実行できることです。空港、複合映画館、その他の公共の場所に設置された適切に設計されたシステムは、通行人がシステムに気づくことなく、群衆の中から個人を識別できます。^{[ 168 ]}しかし、他の生体認証技術と比較すると、顔認識は最も信頼性が高く効率的ではない可能性があります。顔画像には大きなばらつきが生じる可能性があるため、顔認識システムでは品質測定が非常に重要です。顔の撮影時の照明、表情、姿勢、ノイズなどの要因は、顔認識システムのパフォーマンスに影響を与える可能性があります。^{[ 168 ]}すべての生体認証システムの中で、顔認識は誤認率と誤拒否率が最も高いため、^{[ 168 ]}鉄道や空港のセキュリティ、法執行、住宅や雇用の決定の場合、顔認識ソフトウェアの有効性や偏りについて疑問が呈されています。^{[ 169 ] [ 5 ]}

2008年にカーネギーメロン大学ロボティクス研究所の研究員であったラルフ・グロスは、顔の視角に関連する障害の1つについて次のように述べています。「顔認識は正面顔と20度ずれた顔ではかなり良くなっていますが、横顔になると問題が発生します。」^{[ 45 ]}姿勢の変化に加えて、低解像度の顔画像も認識が非常に困難です。これは監視システムにおける顔認識の主な障害の1つです。^{[ 170 ]}また、カメラの設定によっては、他の肌の色よりも白い肌の画像がより鮮明になる場合があることも示唆されています。^{[ 5 ]}

顔認識は、表情が変化すると効果が低下します。満面の笑みはシステムの有効性を低下させる可能性があります。例えば、カナダは2009年にパスポート写真で無表情のみを許可しました。^{[ 171 ]}

研究者が使用するデータセットにも一貫性がない。研究者は、数人から数十人の被験者、数百枚から数千枚の画像を使用する可能性がある。データセットは多様で包括的なものもあれば、主に白人男性の画像を含むものもある。研究者が使用したデータセットを互いに共有するか、少なくとも標準的または代表的なデータセットを用意することが重要である。^{[ 172 ]}

顔認識システムの中には高い精度を謳っているものもありますが、こうした結果は普遍的なものではありません。一貫して精度が最も低いのは、18歳から30歳までの黒人女性です。^{[ 5 ]}

研究によると、顔認識アルゴリズムは、肌の色が濃い人に比べて、肌の色が薄い人に対してより良いパフォーマンスを発揮する傾向があることが示されています。たとえば、2018年の研究では、主要な商用性別分類モデル（顔認識モデル）は、肌の色が薄い人に比べて、肌の色が濃い人に対して最大7倍のエラー率を示すことがわかりました。^{[ 173 ]}当初、この差異は、トレーニングデータセットの不均衡に起因すると考えられていました。トレーニングデータセットは、肌の色が薄い人を過剰に表現することが多く、その結果、肌の色が濃い人に対してエラー率が高くなるのです。しかし、その後の研究では、データセットの不均衡がパフォーマンスの違いの唯一の原因ではないことが示されました。^{[ 174 ]}

JPEGクロマサブサンプリングなどの一般的な画像圧縮方法は、肌の色が濃い人に対して不均衡にパフォーマンスを低下させることがわかっています。これらの方法は色情報を適切に表現しないため、アルゴリズムが肌の色が濃い人を正確に認識する能力に悪影響を及ぼします。^{[ 175 ]}

顔認識システムは、非ヨーロッパ中心の顔の特徴を持つ個人を識別する際に、精度が低下することがよくあります。クロスレース効果として知られるこのバイアスは、システムがトレーニングデータで過剰に表現されている人種または民族グループに対してより良いパフォーマンスを発揮し、結果として過小に表現されているグループの精度が低下する場合に発生します。^{[ 176 ]}過剰に表現されているグループは、一般的にモデルが開発されている地域で人口が多いグループです。たとえば、アジア文化で開発されたモデルは、開発者のトレーニングデータセットで過剰に表現されているため、ヨーロッパ中心の顔の特徴よりもアジア人の顔の特徴に対して一般的に優れたパフォーマンスを発揮します。ヨーロッパ中心の文化で開発されたモデルでは、その逆が見られます。^{[ 177 ]}

顔認識に使用されるシステムは、ヨーロッパ中心主義的な出自ではない特徴を完全に認識するために必要な十分なトレーニングが不足していることが多い。これらの機械学習（ML）モデルのトレーニングとデータベースに多様な表現が含まれていない場合、モデルは見落とされた集団を識別できず、人種的偏見が増大する。^{[ 7 ]}

異人種効果は機械に限ったことではなく、人間も自分とは異なる人種や民族の顔を認識するのに困難を感じる。これは、訓練データセットにおいて人間の固有の偏見が永続化されている例である。^{[ 178 ]}

顔認識技術は、障害のある個人を識別する際に大きな課題に直面します。例えば、ダウン症候群の人を認識する際にシステムの性能が低下し、誤認識率が高くなることが示されています。これは、ダウン症候群に関連する独特の顔の構造がトレーニングデータセットに十分に表現されていないためです。^{[ 179 ]}

より広義には、顔認識システムは障害に関連する多様な身体的特徴を見落とす傾向がある。さまざまな障害を持つ個人の代表的なデータが不足していることは、バイアスを軽減し精度を向上させるための包括的なアルゴリズム設計の必要性をさらに強調している。^{[ 180 ]}

さらに、顔表情認識技術は知的障害のある人の感情状態を正確に解釈できないことが多い。この欠点は効果的なコミュニケーションや相互作用を妨げる可能性があり、知的障害のある人を含む多様なデータセットでトレーニングされたシステムの必要性を強調している。^{[ 181 ]}

さらに、顔認識アルゴリズムの偏りは、障害のある人々に対する差別的な結果につながる可能性があります。たとえば、特定の顔の特徴や非対称性によって誤認や排除が生じる可能性があり、アクセスしやすく公平な生体認証システムの開発の重要性が浮き彫りになります。^{[ 182 ]}

2025年のレビューでは、入力、モデル、または出力段階での処理により、顔認識における人口統計学的バイアスの軽減が改善されたことが示されました。^{[ 174 ]}

さらに、ターゲットを絞ったデータセットの収集は、顔認識システムにおける人種間の公平性を向上させることが示されています。多様なデータ入力を優先することで、研究者たちは人種グループ間のパフォーマンス格差の測定可能な減少を実証しました。^{[ 179 ]}

この技術の批判者たちは、ロンドン・ニューハム区の計画が2004年時点で、システムのデータベースには区内に居住する犯罪者が複数登録されているにもかかわらず、システムが数年間稼働しているにもかかわらず、犯罪者を一人も認識したことがない。「警察の知る限り、ニューハムの自動顔認識システムが生きているターゲットを一度も発見したことはない。」^{[ 157 ] [ 183 ]}​​ この情報は、このシステムによって犯罪が34%減少したという主張と矛盾しているように思われる（そのため、バーミンガムにも導入された）。^{[ 184 ]}

2002年にフロリダ州タンパの地元警察が行った実験も同様に期待外れの結果に終わった。^{[ 157 ]}ボストンのローガン空港のシステムは、2年間の試験期間中に一致を一つも見つけられなかったため、2003年に停止された。^{[ 185 ]}

2014年、Facebookは、標準化された2択の顔認識テストにおいて、同社のオンラインシステムが97.25%の精度を達成し、人間のベンチマークである97.5%に匹敵すると発表した。^{[ 186 ]}

システムはしばしば精度がほぼ100%であると宣伝されますが、これは結果が普遍的ではないため誤解を招きます。^{[ 5 ]}研究では、大規模なアプリケーションに必要なサンプルよりも小さく、多様性に欠けるサンプルが使用されることがよくあります。顔認識は完全に正確ではないため、潜在的な一致のリストが作成されます。人間のオペレーターはこれらの潜在的な一致を精査する必要がありますが、研究によると、オペレーターがリストから正しい一致を選択するのは約半分の確率です。これが、間違った容疑者を標的にするという問題を引き起こします。^{[ 93 ] [ 187 ]}

電子フロンティア財団、ビッグブラザーウォッチ、ACLUなどの市民権団体やプライバシー擁護団体は、監視技術の使用によってプライバシーが侵害されていることを懸念している。^{[ 188 ] [ 86 ] [ 189 ]}顔認識は、個人を特定するだけでなく、個人に関連する他の個人データ（個人が写っている他の写真、ブログ記事、ソーシャルメディアのプロフィール、インターネット上の行動、旅行パターンなど）を掘り起こすためにも使用できる。^{[ 190 ]}いつでも自分の居場所や一緒にいる人の情報に誰がアクセスできるのかという懸念が提起されている。^{[ 191 ]}さらに、個人は顔を隠さない限り、顔認識による追跡を回避または阻止する能力が限られている。これは、マーケター、政府機関、または見知らぬ人が、顔認識システムによって捕捉された個人の身元と関連する個人情報を秘密裏に収集することを可能にすることで、日常的なプライバシーの力学を根本的に変える。^{[ 190 ]}消費者は自分のデータが何に使われているのかを理解していないか、認識していない可能性があり、そのため個人情報の共有方法に同意する能力が奪われる。^{[ 191 ]}

2015年7月、米国政府会計検査院は、米国上院司法委員会プライバシー・テクノロジー・法律小委員会の筆頭委員に報告書を提出した。この報告書は、顔認識技術の商業利用、プライバシー問題、および適用される連邦法について論じている。報告書は、顔認識技術に関する問題は以前から議論されており、連邦法が先進技術の影響に常に対応できるよう、米国のプライバシー法を更新する必要性を示していると述べている。報告書は、一部の業界、政府、および民間組織が「自主的なプライバシーガイドライン」を策定中、または既に策定済みであると指摘している。これらのガイドラインは関係者によって異なっていたが、その全体的な目的は、同意を得て、顔認識技術の意図された使用について市民に知らせることであった。報告書によると、自主的なプライバシーガイドラインは、市民が個人データがどのように使用されるかを知らない場合に生じるプライバシーの懸念に対処するのに役立った。^{[ 191 ]}

2016年、ロシアの企業NtechLabは、ロシアのユーザーが街で見知らぬ人の写真を撮り、それをソーシャルメディアプラットフォームVkontakte（VK）のソーシャルメディアプロフィールにリンクできると約束してFindFace顔認識システムを発表し、国際メディアでプライバシースキャンダルを引き起こした。 ^{[ 192 ]} 2017年12月、Facebookは、タグ付けされていなくても、Facebookが自分の顔だと判断した写真がアップロードされた場合にユーザーに通知する新機能を展開した。Facebookは、以前の反発の中で、この新機能を肯定的に捉えようと試みた。^{[ 193 ]} Facebookのプライバシー責任者であるロブ・シャーマンは、この新機能はオンライン上の写真に対する人々のコントロールを強化するものだと述べた。「これは本当に力を与える機能だと考えています」と彼は言う。「あなたが知らない写真が存在するかもしれません」^{[ 194 ]} FacebookのDeepFaceは、生体情報プライバシー法に基づく複数の集団訴訟の対象となっており、Facebookがユーザーの同意を得ずに顔認識データを収集・保存しており、2008年の生体情報プライバシー法（BIPA）に直接違反していると主張している。^{[ 195 ]}最新の訴訟は、裁判所に管轄権がなかったため、2016年1月に却下された。^{[ 196 ]}米国では、Clearview AIなどの監視会社が、顔認識システムの開発に使用できるデータを得るために、ソーシャルメディアプラットフォーム上のユーザーアカウントからデータをスクレイピングするために、米国憲法修正第1条に依拠している。 ^{[ 197 ]}

2019年、フィナンシャル・タイムズ紙は、ロンドンのキングス・クロス地区で顔認識ソフトウェアが使用されていることを初めて報じた。 ^{[ 198 ]}ロンドンのキングス・クロス駅周辺の開発には、店舗、オフィス、Googleの英国本社、セント・マーチンズ・カレッジの一部が含まれる。英国情報コミッショナー事務局によると、「人々が合法的に日常生活を送っている際に、その顔をスキャンして個人を特定することは、プライバシーに対する潜在的な脅威であり、私たち全員が懸念すべきである。」^{[ 199 ] [ 200 ]}英国情報コミッショナーのエリザベス・デナム氏は、アーゲント社が運営するキングス・クロスの顔認識システムの使用に関する調査を開始した。2019年9月、アーゲント社は、キングス・クロスでは顔認識ソフトウェアが使用されなくなると発表した。アーゲント社は、このソフトウェアは2016年5月から2018年3月まで、開発の中心を通る歩行者専用道路をカバーする2台のカメラに展開されていたと主張した。^{[ 201 ]} 2019年10月、ロンドン副市長ソフィー・リンデンの報告書により、ロンドン警視庁が秘密裏に7人の写真をアーゲント社に渡し、キングスクロス駅の顔認識システムで使用していたことが明らかになった。^{[ 202 ]}

自動顔認識は、 2017年から2019年の間にサウスウェールズ警察によって複数回試験的に実施されました。この技術の使用は、慈善団体Libertyの支援を受けた個人であるEdward Bridgesによって法廷で争われました（R (Bridges) v Chief Constable South Wales Policeとして知られる事件）。この事件は控訴裁判所で審理され、2020年8月に判決が下されました。^{[ 203 ]}この事件では、顔認識の使用には不十分な法的枠組みまたは比例性があり、その使用は1998年および2018年のデータ保護法に違反しているため、顔認識の使用はプライバシー侵害であると主張されました。この事件はBridgesに有利に判決され、損害賠償は認められませんでした。この事件は、不正行為の宣言によって和解されました。^{[ 203 ]}この事件を受けて、英国政府は公共空間における顔認識技術の使用を規制する法案の可決を繰り返し試みてきた。提案された法案は、CCTV担当委員と同様の方法で政府機関による顔認識技術の使用を規制する権限を持つ委員を任命しようと試みている。そのような法案はまだ施行されていない[ 2021年9月現在] ]. ^{[ 127 ]}

2023年1月、ニューヨーク州司法長官レティシア・ジェームズは、マディソン・スクエア・ガーデン・エンターテインメントが同社に対する訴訟に関与する弁護士のマディソン・スクエア・ガーデンへの入場を阻止するために顔認識技術を使用しているとの報告を受け、同社に対し顔認識技術の使用に関する詳細情報の提供を求めた。彼女は、そのような行為は連邦、州、および地方の人権法に違反する可能性があると指摘した。^{[ 204 ]}

2018年現在、顔認識技術が有色人種に対して精度が低いかどうかについては、依然として議論が続いている。^{[ 205 ]}ジョイ・ブオラムウィニ（MITメディアラボ）とティムニット・ゲブル（マイクロソフトリサーチ）によるある研究では、3つの市販の顔認識システムにおける有色人種の女性の性別認識のエラー率は23.8%から36%の範囲であったのに対し、肌の色の薄い男性では0.0%から1.6%の間であったことがわかった。男性を識別する全体的な精度（91.9%）は女性（79.4%）よりも高く、どのシステムも性別のノンバイナリーな理解に対応していなかった。^{[ 206 ]}また、市販の顔認識モデルのトレーニングに使用されたデータセットは、より広い人口を代表するものではなく、肌の色の薄い男性に偏っていたことも示された。しかし、別の研究では、全国の法執行機関に販売されているいくつかの市販の顔認識ソフトウェアは、白人よりも黒人に対する誤認率が低いことが示された。^{[ 207 ]}

専門家は、顔認識システムが、警察が保護しようとしていると主張する市民を実際に傷つけているのではないかと懸念している。^{[ 208 ]}これは不完全な生体認証と考えられており、ジョージタウン大学の研究者クレア・ガービーが行った研究では、「科学界では、それが誰かを確実に識別できるという合意はない」と結論付けている。^{[ 209 ]}この技術には大きな誤差があるため、法律擁護者と顔認識ソフトウェア会社の両方が、この技術は事件の一部のみを提供するべきであり、個人の逮捕につながる証拠にはならないと述べている。^{[ 209 ]}顔認識技術会社に人種的偏見テストの要件を課す規制がないことは、法執行機関での使用の採用における重大な欠陥となる可能性がある。法執行機関向けに自社を売り込んでいるサイバーエクストルーダー社は、自社のソフトウェアの偏見に関するテストや研究は行っていないと述べた。サイバーエクストルーダー社は、現在の技術の制限により、一部の肌の色はソフトウェアが認識しにくいと指摘した。 「肌の色が非常に濃い人が顔認識で高い精度で識別するのが難しいのと同様に、肌の色が非常に薄い人も識別が難しい」と、サイバーエクストルーダーのシニアソフトウェアエンジニアであるブレイク・センフトナーは述べた。^{[ 209 ]}

米国国立標準技術研究所（NIST）は、FRTシステムの1対1検証^{[ 210 ]}と1対多識別^{[ 210 ]}について広範なテストを実施しました。また、異なる人口統計グループ間でのFRTの精度の違いについてもテストしました。この独立した研究は、現時点では100%の精度を持つFRTシステムは存在しないと結論付けました^{[ 211 ] 。}

2010年、ペルーは個人データ保護法を可決し、個人を特定するために使用できる生体認証情報を機密データとして定義した。2012年、コロンビアは包括的なデータ保護法を可決し、生体認証データを機密情報として定義した。^{[ 142 ]} EUの2016年一般データ保護規則（GDPR）第9条(1)によれば、「自然人を一意に識別する」目的での生体認証データの処理は機密であり、このように処理された顔認識データは機密個人データとなる。GDPRがEU加盟国の法律に採用されたことに対し、EUを拠点とする研究者らは、GDPRの下で個人の顔認識データの処理について同意を得ることが義務付けられた場合、MegaFace規模の顔データベースは二度と構築できないだろうと懸念を表明した。^{[ 212 ]} 2019年9月、スウェーデンデータ保護庁（DPA）は、授業中の時間のかかる出席確認を代替するためにこの技術を使用していた学校に対し、EU一般データ保護規則（GDPR）違反で初めて罰金を科した。DPAは、学校が影響評価を完了せずに生徒の生体認証データを違法に取得したことを突き止めた。さらに、学校は試験的計画についてDPAに知らせていなかった。20万スウェーデンクローナ（1万9000ユーロ／2万1000ドル）の罰金が科された。

アメリカ合衆国では、いくつかの州が生体認証データのプライバシーを保護する法律を制定しています。例としては、イリノイ州生体認証情報プライバシー法（BIPA）やカリフォルニア州消費者プライバシー法（CCPA）などがあります。^{[ 213 ]} 2020年3月、カリフォルニア州の住民はClearview AI社に対して集団訴訟を起こし、同社がオンラインで生体認証データを違法に収集し、顔認識技術を利用して生体認証データのデータベースを構築し、それを企業や警察に販売したと主張しました。当時、Clearview AI社はすでにBIPAに基づく2件の訴訟^{[ 214 ]}と、カナダのプライバシーコミッショナーによる個人情報保護および電子文書法（PIPEDA）遵守に関する調査に直面していました。^{[ 215 ]}

2019年5月、カリフォルニア州サンフランシスコは、警察やその他の地方自治体機関による顔認識ソフトウェアの使用を禁止した米国初の主要都市となった。^{[ 216 ]}サンフランシスコ市監督官のアーロン・ペスキンは、監視技術を購入するにはサンフランシスコ市監督委員会の承認を得る必要があるという規制を導入した。 ^{[ 217 ]}また、この規制では、新しい監視技術の意図された用途を公表することも義務付けられている。^{[ 217 ]} 2019年6月、マサチューセッツ州サマービルは、東海岸で初めて政府による顔監視ソフトウェアの使用を禁止した都市となった。 ^{[ 218 ]}特に警察の捜査や自治体の監視においてである。^{[ 219 ]} 2019年7月、カリフォルニア州オークランドは、市当局による顔認識技術の使用を禁止した。^{[ 220 ]}

アメリカ自由人権協会（ACLU）は、監視技術の透明性を求めて全米でキャンペーンを展開しており^{[ 219 ]}、サンフランシスコとサマービルの顔認識ソフトウェア禁止を支持している。ACLUは、この技術による秘密主義と監視に異議を唱えている^{[ 221 ] 。}

ジョージ・フロイド抗議デモの間、マサチューセッツ州ボストン市では市当局による顔認識技術の使用が禁止された。^{[ 222 ]} 2020年6月10日現在 、自治体での使用は禁止されています: ^{[ 11 ]}

• カリフォルニア州バークレー
• カリフォルニア州オークランド
• マサチューセッツ州ボストン– 2020年6月30日^{[ 223 ]}
• マサチューセッツ州ブルックライン
• マサチューセッツ州ケンブリッジ
• マサチューセッツ州ノーサンプトン
• マサチューセッツ州スプリングフィールド
• マサチューセッツ州サマービル
• オレゴン州ポートランド– 2020年9月^{[ 224 ]}

インディアナ州ウェストラファイエット市議会は、顔認識監視技術を禁止する条例を可決した。^{[ 225 ]}

2020年10月27日、22の人権団体がマイアミ大学に対し顔認識技術の使用禁止を求めた。これは、学生たちが大学が学生抗議者を特定するためにこのソフトウェアを使用していると非難したことを受けてのことだった。しかし、大学側はこの主張を否定した。^{[ 226 ]}

マサチューセッツ州の州警察改革法は2021年7月に施行される予定で、州議会で可決された禁止法はチャーリー・ベーカー知事によって拒否された。^{[ 227 ]}その代わりに、この法律は司法令状を義務付け、捜索を行うことができる職員を制限し、技術がどのように使用されているかに関するデータを記録し、将来の規制について勧告を行う委員会を設置することを定めている。^{[ 228 ]}

2024年の報告書によると、サンフランシスコ警察を含む一部の警察署は、それぞれの都市で施行された顔認識技術の禁止を回避していたことが明らかになった。^{[ 229 ]}

2020年1月、欧州連合は公共空間での顔認識の一時停止を提案したが、すぐに撤回した。^{[ 230 ] [ 231 ]}

欧州の「Reclaim Your Face」連合は2020年10月に発足した。この連合は顔認識の禁止を求め、 2021年2月に欧州市民イニシアチブを開始した。60以上の団体が欧州委員会に対し、生体認証監視技術の使用を厳しく規制するよう求めている。^{[ 232 ]}