機械学習のアンラーニング

機械学習のアンラーニングは、モデルを一から再構築することなく、個人データ、古い情報、著作権で保護された素材、有害なコンテンツ、危険な能力、または誤情報などの特定の不要な要素を削除することに焦点を当てた機械学習の分野です。ChatGPT を動かすような大規模な言語モデルでは、特定の要素を削除するだけでなく、特定の例に簡単にリンクできない「概念」、「事実」、または「知識」をアンラーニングすることが求められる場合があります。このプロセスを説明するために、「モデル編集」、「概念編集」、「知識アンラーニング」などの新しい用語が登場しました。^[1]

初期の研究努力は、2014年に導入された「忘れられる権利」（RTBF）として一般に知られる欧州連合のプライバシー規制で あるGDPRの第17条に主に動機づけられていました。

GDPR では、大規模な言語モデルの開発によってデータ消去が複雑な作業になるとは予想されていませんでした。この問題はその後、「マシン アンラーニング」に関する研究につながり、著作権で保護された素材、有害なコンテンツ、危険な機能、および誤情報の削除にますます重点が置かれるようになりました。人間の初期の経験が後の経験を形作るのと同じように、一部の概念はより基本的で、アンラーニングするのが困難です。知識の一部がモデルの知識グラフに深く埋め込まれている場合、それをアンラーニングすると内部矛盾が発生し、それを解決するためにグラフの他の部分を調整する必要がある可能性があります。