循環分析

統計学において、循環分析とは、分析対象のデータを使用してデータ分析の詳細を選択することです。同じデータを2度使用するため、ダブルディッピングと呼ばれることもあります。循環分析は、報告された結果の見かけの統計的強度を不当に誇張し、極端な場合には、明らかに有意な結果がノイズのみで構成されたデータで見つかることもあります。特に、仮定された効果を調査するために実験を実施する場合、調査対象の効果に合わせた方法でデータのサブセットを選択して、最初にデータセット全体を縮小することは、統計学の誤用です。2つ目の誤用は、適合モデルまたは分類ルールのパフォーマンスが、モデル選択の効果や分析対象データに基づくパラメータの調整を考慮せずに、生の結果として報告される場合に発生します。

最も単純な場合、外れ値を除去すると実験の分析が改善される可能性があることに気付いた場合に、外れ値を除去する決定が含まれます。効果はより微妙な場合があります。たとえば、機能的磁気共鳴画像(fMRI) データでは、かなりの量の前処理が必要になることがよくあります。これらは、分析が「機能する」まで段階的に適用される場合があります。同様に、fMRI データのマルチボクセル パターン分析で使用される分類器には、分類精度を最大化するために調整できるパラメーターが必要です。

地質学では、断層地図の場合に循環分析の可能性が指摘されています^[1]。断層地図は、断層が特定の方法で発達し伝播するという仮定に基づいて描かれ、後にその地図が断層が実際にそのように発達している証拠として使用されることがあります。

データ収集前に、実行する分析を慎重に設計すれば、収集したデータによって分析の選択が左右されることはありません。あるいは、1 人か 2 人の参加者の分類を完璧にしてから、残りの参加者データに分析を適用することもできます。分類パラメータの選択に関しては、データを 2 つのセットに分割し、1 つのセットを使用して最適なパラメータを見つけ、2 番目のセットでこのパラメータ値を使用してテストするという方法が一般的です。これは、たとえばプリンストン MVPA 分類ライブラリで使用されている標準的な手法です^{[引用が必要] 。 [2]}

• Kriegeskorte, N.; Simmons, WK; Bellgowan, PSF; Baker, CI (2009). 「システム神経科学における循環分析: 二重取りの危険性」. Nature Neuroscience . 12 (5): 535–540. doi :10.1038/nn.2303. PMC 2841687.  PMID 19396166  .
• Kriegeskorte, N.; Lindquist, MA; Nichols, TE; Poldrack, RA; Vul, E. (2010). 「循環分析について知りたくなかったけれど、聞くのが怖かったことすべて」。Journal of Cerebral Blood Flow & Metabolism . 30 (9): 1551–1557. doi :10.1038/jcbfm.2010.86. PMC 2949251.  PMID 20571517  .
• Tolstrup, N.; Rouzé, P.; Brunak, S. (1997). 「非循環解析によりアラビドプシスから発見された分岐点コンセンサスにより、アクセプター部位のより正確な予測が可能に」。核酸研究。25 ( 15 ): 3159–3163。doi :10.1093 / nar/25.15.3159。PMC 146848。PMID  9224618 。 
• Olivetti, E.; Mognon, A.; Greiner, S.; Avesani, P. (2010)。「脳のデコーディング: 誤差推定におけるバイアス」。2010年第 1 回脳のデコーディングに関するワークショップ: 神経画像におけるパターン認識の課題。pp. 40–43。doi : 10.1109 / WBD.2010.9。ISBN 978-1-4244-8486-7. S2CID  13024947。