ABXテスト

ABXテストは、 2 つの感覚刺激を比較して、それらの間の検出可能な差異を識別する方法です。被験者には、2 つの既知のサンプル (サンプルA、最初の参照、およびサンプルB、2 番目の参照) が提示され、その後、A または B からランダムに選択された 1 つの未知のサンプルXが提示されます。次に、被験者は X が A または B であると識別する必要があります。事前に決定された試行回数で低いp 値で X を確実に識別できない場合、帰無仮説を棄却できず、A と B の間に知覚可能な差異があることを証明できません 。

ABX テストは二重盲検試験として簡単に実行でき、研究者やテスト監督者による無意識の影響を排除できます。サンプル A と B はサンプル X の直前に提供されるため、長期記憶や過去の経験を使用して違いを識別する必要はありません。したがって、ABX テストは、テスト環境下で知覚の違いが見つかるかどうかに答えます。

ABX テストは、デジタルオーディオ データ圧縮方式の評価によく使用されます。サンプル A は通常、圧縮されていないサンプルで、サンプル B は A の圧縮バージョンです。圧縮アルゴリズムの欠陥を示す可聴圧縮アーティファクトは、その後のテストで特定できます。ABX テストは、特定のビットレートでの 2 つの異なるオーディオ形式間の忠実度損失の度合いを比較するためにも使用できます。

ABX テストは、入力、処理、出力コンポーネントやケーブル接続を試聴するために使用できます。ほぼすべてのオーディオ製品やプロトタイプの設計に使用できます。

ABXのテストと命名の歴史は、1950年にベル研究所の研究者であるWAマンソンとマークBガードナーが発表した「聴覚テストの標準化」という論文にまで遡ります。^[1]

本論文の目的は、この方向で有望なテスト手順を説明し、テスト結果のばらつきを最小限に抑えるのに役立つことがわかった機器について説明することです。「ABX」テストと呼んでいるこの手順は、一対比較法の修正版です。観察者は、判断を求められる各項目について、3 つの信号の時系列を提示されます。最初の時間間隔では信号 A を聞き、2 番目の時間間隔では信号 B を聞き、最後に信号 X を聞きます。観察者の課題は、X 間隔で聞いた音が A 間隔で聞いた音に似ているか、それとも B 間隔で聞いた音に似ているかを示すことです。しきい値テストでは、A 間隔は静かで、B 間隔は信号で、X 間隔は静かでも信号でもかまいません。

このテストは、被験者がテストの継続時間や順序を制御できるなど、他のバリエーションに進化しました。その一例は、1977年にミシガン州トロイのABX社によって構築され、創設者の一人であるデビッド・クラークによって文書化されたハードウェアABXコンパレーターです。^[2]

A/Bテストの改良

著者が二重盲検法による聴力テストを初めて体験したのは、1977 年初頭の SMWTMS オーディオ クラブのメンバーとしてでした。コンポーネント A または B をランダムに選択するボタンが提供されました。これらのうちの 1 つを特定する際、参照用に既知の A と B が利用できないために、X コンポーネントの特定が非常に困難でした。

これは、A、B、X の 3 つの連動した押しボタンを使用することで修正されました。X が選択されると、別のランダムな選択に進むと決定されるまで、その特定の A または B のままになります。

しかし、すぐに別の問題が明らかになりました。A から B に切り替えるとき、常にリレー遷移の遅延が聞こえます。しかし、A から X に切り替えるとき、X が実際には A の場合は遅延がなく、X が実際には B の場合は遅延があります。この不要なキューは、変更があったときに固定長のドロップアウト時間を挿入することで削除されました。ドロップアウト時間は 50 ミリ秒に設定され、これによりわずかに一貫したクリック音が生成され、主観的に即座に比較できるようになります。

ABX 社は現在は倒産しており、ハードウェア コンパレータ全般も商用製品としては消滅しています。ファイル比較を実行するための Foobar ABX プラグインなど、無数のソフトウェア ツールが存在します。ただし、ハードウェア機器のテストにはカスタム実装の構築が必要です。

リレーを使用して 2 つの異なるハードウェア パスを切り替える ABX テスト機器は、ケーブルとコンポーネントに知覚上の違いがあるかどうかを判断するのに役立ちます。ビデオ、オーディオ、デジタル伝送パスを比較できます。切り替えがマイクロプロセッサで制御されている場合は、二重盲検テストが可能です。

スピーカー レベルとライン レベルのオーディオ比較は、1998 年から 2004 年にかけてQSC Audio ProductsがABX Comparatorとして販売していた ABX テスト デバイスで実行できます。その他のハードウェア ソリューションは、内部テスト用に個人または組織によって非公開で作成されています。

ABX 試験を 1 回だけ実施した場合、ランダムに推測すると、コインを投げるのと同じように、正解を選ぶ確率は 50% になります。ある程度の信頼性のある発言をするには、多くの試験を実施する必要があります。試験回数を増やすと、特定の信頼水準で、人が A と B を区別する能力を統計的に主張する可能性が高まります。95% の信頼水準は、一般的に統計的に有意であると見なされます。^[2] QSC 社は、ABX Comparator ユーザー マニュアルで、各テスト ラウンドで最低 10 回のリスニング試験を推奨しています。^[3]

QSCは、被験者の疲労が生じてテストの感度が低下する（AとBの違いを識別する実際の能力が明らかになる可能性が低くなる）可能性があるため、25回を超える試行を行わないことを推奨しています。^[3]ただし、別々の個人を使用したテストや、休憩中に同じ被験者に対して実施されたテストの結果をプールすることで、より感度の高いテストを取得できます。合計試行回数Nが大きい場合、正答数がを超えると、有意な結果（95％の信頼度を持つ結果）を主張できます。重要な決定は通常、より高いレベルの信頼に基づいています。これは、20回のテストのうちの1回で誤って有意な結果が主張されるのは単なる偶然であるためです。 ${\displaystyle N/2+{\sqrt {N}}}$

foob ​​ar2000とAmarokオーディオ プレーヤーはソフトウェア ベースの ABX テストをサポートしています。後者はサードパーティ スクリプトを使用します。Lacinato ABX は、Linux、Windows、64 ビット Mac 用のクロスプラットフォーム オーディオ テスト ツールです。Lacinato WebABX は、Web ベースのクロスブラウザー オーディオ ABX ツールです。オープン ソースの aveX は主にLinux用に開発され、リモート コンピューターからのテスト監視も提供します。ABX patcher は、Max/MSP用の ABX 実装です。その他の ABX ソフトウェアは、アーカイブされた PCABX Web サイトにあります。

コーデックリスニング テストは、通常、知覚される忠実度または圧縮効率 に関して、2 つ以上の非可逆オーディオコーデックを比較するように設計された科学的 研究です。

ABX は強制選択テストの一種です。被験者の選択は実力に基づくことができます。つまり、被験者は実際に正直に、X が A に近いか B に近いかを特定しようとしました。しかし、興味がなかったり疲れていたりする被験者は、何も試みることなくランダムに選択する可能性があります。これが見つからなければ、熱心にテストを受けた他の被験者の結果が薄められ、結果がシンプソンのパラドックスにさらされ、誤った要約結果になる可能性があります。テストの結果の合計 ( n 個の回答のうちm 個が正解)を見るだけでは、この問題の発生を明らかにすることはできません。

この問題は、差が小さい場合にさらに深刻になります。ユーザーはイライラして、ランダムに投票してテストを終わらせることだけを目指すかもしれません。この点で、この問題を防ぐための適切なプロトコルが使用されていない場合、ABX などの強制選択テストでは差が小さい場合に否定的な結果が優先される傾向があります。

ベストプラクティスでは、コントロールの組み込みと被験者のスクリーニングの両方が求められています。^[5]

重要な考慮事項は、適切なコントロール条件を含めることです。通常、コントロール条件には、被験者が予測できない方法で導入された、障害のないオーディオ素材の提示が含まれます。これらのコントロール刺激と障害の可能性がある刺激の判断の違いにより、成績が障害の実際の評価であると結論付けることができます。

3.2.2 被験者の事後スクリーニング

事後スクリーニング法は、少なくとも 2 つのクラスに大まかに分けることができます。1 つは平均結果と比較した不一致に基づくもので、もう 1 つは被験者が正しい識別を行う能力に依存するものです。最初のクラスは決して正当化できません。ここで推奨されているテスト方法で主観的リスニング テストを実行すると、2 番目のクラスの事後スクリーニングに必要な情報が自動的に提供されます。これを行うための推奨される統計的方法は、添付資料 1 に記載されています。

これらの方法は、主に適切な識別ができない被験者を排除するために使用されます。事後スクリーニング法を適用することで、テスト結果の傾向が明らかになる場合があります。ただし、さまざまなアーティファクトに対する被験者の感受性にはばらつきがあることを念頭に置いて、注意を払う必要があります。

その他の欠陥としては、被験者のトレーニング不足、テストおよび選択された内容への習熟不足などが挙げられます。

4.1 習熟またはトレーニング段階

正式な採点の前に、被験者はテスト設備、テスト環境、採点プロセス、採点基準、およびそれらの使用方法について十分に理解する必要があります。被験者は、調査対象のアーティファクトについても十分に理解する必要があります。最も感度の高いテストでは、正式な採点セッションで後で採点するすべての資料に触れる必要があります。理解を深める作業やトレーニング中は、被験者が自由に交流し、検出したアーティファクトについて互いに話し合えるように、被験者はできればグループ (たとえば 3 人の被験者) で一緒にいる必要があります。

^{クラーク[2]}が概説したように、ABX装置自体から他の問題が発生する可能性があり、装置は手がかりを提供し、被験者が音源を特定できるようにします。ABX器具の透明性の欠如も同様の問題を引き起こします。

聴覚テストやその他多くの感覚テストは、数秒しか持続しない短期記憶に依存しているため、テスト装置では、被験者が短いセグメントを識別してすばやく比較できるようにすることが重要です。スイッチング装置のポップ音やグリッチも同様に排除する必要があります。被験者の短期記憶に保存されているテスト対象の刺激が、これらの音やグリッチによって支配されたり、妨害されたりする可能性があるためです。

ABX テストでは、非可逆オーディオ コーデックの評価に人間が必要なため、時間とコストがかかります。そのため、ODGの実装であるPEAQなど、より安価なアプローチが開発されました。

MUSHRAでは、被験者に参照（そのようにラベル付けされている）、一定数のテストサンプル、参照の非表示バージョン、および 1 つ以上のアンカーが提示されます。0 ～ 100 の評価スケールにより、非常に小さな違いを評価することができ、非表示バージョンでも識別チェックが行われます。

弁別テストでは、一対比較、デュオトリオ、三角テストなどの一般的な代替方法が使用されます。これらのうち、デュオトリオテストと三角テストは、特に ABX テストに近いものです。概略:

デュオ・トリオ

AXY – 1 つは既知、2 つは未知 (1 つは A、もう 1 つは B)、テストはどちらの未知が既知であるかを判定します。X = A (かつ Y = B)、または Y = A (かつ X = B)。

三角形

XXY – 3 つの未知数 (2 つが A で 1 つが B、または 1 つが A で 2 つが B)、どれが異常であるかをテストします: Y = 1、Y = 2、または Y = 3。

この文脈では、ABXテストは「バランスのとれた参照」モードの「デュオ・トリオ」とも呼ばれ、1つだけではなく、両方の既知のものが参照として提示されます。^[6]

• コーデックリスニングテスト
• 透明性（データ圧縮）
• 心理物理学
• 心理音響学
• 差異閾値