オズの魔法使いの実験

人間とコンピュータの相互作用の分野において、オズの魔法使い実験とは、被験者が自律的であると信じているが、実際には目に見えない人間によって操作または部分的に操作されているコンピュータシステムと被験者が対話する研究実験である。^[1]

「オズの魔法使い」（元々はOZ パラダイム）というフレーズは、実験心理学、ヒューマンファクター、人間工学、言語学、およびユーザビリティ エンジニアリングの分野で、実験者（「魔法使い」）が実験室環境で理論上のインテリジェント コンピュータ アプリケーションの動作をシミュレートする（多くの場合、別の部屋に行って参加者とシステム間のすべての通信を傍受する）テストまたは反復設計方法論を説明するために一般的に使用されるようになりました。これは、参加者が事前に知っていることに基づいて行われる場合もあれば、参加者の期待を管理して自然な動作を促すために用いられる低レベルの欺瞞である場合もあります。

たとえば、テスト参加者は、音声インターフェイスを使用してコンピューターと通信していると思っているかもしれませんが、実際には参加者の言葉は別の部屋にいる人物 (「ウィザード」) によって密かにコンピューターに入力され、オーディオ ストリームではなくテキスト ストリームとして処理されています。ウィザードが提供する不足しているシステム機能は、システムの後のバージョンで実装される可能性があります (または、現在のシステムにない推測機能である可能性もあります) が、その正確な詳細は、通常、調査とは無関係であると見なされます。テストの状況では、このような実験の目的は、システム全体の品質を測定することではなく、テスト参加者による提案されたユーザー インターフェイスの使用と有効性を観察することです。

この実験の名前は、L・フランク・ボームの1900年の小説『オズの魔法使い』に由来しており、この小説では、普通の男がカーテンの後ろに隠れ、「増幅」技術を使って強力な魔法使いのふりをします。

ジョン・F・（「ジェフ」）・ケリーは、1980年頃、ジョンズ・ホプキンス大学での博士論文研究中に開発した手法を説明するために、「オズの魔法使い」および「オズ・パラダイム」という造語を作り出した。^{[要出典] （彼の博士論文指導教官は、故}アルフォンス・チャパティス教授で、「人間工学心理学のゴッドファーザー」と呼ばれることもある。）研究中は、マジックミラーやその他の技術に加えて、ケリー（「魔法使い」）と被験者の視界を隔てる遮光カーテンが使用された。

「実験者インザループ」技法は、1975 年にジョンズ ホプキンス大学のチャパティスのコミュニケーション リサーチ ラボで初めて開発されました (JF ケリーは 1978 年に着任)。W. ランドルフ フォードは、革新的な CHECKBOOK プログラムで実験者インザループ技法を使用し、自然な設定で言語サンプルを取得しました。フォードの方法では、自然言語処理システムの予備バージョンがユーザーの前に置かれます。ユーザーが認識されない構文を入力すると、ソフトウェアから「言い換えてもらえますか?」というプロンプトが表示されます。セッションの後、新しく取得したサンプルを処理するアルゴリズムが作成または強化され、別のセッションが行われます。このアプローチは、最終的に彼の自然言語処理技法である「マルチステージ パターン削減」の開発につながりました。フォード博士の記憶によれば、ケリー博士は実際に「オズの魔法使いパラダイム」というフレーズを作ったが、その手法はケリー博士がジョンズ ホプキンス テレコミュニケーション ラボで研究を始める前に、少なくとも 2 つの別々の研究で使用されていた。ゼロックス パロアルト研究所で開発されていた自然言語理解システムをモデル化するために、この手法を同様に使用したのが、1975 年頃、カリフォルニア大学サンディエゴ校のアレン マンローとドン ノーマンである。この場合も、この手法に「オズの魔法使い」という名前はまだ付けられていなかった。結果は、チーム (ボブロウ他) による 1977 年の論文で発表された。

この雇用では、実験者 (「ウィザード」) は、被験者を観察できるように、マジックミラーで仕切られた隣の部屋の端末の前に座っていました。ユーザーからのすべての入力は、ソフトウェア処理とリアルタイムの実験者介入の組み合わせによって正しく処理されました。このプロセスが後続のセッションで繰り返されるにつれて、ソフトウェア コンポーネントがどんどん追加され、各セッションで実験者が行う作業はどんどん少なくなり、フレーズ/単語辞書の成長が漸近線に達し、実験者はセッション中に「コーヒーを飲みに行く」ことができました (この時点では、最終的なシステムの無人パフォーマンスの相互検証でした)。

最後に、ケリー博士のこ​​の用語の造語に関する記憶は、故アル・チャパニス教授の記憶によって裏付けられています。ミシガン大学の 1985 年の技術レポートで、グリーンとワイ・ハースは次のように述べています。 「オズの魔法使い」という名前が初めて印刷物に登場したのは、ジェフ・ケリーの論文でした (ケリー、1983a、1983b、1984a)。この名前は、ホプキンス大学の大学院セミナーでの質問に対する回答として作られたと考えられています (チャパニス、1984、ケリー、1984b)。「被験者が [隣の部屋の「カーテン」の後ろにいるコンピューターの役目を果たしている] 実験者を見たらどうなるでしょうか?」ケリーはこう答えました。「そうですね、それはオズの魔法使いでドロシーに起こったこととまったく同じです。」そして、この名前が定着しました。 (許可を得て引用)

フォードとスミスによる 1982 年の議事録論文にも、「オズの魔法使いの実験」の計画的な使用についての簡単な言及があります。

Kelley 博士の論文で提示された、この文脈における用語の語源に関する 1 つの事実: Kelley 博士はもともと「OZ」の頭字語の定義を持っていました ( L Frank Baum著の1900 年の書籍「 The Wonderful Wizard of Oz」との明らかな類似点は別として)。「オフライン ゼロ」は、実験者 (「ウィザード」) がシミュレーション フェーズ中にユーザーの入力をリアルタイムで解釈していたという事実を指していました。

同様の実験セットアップは以前から時々使用されていたが、「オズの魔法使い」という名前は付いていなかった。デザイン研究者のナイジェル・クロスは1960 年代に「シミュレートされた」コンピュータ支援設計システムに関する研究を行った。このシステムでは、シミュレーターと称されるものは実際には人間のオペレーターであり、CCTVを介してテキストとグラフィックの通信を行っていた。彼は次のように説明した。「ユーザーがシステムについて認識できるのはこのリモート アクセス コンソールだけで、残りはブラック ボックスです。… ブラック ボックスを機械だけでなく人間で埋めてもいいのです。そうすることで、比較的安価なシミュレーターが実現します。このシミュレーターは、人間のオペレーターの柔軟性、記憶力、知性という驚くべき利点を備えており、操作ルールを変更するだけで、さまざまなコンピューターの役割を与えるように再プログラムできます。実際のコンピューターの速度と精度に及ばないこともありますが、専門家チームが同時に作業することで、十分な程度まで補い、許容できるシミュレーションを提供できます。」^[2]クロスは後にこれを一種の逆チューリング テストと呼んだ。^[3]

オズの魔法使いの手法は非常に強力です。この手法を最初に応用したケリー博士は、当時のはるかに複雑なシステムの認識率をはるかに上回る、シンプルなキーボード入力の自然言語認識システムを作成することができました。^{[引用が必要]}

当時、多くのコンピュータ科学者や言語学者の間で主流だった考え方は、コンピュータが自然言語を「理解」して有用なタスクを支援できるようにするには、各単語に多数のカテゴリを持つ強力な「辞書」をソフトウェアに添付する必要があるというものでした。カテゴリによって、非常に複雑な解析アルゴリズムが、自然に生成された言語に固有の曖昧さを解明できるようになります。そのような辞書を作成するという困難な作業から、多くの人が、コンピュータが人間として「育てられ」、人間として「人生を経験」するまで、言語を真に「理解」することは決してないだろうと考えました。なぜなら、人間は人生で得た経験を言語の解釈に当てはめているように思われるからです。^{[引用が必要]}

OZ 法を初めて使用するための重要な要因は、システムが単一のコンテキスト (カレンダー管理) で動作するように設計されていたことです。これにより、ユーザーが遭遇する言語の複雑さが、アプリケーションの目的を満たすのに単純な言語処理モデルで十分である程度に制限されました。処理モデルは、ワイゼンバウムの有名なElizaプログラムで使用されているアルゴリズムに大まかに基づいた、2 パスのキーワード/キーフレーズ マッチング アプローチでした。参加者に、実際のタスクを解決するコンテキストで言語サンプルを生成するように促すことで (参加者が実際に入力内容を理解できると信じているコンピューターを使用して)、収集された語彙構造の多様性と複雑さが大幅に軽減され、収集された実際の言語に対応する単純なキーワード マッチング アルゴリズムを開発することができました。^{[引用が必要]}

OZ の最初の使用は、反復設計アプローチのコンテキストで行われました。初期の開発セッションでは、実験者はシステム全体をシミュレートし、すべてのデータベース クエリを実行し、参加者へのすべての応答を手動で作成しました。プロセスが成熟するにつれて、実験者は人間の介入を少しずつ新しく作成された開発コードに置き換えることができました (各フェーズで、前のステップで生成されたすべての入力を正確に処理するように設計されていました)。プロセスの終わりまでに、実験者は「ハンズオフ」モードでセッションを観察できました (完成したプログラムの認識率を測定)。^{[引用が必要]}

OZ が重要だったのは、反復的な方法を使用して新しいコンテキストごとに別の自然言語システム (辞書、構文) を構築するのは非現実的であるという明らかな批判に対処したからです (そのような方法では、新しい入力バッチを処理するために新しい構造とアルゴリズムを繰り返し追加する必要があります)。OZ の実証的アプローチにより、これが実現可能になりました。元のアプリケーションでは、辞書と構文の増加は、わずか 16 回の実験試行で漸近的 (使用した測定に応じて 86% から 97% の認識率を達成) に達し、辞書を含む結果のプログラムは 30 万コード未満でした。

最初の出版から 23 年が経ち、OZ メソッドはさまざまな設定で採用されてきましたが、特に実際のアプリケーション ソフトウェアを導入する前に、提案されたユーザー インターフェイス デザインのプロトタイプ作成やユーザビリティ テストで採用されています。^{[引用が必要]}

• 逆チューリングテスト- コンピュータと人間の目的や役割が逆転したチューリングテスト
• 中国語の部屋- 同様の前提を持つ思考実験。
• 偽のチェスマシンとして使用される「ターク- オズの魔法使い」の装置