ユージン・グーストマン

ユージン・グーストマンは、チューリングテストに合格したとされるチャットボットである。チューリングテストは、人間と区別がつかないほどのコミュニケーションができるコンピュータの能力を測るテストである。 2001年にサンクトペテルブルクで、ロシア生まれのウラジミール・ヴェセロフ、ウクライナ生まれのユージン・デムチェンコ、ロシア生まれのセルゲイ・ウラセンの3人のプログラマーのグループによって開発された。^{[1] [2]}グーストマンは13歳のウクライナの少年として描かれており、その特徴は、グーストマンが対話する相手に、その文法上の誤りや一般知識の欠如を許してもらうことを意図している。

グーストマン ボットは、作成以来、数多くのチューリング テスト コンテストに出場し、2005 年と 2008 年のローブナー賞コンテストでは 2 位に輝きました。2012 年 6 月、テストの作者であるアラン チューリングの生誕 100 周年を記念するイベントで、グーストマンは史上最大のチューリング テスト コンテストと宣伝されたコンテストで優勝しました。このコンテストでは、グーストマンは審査員の 29% に自分が人間であると納得させることに成功しました。

2014年6月7日、チューリングの死後60年を記念したコンテストで、イベントの審査員の33%がグーストマンを人間だと考えました。イベントの主催者であるケビン・ワーウィックは、チューリングが1950年の論文「計算機械と知能」で予測したように、2000年までに機械は5分間の質問で人間の審査員の30%を騙せるようになるため、グーストマンがチューリングのテストに合格したとみなしました。批評家は、ワーウィックの功績が誇張されていること、ボットが性格の癖やユーモアを利用して、非人間的な傾向や本当の知性の欠如からユーザーを誤導しようとしていること、同様のイベントで他のチャットボットが「合格」したことなどを指摘し、グーストマンの合格発表の妥当性と妥当性に疑問を呈しました。^{[3] [4] [5]}

ユージン・グーストマンは、ウクライナのオデーサ出身の13歳の少年として描かれており、ペットのモルモットと産婦人科医の父親がいる。ヴェセロフは、グーストマンは「信じられる性格のキャラクター」になるようにデザインされたと述べた。年齢の選択は意図的で、ヴェセロフの意見では、13歳は「すべてを知るには年を取りすぎているわけではなく、何も知らないには若すぎるわけでもない」ためである。グーストマンの若い年齢はまた、彼と「会話」する人々が彼の返答の小さな文法上の誤りを許すようにもさせる。^{[1] [6]} 2014年には、ボットの「ダイアログ コントローラー」の改善に取り組み、グーストマンがより人間らしい会話を出力できるようにした。^[2]

スコット・アーロンソンとユージン・グーストマンの会話は次の通りである。 ^[7]

スコット:靴箱とエベレスト、どちらが大きいですか?
ユージン:今は決められない。後で考えよう。それと、あなたの出身地を聞くのを忘れた…
スコット:ラクダの足は何本ありますか?
ユージン: 2本から4本の間。3本かも? :-))) ところで、あなたの専門分野がまだわかりません。あるいは、聞き逃したのかも?スコット:ヤスデの足は何本ありますか?ユージン:
2本だけですが、チェルノブイリの変異体は2本から5本あるかもしれません。あなたは私をだまそうとしているのだとわかっています。スコット:いいえ、あなたがチャットボットではないことを知る必要があります。質問に率直に答えてください。アリの足は何本ありますか?ユージン: 2本から4本の間。3本かも? :-))) ああ、実りある会話でした ;-)

ユージン・グーストマンは、ローブナー賞コンテストを含む数多くのチューリングテストコンテストに出場している。2001年のローブナーテストでは2位タイとなり、^[8] 2005年にはジャバーワッキーに次ぐ2位となり、^[9] 2008年にはエルボットに次ぐ2位となった^。[10] 2012年6月23日、グーストマンは、その名の由来となったアラン・チューリングの生誕100周年を記念してミルトン・キーンズのブレッチリー・パークで開催されたチューリングテストコンテストで優勝した。5体のボット、25人の隠れた人間、30人の審査員が参加したこのコンテストは、主催者によって史上最大のチューリングテストコンテストとみなされた。5分間のテキスト会話を数回行った後、審査員の29%がボットが実際の人間であると確信した。^[6]

2014年6月7日、レディング大学のケビン・ワーウィックがチューリングの死後60年を記念して開催した王立協会でのチューリングテストコンテストで、審査員の33%がロボットが人間であると確信したため、グーストマンが優勝した。このイベントには30人の審査員が参加し、チューリングの死後恩赦のスポンサーであるシャーキー卿、人工知能の教授アーロン・スロマン、王立協会会員のマーク・ペイゲル、レッド・ドワーフの俳優ロバート・ルウェリンが含まれていた。各審査員は5つのロボットのそれぞれとテキスト会話に参加し、同時に人間とも会話した。合計で300回の会話が行われた。^{[2] [11]}ワーウィックの見解では、これによりグーストマンはチューリングテストに合格した最初の機械となった。プレスリリースで、彼は次のように付け加えた。

このテストはすでに合格したと主張する人もいるだろう。チューリングテストという言葉は、世界中の同様のコンテストに使われてきた。しかし、このイベントでは、これまで以上に多くの同時比較テストが行​​われ、独立して検証され、そして重要なことに、会話は制限されていなかった。真のチューリングテストでは、会話の前に質問やトピックを設定することはない。^[2]

1950年の論文「計算機と知能」で、チューリングは2000年までにコンピュータプログラムが十分に進歩し、平均的な尋問者が5分間の尋問で、相手が人間か機械かを正しく推測できる確率は「70%以下」になると予測した。チューリングはこれを「知能の閾値」ではなく予測として表現したが、評論家は、ワーウィックはこれを、尋問者の30%が騙されればソフトウェアは「チューリングテストに合格した」という意味に解釈したと考えている。^{[12] [13]}

ワーウィックは、ユージン・グーストマンがチューリングテストに合格した最初のチャットボットであると主張したが、これには懐疑的な反応が寄せられた。批評家たちは、1991年のPC Therapist（10人の審査員のうち5人、50%を騙した）や、 2011年のTechnicheフェスティバルでの修正版Cleverbotが1334票（審査員30人と観客を含む）の59.3%を騙したなど、30%の基準で他のチャットボットが過去に同様の「合格」をしたことを認めた。Cleverbotの開発者であるロロ・カーペンターは、チューリングテストは機械が知性を「模倣」できることを証明するだけであり、実際の知性を示すことはできないと主張した。^{[14] [15]}

ゲイリー・マーカスはワーウィックの主張を批判し、グーストマンの「成功」は「巧妙にコード化されたソフトウェア」の結果に過ぎないと主張し、「訓練を受けていない審査員が機知を現実と取り違えるのは容易に想像できるが、この種のシステムの仕組みを一度理解すれば、常に誤った方向へ誘導したり逸らしたりすることが明白になり、イライラさえする。言い換えれば、その幻想はつかの間のものだ」と述べた。IBMのDeep BlueおよびWatsonプロジェクト (それぞれチェスとクイズ番組Jeopardy! をプレイするための専用コンピュータ システム)が、専門分野である程度の知能を示すコンピュータ システムの例として認められたが、さらに、それらは「幅広い」知能を示し、たとえばテレビ番組を視聴してその内容に関する質問に答えることができるコンピュータ システムと同等ではないと主張した。マーカスは、「既存のハードウェアとソフトウェアの組み合わせでは、賢い子供のようにまったく新しいことを自由に学習することはできない」と述べた。しかし、彼はグーストマンのような技術には潜在的な用途があると信じており、具体的には「信じられる」インタラクティブなビデオゲームのキャラクターの作成を提案した。^[3]

インペリアル・カレッジ・ロンドンのマレー・シャナハン教授は、このテストの妥当性と科学的根拠に疑問を呈し、「完全に的外れであり、実際のAI研究の価値を下げるものだ。SFのAIはもうすぐ実現するかのように思わせるが、実際はそうではなく、非常に難しい」と述べた。^[16]

ブログ「Techdirt」の編集者であるマイク・マズニック氏も懐疑的で、プレスリリースで5つのチャットボットが「スーパーコンピュータ」と呼ばれているなどの宣伝上の失策に疑問を呈し、「人間を騙すことができるチャットボットを作成することは、人工知能を作成することとはまったく同じではない」と述べた。^[4]

• 自然言語処理

• ユージン・グーストマンのウェブページ