ヴァーサント

Versantテストスイートは、Pearson PLC が提供するコンピュータ化された音声言語テストです。Versantテストは、高度な音声処理技術 (音声認識を含む) を使用して非ネイティブスピーカーの音声言語スキルを評価する、初の完全自動化された音声言語テストでした。Versant 言語スイートには、英語、スペイン語、オランダ語、フランス語、アラビア語のテストが含まれています。Versant テクノロジは、航空英語、子供の音読評価、成人の読み書き能力評価にも適用されています。

歴史

1996 年、Jared Bernstein 氏と Brent Townsend 氏は Ordinate Corporation を設立し、音声処理技術と言語学およびテスト理論を使用して、自動的に配信され、自動的に採点される音声言語テストを提供するシステムを開発しました。最初の英語テストは PhonePass と呼ばれました。これは、音声認識技術を使用した、初めて完全にコンピュータ化された音声言語テストでした。2002 年に、PhonePass の名前は PhonePass SET-10 (Spoken English Test) または単に SET-10 に変更されました。2003 年に Ordinate は Harcourt Assessment に買収され、その後 2005 年にテストの名前が現在の Versant に変更されました。2008 年 1 月、Harcourt Assessment (Ordinate Corporation を含む) は Pearson に買収され、Ordinate Corporation は Pearson の Knowledge Technologies グループの一部になりました。2010 年 6 月、Versant Pro Speaking Test と Versant Pro Writing Test が開始されました。

製品説明

Versant テストは、成人の言語学習者を対象とした、スピーキングとリスニングのスキルを測る 15 分間のテストです (テストの長さはテストによって若干異なります)。テストは電話またはコンピューターで実施され、事前に決められたデータ駆動型アルゴリズムを使用してコンピューターで採点されます。テスト中、システムは会話のペースで録音された一連のプロンプトを提示し、受験者から口頭での応答を引き出しています。^[1] Versant テストは、いくつかの製品として提供されています。

Versant英語テスト
Versant English - レベル分けテスト [1]
Versant English - ライティングテスト
Versantスペイン語テスト
Versantアラビア語テスト
Versantフランス語テスト
ヴァーサント航空英語

さらに、他の組織と連携して Versant フレームワークを使用して、いくつかのドメイン固有のテストが作成されました。これらのテストには、Versant Aviation English Test (航空職員向け)、Versant Junior English Test (5 歳から 12 歳の英語学習者向け)、および Dutch Immigration Test (オランダ大使館でのみ利用可能) が含まれます。Versant の採点システムでは、2009 年後半に利用可能になる 4 技能テストである Pearson Test of English のスピーキング部分の自動採点も行われます。

Versant テスト構成

Versant テストは、「話し言葉の能力」を測定します。これは、日常的な話題について話されている言葉を理解し、ネイティブのような会話のペースで適切に応答する能力と定義されます。会話のペースについていくと同時に、話されている内容を追跡し、会話が続くにつれて意味を抽出し、関連性のあるわかりやすい応答を組み立てて作成する必要があります。^[2] Versant テストは、第二言語での話し言葉のパフォーマンスのこれらのリアルタイムの心理言語学的側面を測定するように設計されています。

テストの形式と課題

Versant テストには通常、読解、繰り返し、短答式問題、文章構成、ストーリーの再話、自由回答形式の質問の 6 つのタスクがあります。

ヴァーサントテクノロジー

自動管理

Versant テストは、電話またはコンピューターで実施できます。受験者は、固定電話またはインターネット接続がある場所であればどこからでもテストにアクセスして完了できます。

受験者にはテスト識別番号が与えられ、試験官の録音された音声を聞きながら指示を聞きます。この指示はテスト用紙またはコンピュータ画面にも逐語的に印刷されます。テスト中、受験者はさまざまなネイティブスピーカーが読み上げる録音された項目プロンプトを聞きます。テストは自動化されているため、大量のテストを非常に迅速に実施し、採点することができます。

自動スコアリング技術

Versant テストのスコアは、テスト完了後数分以内にオンラインで公開されます。テスト管理者と受験者は、Versant Web サイトでテスト識別番号を入力することで、テスト結果を表示および印刷できます。Versant スコアレポートは、総合スコア (サブスコアの加重組み合わせ) と 4 つの診断サブスコア (文章習得 (文法)、語彙、流暢さ、発音) で構成されます。総合スコアとサブスコアは、20 から 80 のスケールで報告されます。

自動スコアリング技術は、ネイティブスピーカーと非ネイティブスピーカーの両方からの多数の音声サンプルを使用して最適化されます。十分な量の音声サンプルを収集するには、通常、広範なデータ収集が行われます。その後、これらの音声応答が書き起こされ、自動音声認識システムをトレーニングします。

受信した各応答は、非ネイティブの音声に最適化された音声認識装置によって自動的に処理されます。単語、休止、音節、音韻は録音信号の中にあります。応答の内容は、正しい順序で予想される正しい単語の有無、およびフレーズや文章におけるそれらの単語のペース、流暢さ、発音に基づいて採点されます。その後、ネイティブおよび非ネイティブ話者の統計モデルに基づいて、セグメント、音節、単語から基本尺度が導出されます。^[3] Versant の自動採点システムの精度に関する多くの文書が作成されています。

スコアの使用

Versant テストは現在、世界中の学術機関、企業、政府機関で使用されています。Versant テストは、従業員や学生が効果的に交流するために必要な会話力を持っているかどうかを判断するために使用できる情報を提供します。たとえば、2002 年のワールドカップ日韓大会では、15,000 人を超えるボランティアの英語力を測定し、最も英語を必要とするタスクに適切な従業員を割り当てるために Versant English Test が使用されました。^{[4] Versant Spanish Test は、Blake ら (2008)}^[5] による研究で使用され、遠隔学習コースが、口頭能力に関して、週 5 回の従来の対面クラスと同じくらい、外国語の学習を始める有効な方法であるかどうかを評価しました。

検証

他のテストとの関係

Versantテストのスコアは、ヨーロッパ言語共通参照枠（ CEFR ）に準拠しています。以下は、Versantスコアと他のテストのスコアのCEFRへのマッピングです。Versant Englishの総合スコアは、 CEFRオーラルインタラクションスキルスケールのCEFRレベルをかなりの精度で予測するために使用できます。^[6]

一連の検証研究により、Versant English Test は他の英語会話スキルの尺度とかなり相関関係にあることが判明しました。たとえば、Versant English Test とTOEFL iBT Speakingの相関関係は r=0.75、Versant English Test とIELTS Speakingの相関関係はr=0.77 です。

機械と人間の相関関係

Versantテストに対するよくある批判の1つは、機械は人間ほどスピーキングスキルを評価できないというものである。テストを制作・実施しているナレッジテクノロジーズは、Versant英語テストの機械生成スコアは、総合レベルで繰り返し独立した人間の評価者が付けたスコアと実質的に区別がつかないと主張している。^[13]

もう 1 つの批判は、Versant テストでは実際の参加者間でのやり取りがないため、コミュニケーション能力を測定できないというものです。Versant は、Downey ら (2008) の中で、テストで評価される心理言語能力が、より広範な話し言葉のパフォーマンスの基礎になっていると主張しています。この主張は、Versant テストのスコアが、ACTFL OPI や ILR OPI などの他のよく知られた口頭能力面接テストと高い相関関係にあるという並行妥当性データによって裏付けられています。

Versant製品の有用性は第三者によって疑問視されている。^[14]

管理

アリスター・ヴァン・モーレ社長
ライアン・ダウン、製品管理ディレクター

参照

参考文献

^ Balogh, J., Barbier, I., Bernstein, J., Suzuki, M., & Harada, Y. (2005). 「複数言語での自動音声言語テスト開発のための共通フレームワーク」 JART Journal, 1(1), 67-79.
^ Bernstein, J. & Cheng, J. (2007). 完全自動英語会話テストのロジックと検証。M. Holland & FP Fisher (編)、『コンピュータ支援言語学習における音声技術の道: 研究から実践へ』(pp. 174-194)。ケンタッキー州フローレンス: Routledge。
^ Balogh, J. & Bernstein, J. (2006). 英語とスペイン語の標準的パフォーマンスの実用的なモデル。Y. Matsumoto、DY Oshima、OR Robinson、P. Sells (編)、『言語の多様性：視点と影響』（pp. 20-41）。スタンフォード、カリフォルニア州：言語情報出版研究センター。
^ 「2002 FIFA ワールドカップ韓国組織委員会 - 韓国/日本がオーディネイトの...」AllBusiness.com、2008 年 11 月 2 日。
^ Blake, R., Wilson, NL, Pardo-Ballestar, C., & Cetto, M. (2008). 遠隔授業、対面授業、ブレンド授業における口頭能力の測定。言語学習とテクノロジー、12(3)、pp.114-127。
^ Bernstein, J. & De Jong, JHAL (2001). ヨーロッパ言語共通参照枠レベル記述子における熟達度予測の実験。YN Leung 他編『第 10 回国際英語教育シンポジウム選集』(pp. 8-14)。台北、中華民国: The Crane Publishing。
^ Bernstein, J. De Jong, J. Pisoni, D. & Townshend, B. (2000). 音声言語能力の自動採点に関する 2 つの実験。P. Delcloque (編) Proceedings of InSTIL2000: Integrating Speech Technology in Learning (pp. 57-61)。アバテイ大学ダンディー校、スコットランド。
^ 欧州評議会 (2001)。「ヨーロッパ言語共通参照枠」(PDF)。ケンブリッジ大学出版局。
^ IELTS スコアと欧州評議会のヨーロッパ共通学習枠組みとの関連：「アーカイブコピー」（PDF）。2007 年 2 月 3 日時点のオリジナル（PDF）からアーカイブ。2009年1 月 20 日閲覧。{{cite web}}: CS1 maint: archived copy as title (link)
^ Tannenbaum, Richard および Caroline E. Wylie (2005)。「研究報告: 英語能力テストのスコアをヨーロッパ言語共通参照枠にマッピング」(PDF) 。Educational Testing Services。2008年 11 月 21 日時点のオリジナル(PDF)からアーカイブ。2009年1 月 20 日閲覧。
^ 「TOEFL iBT のヨーロッパ共通参照枠へのマッピング」(PDF) 。2007 年。2009年 2 月 6 日時点のオリジナル(PDF)からアーカイブ。2009 年1 月 20 日閲覧。
^ 「TOEFL iBT のヨーロッパ共通参照枠へのマッピング」(PDF) 。2007 年。2009年 2 月 6 日時点のオリジナル(PDF)からアーカイブ。2009 年1 月 20 日閲覧。
^ Downey, R., Farhady, H., Present-Thomas, R., Suzuki, M., & Van Moere, A. (2008). Versantの英語テストの有用性の評価：回答 Language Assessment Quarterly, 5, 160-167.
^ Christian W. Chun (2008): 「英語テストにおける Versant の有用性の評価: 回答」に対するコメント: 著者の回答、Language Assessment Quarterly、5:2、168-172

外部リンク

http://www.versanttest.com
ピアソン

[1] Balogh, J., Barbier, I., Bernstein, J., Suzuki, M., & Harada, Y. (2005). 「複数言語での自動音声言語テスト開発のための共通フレームワーク」 JART Journal, 1(1), 67-79.

[2] Bernstein, J. & Cheng, J. (2007). 完全自動英語会話テストのロジックと検証。M. Holland & FP Fisher (編)、『コンピュータ支援言語学習における音声技術の道: 研究から実践へ』(pp. 174-194)。ケンタッキー州フローレンス: Routledge。

[3] Balogh, J. & Bernstein, J. (2006). 英語とスペイン語の標準的パフォーマンスの実用的なモデル。Y. Matsumoto、DY Oshima、OR Robinson、P. Sells (編)、『言語の多様性：視点と影響』（pp. 20-41）。スタンフォード、カリフォルニア州：言語情報出版研究センター。

[4] 「2002 FIFA ワールドカップ韓国組織委員会 - 韓国/日本がオーディネイトの...」AllBusiness.com、2008 年 11 月 2 日。

[5] Blake, R., Wilson, NL, Pardo-Ballestar, C., & Cetto, M. (2008). 遠隔授業、対面授業、ブレンド授業における口頭能力の測定。言語学習とテクノロジー、12(3)、pp.114-127。

[6] Bernstein, J. & De Jong, JHAL (2001). ヨーロッパ言語共通参照枠レベル記述子における熟達度予測の実験。YN Leung 他編『第 10 回国際英語教育シンポジウム選集』(pp. 8-14)。台北、中華民国: The Crane Publishing。

[7] Bernstein, J. De Jong, J. Pisoni, D. & Townshend, B. (2000). 音声言語能力の自動採点に関する 2 つの実験。P. Delcloque (編) Proceedings of InSTIL2000: Integrating Speech Technology in Learning (pp. 57-61)。アバテイ大学ダンディー校、スコットランド。

[8] 欧州評議会 (2001)。「ヨーロッパ言語共通参照枠」(PDF)。ケンブリッジ大学出版局。

[9] IELTS スコアと欧州評議会のヨーロッパ共通学習枠組みとの関連：「アーカイブコピー」（PDF）。2007 年 2 月 3 日時点のオリジナル（PDF）からアーカイブ。2009年1 月 20 日閲覧。{{cite web}}: CS1 maint: archived copy as title (link)

[10] Tannenbaum, Richard および Caroline E. Wylie (2005)。「研究報告: 英語能力テストのスコアをヨーロッパ言語共通参照枠にマッピング」(PDF) 。Educational Testing Services。2008年 11 月 21 日時点のオリジナル(PDF)からアーカイブ。2009年1 月 20 日閲覧。

[11] 「TOEFL iBT のヨーロッパ共通参照枠へのマッピング」(PDF) 。2007 年。2009年 2 月 6 日時点のオリジナル(PDF)からアーカイブ。2009 年1 月 20 日閲覧。

[12] 「TOEFL iBT のヨーロッパ共通参照枠へのマッピング」(PDF) 。2007 年。2009年 2 月 6 日時点のオリジナル(PDF)からアーカイブ。2009 年1 月 20 日閲覧。

[13] Downey, R., Farhady, H., Present-Thomas, R., Suzuki, M., & Van Moere, A. (2008). Versantの英語テストの有用性の評価：回答 Language Assessment Quarterly, 5, 160-167.

[14] Christian W. Chun (2008): 「英語テストにおける Versant の有用性の評価: 回答」に対するコメント: 著者の回答、Language Assessment Quarterly、5:2、168-172

歴史