単語リスト

単語リスト（または辞書）は、ある特定のテキスト コーパス内の言語の辞書（一般的にはレベル別またはランク付けされたリストとして出現頻度でソートされる）のリストであり、語彙の習得を目的としています。頻度順でソートされた辞書は、「学習者が語彙学習の努力に対して最高の成果を得られるよう、合理的な根拠を提供します」（Nation 1997）が、主にコース作成者を対象としており、学習者を直接対象とすることはありません。頻度リストは辞書編集の目的でも作成され、一般的な単語が省略されていないことを確認するための一種のチェックリストとして機能します。主な落とし穴としては、コーパスの内容、コーパスレジスタ、および「単語」の定義があります。単語カウントは 1000 年前のもので、20 世紀半ばでも手作業による膨大な分析が行われていましたが、映画の字幕などの大規模なコーパスの自然言語による電子処理（SUBTLEX メガスタディ）により、研究分野が加速しました。

計算言語学において、頻度リストは単語（単語の種類）とその頻度を並べたリストです。ここでの頻度は通常、特定のコーパス内での出現回数を意味し、そこからリスト内の位置として順位を導き出すことができます。

Nation (Nation 1997) は、コンピュータの能力によってコーパス分析がはるかに容易になったことを指摘しました。彼は、頻度リストの構築に影響を与えるいくつかの重要な問題を挙げました。

• コーパスの代表性
• 単語の頻度と範囲
• 語族の扱い
• 慣用句や定型表現の扱い
• 情報の範囲
• その他のさまざまな基準

現在利用可能な研究のほとんどは、より簡単に入手でき、処理しやすい 書かれたテキストコーパスに基づいています。

しかし、New et al. 2007 は、オンラインで利用可能な多数の字幕を利用して、多数のスピーチを分析することを提案しました。Brysbaert & New 2009 は、この従来のテキスト分析アプローチを長きにわたって批判的に評価し、オンラインで利用可能なスピーチ分析と映画字幕の分析への移行を支持しています。これに続いて最近、いくつかのフォローアップ研究が行われ、^{[1] は}さまざまな言語の貴重な頻度カウント分析を提供しています。実際、SUBTLEX運動は5年間でフランス語（New et al. 2007）、アメリカ英語（Brysbaert & New 2009; Brysbaert, New & Keuleers 2012）、オランダ語（Keuleers & New 2010）、中国語（Cai & Brysbaert 2010）、スペイン語（Cuetos et al. 2011）、ギリシャ語（Dimitropoulou et al. 2010）、ベトナム語（Pham, Bolger & Baayen 2011）、ブラジルポルトガル語（Tang 2012）、ポルトガルポルトガル語（Soares et al. 2015）、アルバニア語（Avdyli & Cuetos 2013）、ポーランド語（Mandera et al. 2014）、カタロニア語（2019 ^[2]）の完全な研究を完了しました。SUBTLEX-IT（2015）は生データのみを提供します。^[3]

いずれにせよ、基本的な「単語」単位を定義する必要があります。ラテン文字の場合、単語は通常、スペースまたは句読点で区切られた 1 つまたは複数の文字です。ただし、英語の「can't」、フランス語の「aujourd'hui 」、または慣用句などの例外が発生する場合があります。また、単語ファミリーの単語をその基本語の表現でグループ化することが望ましい場合もあります。したがって、possible、impossible、possib は同じ単語ファミリーの単語であり、基本語*possib*で表されます。統計上の目的で、これらすべての単語は基本語形式 *possib* でまとめられ、概念と形式の発生をランク付けできます。さらに、他の言語では特定の問題が発生する場合があります。たとえば、単語間にスペースを使用せず、指定された複数の文字のチェーンを、1 文字だけの単語のフレーズまたは複数文字の単語として解釈できる中国語の場合です。

ジップの法則は、あらゆる自然言語の長いテキストから抽出された頻度リストに当てはまるようです。頻度リストは、計算言語学の幅広いアプリケーションの前提条件である電子辞書を構築するときに便利なツールです。

ドイツの言語学者は、リスト内の項目のHäufigkeitsklasse (頻度クラス)を、その項目の頻度と最も頻繁な項目の頻度の比率の底 2 の対数を使用して定義します。最も一般的な項目は頻度クラス 0 (ゼロ) に属し、頻度が約半分の項目はクラス 1 に属します。上記のリストの例では、スペルミスの単語outragiousの比率は 76/3789654 で、クラス 16 に属します。 ${\displaystyle N}$

${\displaystyle N=\left\lfloor 0.5-\log _{2}\left({\frac {\text{この項目の頻度}}{\text{最も一般的な項目の頻度}}}\right)\right\rfloor }$

床関数はどこですか？ ${\displaystyle \lfloor \ldots \rfloor }$

頻度リストは、意味ネットワークとともに、意味圧縮のプロセスで上位語に置き換えられる最も一般的でない専門用語を識別するために使用されます。

これらのリストは生徒に直接渡すためのものではなく、教師や教科書の著者向けのガイドラインとして役立ちます (Nation 1997)。ポール・ネイションの現代語教育の要約では、まず「高頻度語彙と特殊目的の [テーマ別] 語彙から低頻度語彙に移行し、次に学習者に自律的な語彙拡張を維持するための戦略を教える」ことを推奨しています (Nation 2006)。

語の頻度にはさまざまな効果があることが知られています (Brysbaert et al. 2011; Rudell 1993)。語の頻度が高いと記憶力は向上しますが、これは学習者がより多くの語に触れる機会が増えるためと考えられます (Laufer 1997)。語の頻度が高いと語彙へのアクセスも向上しますが、この現象は語の頻度効果と呼ばれます (Segui et al.)。語の頻度の効果は、語を習得した年齢 (習得年齢)の効果と関連しています。

以下は利用可能なリソースのレビューです。

単語数を数えることは古くからある分野で、^[4]ヘレニズム時代にまで遡る議論が知られています。1944年、エドワード・ソーンダイク、アーヴィン・ロージ、および同僚^[5]は、現代のコンピューターがそのようなプロジェクトをはるかに容易にする以前に、18,000,000語のランニングワードを手作業で数え、最初の大規模な英語の頻度リストを作成しました (Nation 1997)。20世紀の作品はすべて、その古さに悩まされています。特に、テクノロジーに関連する単語、たとえば「ブログ」は、2014年には現代アメリカ英語コーパス^{[7 ] で頻度ランキング7665位[6]}でしたが、1999年に初めて確認され、^{[8] [9] [10]}、これら3つのリストのいずれにも登場しません。

教師用3万語単語帳（ソーンダイク＆ロージ、1944年）

教師用単語帳には、30,000 の語彙、または約 13,000 の語族が含まれています (Goulden、Nation、Read、1990)。1,800 万語のコーパスが手作業で分析されました。ソース コーパスの規模が大きいため、有用性は高まりましたが、古さや言語の変化により、適用性は低下しました (Nation 1997)。

一般サービスリスト（ウェスト、1953年）

General Service List には、2,000 個の見出し語が 1,000 語ずつ 2 セットに分かれて含まれています。1940 年代に 500 万語の書き言葉のコーパスが分析されました。見出し語のさまざまな意味と品詞の出現率 (%) が提供されています。頻度と範囲以外のさまざまな基準がコーパスに注意深く適用されました。そのため、コーパスが古く、多少の誤りがあり、コーパス全体が書き言葉であるにもかかわらず、単語の頻度、意味の頻度、ノイズの削減に関する優れたデータベースとなっています (Nation 1997)。このリストは、2013 年に Charles Browne 博士、Brent Culligan 博士、Joseph Phillips によってNew General Service Listとして更新されました。

アメリカン ヘリテージ ワード 頻度ブック (キャロル、デイヴィス、リッチマン、1971 年)

米国の学校（さまざまな学年、さまざまな教科）で使用されている文章から抽出した 500 万語のコーパス。その価値は、学校教材に重点を置き、各学年および各教科で各語の出現頻度に基づいて語をタグ付けしていることにあります（Nation 1997）。

Brown (Francis and Kucera, 1982) LOBと関連コーパス

これらには現在、英語のさまざまな方言を表す書かれたコーパスから 100 万語が含まれています。これらのソースは、頻度リストを作成するために使用されます (Nation 1997)。

従来のデータセット

ニューとパリエによるレビューが行われた。1950年代から60年代にかけて、フランス語基礎語彙集で試みられた。これには、1,500語の高頻度語を含むFF1リストと、その後追加された1,700語の中頻度語を含むFF2リスト、および最もよく使用される構文規則が含まれている。^[11] 70語の文法語がコミュニケーティブ文の50%を構成し、^{[12] [13]} 3,680語が約95～98%をカバーすると主張されている。^[14] 3,000語の頻出語のリストが利用可能である。^[15]

フランス教育省も、語彙学者エティエンヌ・ブリュネによる、最も頻繁に使用される1,500語の語族のランキングリストを提供している。 ^[16]ジャン・ボードは、アメリカのブラウン研究をモデルにした「現代フランス語で書かれた語の使用頻度」と題する研究を行った。^[17]

最近では、プロジェクトLexique3が142,000語のフランス語単語を、正書法、音声、音節、品詞、性別、ソースコーパスでの出現回数、頻度順位、関連する語彙素などとともに提供しており、オープンライセンスCC-by-sa-4.0の下で利用可能となっている。^[18]

サブトレックス

この Lexique3 は、上記の Subtlex 運動の起源となった継続的な研究です。New らは 2007 年に、オンラインの映画字幕に基づいてまったく新しいカウントを行いました。

スペイン語の単語の頻度に関する研究はいくつかある（Cuetos et al. 2011）。^[19]

中国語コーパスは長い間、頻度リストの観点から研究されてきました。中国語の語彙を学ぶ歴史的な方法は、文字の頻度に基づいています (Allanic 2003)。アメリカの中国学者ジョン・デフランシスは、なぜジョニーは中国語が読めないのか(DeFrancis 1966)の中で、外国語としての中国語の学習と教育におけるその重要性について述べています。頻度ツールキットとして、Da (Da 1998) と台湾教育部 (TME 1997) は、文字と単語の頻度ランキングを含む大規模なデータベースを提供しました。中華人民共和国の高頻度および中頻度語 8,848 語のHSKリストと、中華民国 (台湾)の一般的な繁体字中国語単語約 8,600 語のTOPリストは、一般的な中国語の単語と文字を表示する他の 2 つのリストです。SUBTLEX 運動に続いて、Cai & Brysbaert 2010 は最近、中国語の単語と文字の頻度に関する豊富な研究を行いました。

Wiktionary:頻度リストには、より多くの言語での頻度リストが含まれています。^[20]

Wikipediaや複合コーパスに基づく、さまざまな言語で最も頻繁に使用される単語。^[21]

• 文字の頻度
• 英語で最も一般的な単語
• ロングテール
• Google Ngram Viewer – 時間の経過に伴う単語/フレーズの頻度（および相対頻度）の変化を表示します。

無料辞書『Wiktionary』で「Wiktionary:Frequency lists」を調べてください。

• Nation, P. (1997)、「語彙のサイズ、テキストのカバー範囲、および単語リスト」、Schmitt、McCarthy (編)、Vocabulary: Description, Acquisition and Pedagogy、ケンブリッジ: Cambridge University Press、pp.  6– 19、ISBN 978-0-521-58551-4
• Laufer, B. (1997)、「単語を難しくしたり簡単にしたりする要因は何か? 単語の学習に影響を与える語彙内要因」、語彙: 記述、習得、教育学、ケンブリッジ: ケンブリッジ大学出版局、pp.  140– 155、ISBN 9780521585514
• ネイション、P. (2006)、「言語教育 - 語彙」、言語学百科事典、オックスフォード: 494– 499、doi :10.1016/B0-08-044854-2/00678-7、ISBN 9780080448541。
• Brysbaert, Marc; Buchmeier, Matthias; Conrad, Markus; Jacobs, Arthur M.; Bölte, Jens; Böhl, Andrea (2011). 「単語頻度効果: ドイツ語における頻度推定値の選択に関する最近の動向と影響のレビュー」.実験心理学. 58 (5): 412– 424. doi :10.1027/1618-3169/a000123. PMID  21768069.データベース
• Rudell, AP (1993)、「単語の使用頻度と単語の難易度の認識: Kucera 語と Francis 語の評価」、Most、第 25 巻、  455 ～ 463ページ
• Segui, J.; Mehler, Jacques; Frauenfelder, Uli; Morton, John (1982)、「単語頻度効果と語彙アクセス」、Neuropsychologia、20 (6): 615– 627、doi :10.1016/0028-3932(82)90061-6、PMID  7162585、S2CID  39694258
• マイヤー、ヘルムート (1967)、ドイツ政府、ヒルデスハイム: オルムス（ドイツ語の単語の頻度リスト）
• デフランシス、ジョン（1966）「なぜジョニーは中国語が読めないのか」
• Allanic、Bernard (2003)、古代および現代中国における文字のコーパスとその教育的側面 (fr: Les corpus de caractères et leur Dimensions pédagogique dans la Chine ancienne et contemporaine) (These de Doctorat)、パリ: INALCO

• Da, Jun (1998)、Jun Da: 中国語テキストコンピューティング、2010-08-21取得。
• 台湾教育省 (1997)、86 年常用語詞調查報告書、 2010 年 8 月 21 日取得。。
• 新しいです、ボリス。 Pallier、Christophe、Manuel de Lexique 3 (フランス語) (3.01 版)。
• ギメネス、マヌエル、ニュー、ボリス（2016）、「ワールドレックス：66言語のTwitterとブログの単語頻度」、行動研究方法、48（3）：963– 972、doi：10.3758 / s13428-015-0621-0、ISSN  1554-3528、PMID  26170053。

• New, B.; Brysbaert, M.; Veronis, J.; Pallier, C. (2007). 「SUBTLEX-FR: 映画の字幕を使用した単語の出現頻度の推定」(PDF) .応用心理言語学. 28 (4): 661. doi :10.1017/s014271640707035x. hdl : 1854/LU-599589 . S2CID  145366468. 2016-10-24 にオリジナル(PDF)からアーカイブ。
• Brysbaert, Marc; New, Boris (2009)、「Kucera と Francis を超えて: 現在の単語頻度基準の批判的評価とアメリカ英語のための新しい改良された単語頻度測定法の導入」(PDF)、Behavior Research Methods、41 (4): 977– 990、doi : 10.3758/brm.41.4.977、PMID  19897807、S2CID  4792474
• Keuleers, E, M, B.; New, B. (2010)、「SUBTLEX--NL: 映画の字幕に基づくオランダ語の単語頻度の新しい測定法」、Behavior Research Methods、42 (3): 643– 650、doi : 10.3758/brm.42.3.643、PMID  20805586{{citation}}: CS1 maint: 複数の名前: 著者リスト (リンク)
• Cai, Q.; Brysbaert, M. (2010)、「SUBTLEX-CH: 映画字幕に基づく中国語の単語と文字の頻度」、PLOS ONE、5 (6): 8、Bibcode :2010PLoSO...510729C、doi : 10.1371/journal.pone.0010729、PMC  2880003、PMID  20532192
• クエトス、F.グレズノスティ、マリア。バルボン、アナリア。 Brysbaert、Marc (2011)、「SUBTLEX-ESP :映画の字幕に基づくスペイン語単語頻度」(PDF)、Psicológica、32 : 133–143
• ディミトロプーロウ、M.ドゥニャベイティア、ジョン・アンドーニ。アビレス、アルベルト。コラル、ホセ。 Carreiras、Manuel (2010)、「SUBTLEX-GR: 読書行動の最良の推定値としての字幕ベースの単語頻度: ギリシャ語の場合」、心理学のフロンティア、1 (12 月): 12、doi : 10.3389/fpsyg.2010.00218、PMC  3153823、PID  21833273
• Pham, H.; Bolger, P.; Baayen, RH (2011)、「SUBTLEX-VIE: 映画字幕におけるベトナム語の単語と文字の頻度の測定」、ACOL
• Brysbaert, M.; New, Boris; Keuleers, E. (2012)、「SUBTLEX-US: SUBTLEXus 単語頻度への品詞情報の追加」(PDF)、Behavior Research Methods : 1– 22(データベース)
• Mandera, P.; Keuleers, E.; Wodniecka, Z.; Brysbaert, M. (2014). 「Subtlex-pl: ポーランド語の字幕ベースの単語頻度推定」(PDF) . Behav Res Methods . 47 (2): 471– 483. doi :10.3758/s13428-014-0489-4. PMID  24942246. S2CID  2334688.
• タン、K.（2012）「言語研究のためのリソースとしてのブラジルポルトガル語映画字幕の6100万語コーパス」、UCL Work Pap Linguist（24）：208-214
• Avdyli, Rrezarta; Cuetos, Fernando (2013 年 6 月)、「SUBTLEX- AL: 映画の字幕に基づくアルバニア語の単語頻度」、ILIRIA International Review、3 (1): 285– 292、doi : 10.21113/iir.v3i1.112 (2024 年 11 月 1 日非アクティブ)、ISSN  2365-8592{{citation}}: CS1 メンテナンス: DOI は 2024 年 11 月時点で非アクティブです (リンク)
• ソアレス、アナ・ポーラ。マシャド、ジョアン。コスタ、アナ。イリアルテ、アルバロ。シモンエス、アルベルト。デ・アルメイダ、ホセ・ジョアン。コメサニャ、モントセラト。ペレア、マヌエル (2015 年 4 月)、「字幕から抽出された単語の頻度と文脈の多様性の尺度の利点について: ポルトガル語の場合」、The Quarterly Journal of Experimental Psychology、68 (4): 680–696、doi :10.1080/17470218.2014 .964271、PMID  25263599、S2CID  5376519

この記事には、言語関連のリストが含まれています。
内部リンクによって誤ってここに移動した場合は、リンクを変更して、目的の記事に直接アクセスしてください。