Loading article…
_05.jpg/500px-Metcalf_Research_Laboratory_(Brown)_05.jpg)
ブラウン大学標準現代アメリカ英語コーパス（通称ブラウン コーパス）は、アメリカ英語のテキストサンプルの電子コレクションであり、さまざまなジャンルを網羅した最初の主要な構造化コーパスです。このコーパスは、日常言語使用における語種の頻度と分布に関する科学的研究の基準を初めて設定しました。ロードアイランド州ブラウン大学のヘンリー・クチェラとW・ネルソン・フランシスが編集したこのコーパスは、1961年に米国で出版された作品から編集された、英語のサンプル500個、合計約100万語を含む一般言語コーパスです。
歴史
1967年、クチェラとフランシスは「現代アメリカ英語の計算分析」と題する古典的な著作を出版し、今日単にブラウンコーパスとして知られているものに関する基本的な統計を提供した。[1]
ブラウンコーパスは、さまざまな情報源から集められた約100万語の現在のアメリカ英語を慎重に編集したものです。クチェラとフランシスは、このコーパスをさまざまな計算分析にかけ、言語学、心理学、統計学、社会学の要素を組み合わせた豊かで多彩な作品に仕上げました。このコーパスは計算言語学で広く使用されており、長年にわたりこの分野で最も引用されているリソースの1つでした。[2]
最初の語彙統計分析の発表後まもなく、ボストンの出版社ホートン・ミフリン社は、同社の新しいアメリカン・ヘリテージ辞書用に百万語、三行の引用ベースを提供するようクチェラに依頼しました。1969年に初めて登場したこの画期的な新しい辞書は、単語の頻度やその他の情報にコーパス言語学を使用して編集された最初の辞書でした。
初期の Brown Corpus には単語自体と、それぞれの位置識別子のみが含まれていました。その後数年間で、品詞タグが適用されました。Greene と Rubin のタグ付けプログラム (品詞タグ付けを参照) はこれに大きく貢献しましたが、エラー率が高いため、手作業による校正が大量に必要になりました。
タグ付けされたブラウンコーパスは、約80の品詞の選択と、複合語、短縮形、外来語、その他のいくつかの現象に対する特別な指標を使用しており、ランカスター・オスロ・バーゲンコーパス（1990年代初頭のイギリス英語）やフライブルク・ブラウンアメリカ英語コーパス（FROWN）（1990年代初頭のアメリカ英語）など、後の多くのコーパスのモデルとなりました。[3] [4]コーパスにタグ付けすることで、アンドリュー・マッキーがプログラムし、英語文法の本に文書化された作業など、はるかに洗練された統計分析が可能になりました。[5]
興味深い結果の 1 つは、非常に大きなサンプルであっても、出現頻度の降順で単語をグラフ化すると双曲線が示されることです。つまり、 n番目に出現頻度の高い単語の出現頻度は、おおよそ 1/ nに比例します。したがって、「the」はブラウン コーパスの約 7% を占め、「to」と「of」はそれぞれさらに 3% 以上を占めます。一方、約 50,000 語の総語彙の約半分は、コーパスで 1 回しか出現しない単語、つまりハパックス レゴメナです。 [6]この単純な順位と頻度の関係は、ジョージ キングスリー ジップ(たとえば、彼の著書「言語の精神生物学」を参照) によって、驚くほど多様な現象で注目され、ジップの法則として知られています。
ブラウン コーパスはコーパス言語学の分野の先駆者ですが、現在では一般的なコーパス (現代アメリカ英語コーパス、英国国立コーパス、国際英語コーパスなど) は 1 億語程度と、はるかに大規模になる傾向があります。
サンプルの分布
コーパスは 500 のサンプルで構成され、15 のジャンルにまたがって分布しており、各ジャンルで 1961 年に出版された量とほぼ比例しています。サンプルに含まれた作品はすべて 1961 年に出版されたものであり、判別できる限りではその年に初めて出版されたもので、アメリカ英語のネイティブ スピーカーによって書かれています。
各サンプルは、記事または選択された他の単位内のランダムな文の境界から始まり、2,000 語後の最初の文の境界まで続きます。ごくまれに、誤カウントによりサンプルが 2,000 語未満になる場合があります。
元々のデータ入力は、大文字のみを入力できるキーパンチマシンで行われ、大文字は先頭にアスタリスクが付いて示され、数式などのさまざまな特殊項目にも特別なコードが付けられていました。
コーパスには元々（1961 年）15 のテキスト カテゴリから抽出された 1,014,312 語が含まれていました。
- A. 報道：ルポ（44件）
- 政治的
- スポーツ
- 社会
- スポットニュース
- 金融
- 文化的な
- B. プレス: 社説 ( 27 テキスト)
- 機関投資家向け日刊紙
- 個人的
- 編集者への手紙
- C. PRESS: レビュー ( 17 件)
- 劇場
- 本
- 音楽
- ダンス
- D. 宗教 ( 17 テキスト)
- 書籍
- 定期刊行物
- トラクト
- E. 技能と趣味（36テキスト）
- 書籍
- 定期刊行物
- F. ポピュラー伝承（48テキスト）
- 書籍
- 定期刊行物
- G. BELLES-LETTRES - 伝記、回想録など（75件）
- 書籍
- 定期刊行物
- H. その他: 米国政府および下院機関 ( 30 テキスト)
- 政府文書
- 財団レポート
- 業界レポート
- 大学カタログ
- インダストリーハウスオルガン
- J. LEARNED ( 80 テキスト)
- 自然科学
- 薬
- 数学
- 社会行動科学
- 政治学、法律、教育
- 人文科学
- テクノロジーとエンジニアリング
- K. フィクション: 一般 ( 29 テキスト)
- 小説
- 短編小説
- L. フィクション: ミステリーと探偵小説 ( 24 テキスト)
- 小説
- 短編小説
- M. フィクション: 科学 ( 6 テキスト)
- 小説
- 短編小説
- N. フィクション: 冒険と西部劇 ( 29 テキスト)
- 小説
- 短編小説
- P. フィクション: ロマンスとラブストーリー ( 29 テキスト)
- 小説
- 短編小説
- R.ユーモア（9テキスト）
- 小説
- エッセイ等
使用される品詞タグ
参照
- LOB Corpus は、Brown Corpusと同じパラメータに基づいたイギリス英語のコーパスです。
- 英国国立コーパス
参考文献
- ^ フランシス、W. ネルソン、ヘンリー・クセラ。1967年。現代アメリカ英語の計算分析。プロビデンス、ロードアイランド州：ブラウン大学出版局。
- ^ フランシス、W. ネルソン、ヘンリー・クセラ。1979 年。ブラウン コーパス マニュアル: デジタル コンピューターで使用するための現代アメリカ英語編集標準コーパスに付随する情報マニュアル。http://icame.uib.no/brown/bcm.html。
- ^ Hundt, Marianne, Andrea Sand & Rainer Siemund. 1998. アメリカ英語フライブルク・ブラウンコーパス (FROWN) に付随する情報マニュアル。http://khnt.hit.uib.no/icame/manuals/frown/INDEX.HTM 2014-04-03 にWayback Machineでアーカイブ
- ^ Leech, Geoffrey & Nicholas Smith. 2005. 20世紀におけるコーパスに基づく英語研究の可能性の拡張：LOBとFLOBの前編。ICAMEジャーナル29。83–98。
- ^ ウィンスロップ・ネルソン・フランシスとヘンリー・クチェラ。1983年。英語使用頻度分析：語彙と文法、ホートン・ミフリン。
- ^ キルステン・マルムケア『言語学百科事典』第2版、ラウトレッジ、2002年、ISBN 0-415-22210-9、87ページ。
外部リンク
- ブラウンコーパスマニュアル
- ブラウンコーパスをダウンロード
- TreeTagger v2 で注釈付けされた Brown コーパスを Sketch エンジン経由で検索する
- Brown Corpus タグセットの詳細
- Brown Corpus に簡単にアクセスするための Python ソフトウェア
- PHP (品詞タグ付け)