自然言語生成

自然言語生成( NLG ) は、自然言語出力を生成するソフトウェアプロセスです。広く引用されている NLG 手法の調査では、NLG は「人工知能と計算言語学のサブフィールドであり、情報の非言語的表現から英語やその他の人間の言語で理解可能なテキストを生成できるコンピューターシステムの構築に関係しています」と説明されています。^[1]

NLGプロセスの出力はテキストであることは広く認められていますが、NLGシステムの入力が非言語的である必要があるかどうかについては意見の相違があります。^[2] NLG手法の一般的な用途には、天気予報^[3]や患者レポートなどのさまざまなレポートの作成、^[4]画像キャプション^[5]、chatGPTのようなチャットボットなどがあります。

自動化された NLG は、人間がアイデアを文章や音声に変換するプロセスに例えることができます。心理言語学者はこのプロセスを言語生成という用語で表現することを好みますが、これは数学的な用語で説明することも、心理学的研究のためにコンピューターでモデル化することもできます。NLG システムは、デコンパイラーやトランスパイラーなどの人工コンピューター言語の翻訳者と比較することもできます。これらも、中間表現から生成された人間が読めるコードを生成します。人間の言語は、プログラミング言語よりもかなり複雑で、表現の曖昧さと多様性がはるかに多い傾向があるため、NLG はより困難になります。

NLG は自然言語理解(NLU)を補完するものと見なすことができます。自然言語理解では、システムは入力文の曖昧さを解消して機械表現言語を生成する必要がありますが、NLG では、システムは表現を言葉にする方法を決定する必要があります。NLU システムと NLG システムを構築する際の実際的な考慮事項は対称的ではありません。NLU は曖昧または誤ったユーザー入力に対処する必要がありますが、システムが NLG を通じて表現したいアイデアは、一般的に正確にわかっています。NLG は多くの潜在的な表現から特定の一貫性のあるテキスト表現を選択する必要がありますが、NLU は通常、表現されたアイデアの単一の正規化された表現を生成しようとします。^[6]

NLGは1960年代半ばにELIZAが開発されて以来存在していましたが、その手法が初めて商業的に使用されたのは1990年代でした。 ^{[7] NLGの技術は、}定型文を生成する差し込み印刷のような単純なテンプレートベースのシステムから、人間の文法を複雑に理解するシステムまで多岐にわたります。NLGは、通常は人間が書いたテキストの大規模なコーパスで機械学習を使用して統計モデルをトレーニングすることによっても実現できます。 ^[8]

例

スコットランドの花粉予報システム^[9]は、基本的にテンプレートに基づいたシンプルなNLGシステムの簡単な例です。このシステムは、スコットランドのさまざまな地域で予測される花粉レベルを示す6つの数値を入力として受け取ります。これらの数値から、システムは出力として花粉レベルの短いテキスト要約を生成します。

たとえば、2005 年 7 月 1 日の履歴データを使用すると、ソフトウェアは次を生成します。

金曜日の草花粉レベルは昨日の中程度から高レベルに上昇し、国内のほとんどの地域で約 6 から 7 の値を示します。ただし、北部地域では花粉レベルは中程度で、値は 4 になります。

対照的に、このデータから得られた実際の予報（人間の気象予報士が書いたもの）は次のようになりました。

スコットランドのほとんどの地域では花粉の飛散量はレベル 6 と高い状態が続くと予想され、南東部ではレベル 7 に達することもあります。唯一の緩和は、花粉の飛散量が中程度である北部諸島とスコットランド本土の北東部の端です。

これら 2 つを比較すると、NLG システムが行う必要がある選択の一部が明らかになります。これらについては、以下でさらに詳しく説明します。

ステージ

テキストを生成するプロセスは、コピーして貼り付けた定型テキストのリストを保持し、場合によっては何らかのグルーテキストでリンクするだけの簡単なものです。その結果は、星占いマシンやパーソナライズされたビジネスレターのジェネレーターなどの単純なドメインでは満足できるものかもしれません。しかし、洗練された NLG システムには、自然で繰り返しにならないテキストを生成できるように、計画と情報のマージの段階を含める必要があります。Dale と Reiter ^[6]が提案した自然言語生成の一般的な段階は次のとおりです。

コンテンツの決定: テキストでどのような情報を記載するかを決定します。たとえば、上記の花粉の例では、南東部の花粉レベルが 7 であることを明示的に記載するかどうかを決定します。

文書の構造化: 伝える情報の全体的な構成。たとえば、花粉レベルが低い地域ではなく、花粉レベルが高い地域を最初に説明することにします。

集約: 読みやすさと自然さを向上させるために類似の文を結合します。たとえば、次の 2 つの文を結合します。

金曜日の草花粉レベルは昨日の中程度から高レベルに上昇し、
全国のほとんどの地域で草花粉レベルは6～7程度になるだろう

次の一文に置き換えます。

金曜日のイネ科植物の花粉レベルは昨日の中レベルから高レベルに上昇し、全国のほとんどの地域で約6〜7の数値となった。

語彙の選択: 概念に言葉を当てはめます。たとえば、花粉レベル 4 を説明するときに mediumとmoderate のどちらを使用するかを決定します。

参照表現の生成:オブジェクトと地域を識別する参照表現を作成します。たとえば、 スコットランドの特定の地域を指すために、北部諸島とスコットランド本土の極北を使用することを決定します。このタスクには、代名詞やその他のタイプの照応についての決定も含まれます。

実現: 実際のテキストを作成します。これは、構文、形態論、正書法の規則に従って正しくなければなりません。たとえば、 to beの未来形にはwill be を使用します。

NLGの代替アプローチは、上記のような別々の段階を経ずに、「エンドツーエンド」の機械学習を使用してシステムを構築することです。^[10] 言い換えれば、入力データとそれに対応する（人間が書いた）出力テキストの大規模なデータセットで機械学習アルゴリズム（多くの場合、LSTM）をトレーニングすることで、NLGシステムを構築します。エンドツーエンドのアプローチは、おそらく画像キャプション作成で最も成功しています。^[11]これは、画像のテキストキャプションを自動的に生成するものです。

アプリケーション

自動レポート生成

商業的な観点から見ると、最も成功した NLG アプリケーションは、データベースやデータセットのテキスト要約を生成するデータからテキストへのシステムです。これらのシステムは通常、テキスト生成だけでなくデータ分析も行います。研究によると、意思決定支援にはテキスト要約の方がグラフやその他のビジュアルよりも効果的であり、 ^[12]^[13]^[14]、コンピューターで生成されたテキストは (読者の観点から) 人間が書いたテキストよりも優れている場合があります。^[15]

最初の商用データテキスト変換システムは、気象データから天気予報を生成しました。最も早く導入されたそのようなシステムはFoG ^[3]で、 1990年代初頭にカナダ環境省がフランス語と英語で天気予報を生成するために使用されました。FoGの成功は、研究と商業の両方で他の作業のきっかけとなりました。最近のアプリケーションには、英国気象庁のテキスト強化予報があります。^[16]

データからテキストへのシステムは、それ以来、さまざまな状況で適用されてきました。2014年3月17日にカリフォルニア州ビバリーヒルズ近郊で小規模な地震が発生した後、ロサンゼルスタイムズ紙は、地震発生から3分以内に地震の時刻、場所、強さに関する詳細を報道しました。このレポートは、「ロボットジャーナリスト」によって自動的に生成され、事前設定されたテンプレートを使用して受信データをテキストに変換しました。^[17]^[18]現在、NLGを使用して財務データとビジネスデータを要約することにかなりの商業的関心が寄せられています。実際、ガートナーは、 NLGが最新のBIおよび分析プラットフォームの90％の標準機能になると述べています。^[19] NLGは、自動ジャーナリズム、チャットボット、eコマースサイトの製品説明の生成、医療記録の要約、^[20]^[4]アクセシビリティの強化（たとえば、視覚障がい者向けにグラフやデータセットを説明することなど^）にも商業的に使用されています。

NLG のインタラクティブな使用例としては、WYSIWYMフレームワークがあります。これはWhat you see is what you intend (見たものが意味するもの)の略で、ユーザーは基礎となる形式言語ドキュメント (NLG 入力) の連続的にレンダリングされたビュー (NLG 出力) を表示および操作できるため、形式言語を学習せずに編集できます。

将来的には、データからテキストを生成する現在の進歩により、特定の対象者に合わせてテキストをカスタマイズする道が開かれます。たとえば、新生児ケアを受けている赤ちゃんのデータは、臨床現場では、テキストの対象となる受信者（医師、看護師、患者）に応じて、異なるレベルの技術的詳細と説明言語を使用して、異なる方法でテキストに変換できます。同じアイデアをスポーツの現場に適用して、特定のチームのファン向けに異なるレポートを作成することもできます。^[22]

画像キャプション

過去数年間、視覚と言語のインターフェースを調査する幅広い取り組みの一環として、画像のキャプションを自動生成することへの関心が高まっています。データからテキストを生成する例として、画像キャプション (または自動画像説明) のアルゴリズムでは、画像を撮影し、その視覚コンテンツを分析し、画像の最も重要な側面を言葉で表現するテキスト説明 (通常は文章) を生成します。

画像キャプションシステムには、2 つのサブタスクが含まれます。画像分析では、画像の特徴と属性が検出され、ラベル付けされた後、これらの出力が言語構造にマッピングされます。最近の研究では、 AlexNet、VGG、Caffe などの事前学習済みの畳み込みニューラルネットワークの特徴を介したディープラーニングアプローチが利用されており、キャプションジェネレーターは事前学習済みのネットワークのアクティベーションレイヤーを入力特徴として使用します。2 番目のタスクであるテキスト生成は、さまざまな手法を使用して実行されます。たとえば、Midge システムでは、入力画像は、オブジェクト/スタッフ検出、アクション/ポーズ検出、空間関係からなるトリプルとして表されます。これらは、その後、<名詞、動詞、前置詞> トリプルにマッピングされ、ツリー置換文法を使用して実現されます。^[22]

画像キャプション作成の一般的な方法は、視覚モデル（ ResNetなど）を使用して画像をベクトルにエンコードし、言語モデル（ RNNなど）を使用してベクトルをキャプションにデコードすることです。^[23]^[24]

進歩にもかかわらず、画像キャプチャ研究には課題と機会が残っています。最近Flickr30K、MS COCO、その他の大規模データセットが導入され、ニューラルネットワークなどのより複雑なモデルのトレーニングが可能になったにもかかわらず、画像キャプションの研究はより大規模で多様なデータセットから恩恵を受ける可能性があると主張されてきました。画像の説明の適切性を評価する際に人間の判断を模倣できる自動測定の設計も、この分野で求められています。その他の未解決の課題には、視覚的質問応答（VQA）^[25]や、画像の説明のための多言語リポジトリの構築と評価などがあります。^[22]

チャットボット

NLG が広く適用されているもう 1 つの分野は、チャットボットの形でよく使用される自動対話システムです。チャットボットまたはチャッターボットは、生身の人間との直接のやり取りの代わりに、テキストまたは音声合成を介してオンラインチャット会話を行うために使用されるソフトウェアアプリケーションです。自然言語処理(NLP) 技術は人間の入力を解読するために使用されますが、NLG はリアルタイムの対話を容易にするためにチャットボットアルゴリズムの出力部分に情報を提供します。

1988年にロロ・カーペンターによって作成され、1997年に公開されたCleverbotを含む初期のチャットボットシステムは、情報検索（IR）技術を使用して会話データベースで^同じ質問に人間がどのように応答したかを特定することで質問に答えます。 ^[^要^出典^{]現代のチャットボットシステムは、主にシーケンスツーシーケンス学習や強化学習など}^の機械学習（ML）モデルに依存して自然言語出力を生成します。ハイブリッドモデルも研究されています。たとえば、Alibabaショッピングアシスタントは、最初にIRアプローチを使用して知識ベースから最適な候補を取得し、次にML駆動型のseq2seqモデルを使用して候補の応答を再ランク付けして回答を生成します。^[26]

創作文芸と計算ユーモア

NLGによる創造的言語生成は、この分野が始まった当初から仮説として立てられてきました。この分野の最近の先駆者はフィリップ・パーカーで、彼は教科書、クロスワードパズル、詩、製本から白内障まで幅広いトピックの本を自動生成できるアルゴリズムを開発しました。^[27] GPT-3などの大規模な事前学習済みトランスフォーマーベースの言語モデルの出現も画期的な進歩をもたらし、そのようなモデルは創作・執筆タスクで認識可能な能力を発揮しています。^[28]

NLG の応用に関連する分野として、計算によるユーモアの生成があります。JAPE (Joke Analysis and Production Engine) は、テンプレートベースの手作業によるコーディング手法を使用して子供向けの語呂合わせのなぞなぞを作成する、最も初期の大規模な自動ユーモア生成システムの 1 つです。HAHAcronym は、任意の頭字語をユーモラスに再解釈するだけでなく、いくつかのキーワードに基づいて新しい適切な頭字語を提案します。^[29]

進歩はあるものの、人間の成果に匹敵する創造的でユーモラスなコンテンツを自動的に生成するには、多くの課題が残っています。風刺的な見出しを生成する実験では、最良の BERT ベースのモデルの出力は 9.4% の確率で面白いと認識され ( The Onionの実際の見出しは 38.4%)、風刺的な見出しに微調整された GPT-2 モデルは 6.9% を達成しました。^[30] ユーモア生成システムの主な 2 つの問題は、注釈付きデータセットの不足と正式な評価方法の不足であると指摘されています。 ^[29]これらは、他のクリエイティブコンテンツ生成にも適用できます。他のアプリケーションと比較して、NLG では言語生成の創造的な側面への注意が不足していると主張する人もいます。NLG 研究者は、創造的な言語生成を構成するものに関する洞察や、データからテキストへのシステムでも NLG 出力を改善する可能性のある物語の構造的特徴から恩恵を受けることができます。^[22]

評価

他の科学分野と同様に、NLG 研究者はシステム、モジュール、アルゴリズムがどの程度機能するかをテストする必要があります。これを評価と呼びます。NLG システムを評価するための基本的な手法は 3 つあります。

タスクベース（外的）評価：生成されたテキストを人に渡し、それがタスクの実行にどの程度役立つか（またはコミュニケーションの目的を達成できるか）を評価する。たとえば、医療データの要約を生成するシステムは、これらの要約を医師に渡し、要約が医師のより良い判断に役立つかどうかを評価することで評価できます。^[4]
人間による評価: 生成されたテキストを人に渡し、テキストの品質と有用性を評価してもらいます。
メトリック: BLEU、METEOR、ROUGE、LEPORなどの自動メトリックを使用して、生成されたテキストを同じ入力データから人が書いたテキストと比較します。

最終的な目標は、上記の技術の 1 つ目である、NLG システムが人々を助けるのにどれだけ役立つかということです。ただし、タスクベースの評価は時間がかかり、費用もかかるため、実行が困難な場合があります (特に、医師などの専門知識を持つ対象者が必要な場合)。したがって、(NLP の他の分野と同様に) タスクベースの評価は例外であり、標準ではありません。

最近、研究者たちは、人間による評価とメトリクスがタスクベースの評価とどの程度相関（予測）するかを評価しています。この研究は、Generation Challenges ^[31]の共有タスクイベントの文脈で行われています。初期の結果では、この点では人間による評価の方がメトリクスよりもはるかに優れていることが示唆されています。言い換えれば、人間による評価は通常、少なくともある程度はタスクの有効性を予測しますが（例外もあります）、メトリクスによって生成された評価はタスクの有効性をうまく予測できないことがよくあります。これらの結果は暫定的なものです。いずれにせよ、人間による評価はNLGで最も人気のある評価手法であり、これはメトリクスが広く使用されている機械翻訳とは対照的です。

AIは、トレーニングデータへの忠実性、あるいは事実性に基づいて評価される。トレーニングデータを反映しているが現実を反映していない応答は、忠実ではあるが事実ではない。自信はあるが忠実でない応答は幻覚である。自然言語処理では、幻覚は「提供されたソースコンテンツに対して無意味または忠実でない生成されたコンテンツ」と定義されることが多い。^[32]

参照

参考文献

^ Reiter, Ehud; Dale, Robert (1997 年 3 月). 「応用自然言語生成システムの構築」.自然言語工学. 3 (1): 57–87. doi :10.1017/S1351324997001502. ISSN 1469-8110. S2CID 8460470.
^ Gatt A、Krahmer E (2018)。「自然言語生成の最新技術の調査：コアタスク、アプリケーション、評価」。人工知能研究ジャーナル。61 (61): 65–170。arXiv ：1703.09902。doi：10.1613 /jair.5477。S2CID 16946362 。
^ ab Goldberg E、Drieger N、 Kittredge R (1994)。「自然言語処理を使用した天気予報の作成」IEEE Expert。9 ( 2): 45–53。doi :10.1109/64.294135。S2CID 9709337。
^ abc Portet F, Reiter E, Gatt A, Hunter J, Sripada S, Freer Y, Sykes C (2009). 「新生児集中治療データからのテキスト要約の自動生成」(PDF) .人工知能. 173 (7–8): 789–816. doi :10.1016/j.artint.2008.12.002.
^ Farhadi A, Hejrati M, Sadeghi MA, Young P, Rashtchian C, Hockenmaier J, Forsyth D (2010-09-05). 「すべての画像には物語がある：画像からの文章生成」（PDF） . ヨーロッパコンピュータビジョン会議。ベルリン、ハイデルベルク：Springer。pp. 15–29. doi :10.1007/978-3-642-15561-1_2。
^ ab Dale, Robert; Reiter, Ehud (2000).自然言語生成システムの構築ケンブリッジ、イギリス: Cambridge University Press. ISBN 978-0-521-02451-8。
^ Ehud Reiter (2021-03-21). NLGの歴史。2021-12-12時点のオリジナルよりアーカイブ。
^ Perera R, Nand P (2017). 「自然言語生成の最近の進歩: 実証的文献の調査と分類」.コンピューティングと情報科学. 36 (1): 1–32. doi :10.4149/cai_2017_1_1. hdl : 10292/10691 .
^ R Turner、S Sripada、E Reiter、I Davy (2006)。花粉予報における時空間記述の生成。EACL06議事録
^ 「E2E NLGチャレンジ」。
^ 「DataLabCup: 画像キャプション」.
^ Law A、Freer Y、Hunter J、Logie R、McIntosh N、Quinn J (2005)。「新生児集中治療室における医療上の意思決定を支援するための時系列データのグラフィックとテキストによる表現の比較」。Journal of Clinical Monitoring and Computing。19 ( 3) : 183–94。doi : 10.1007 /s10877-005-0879-3。PMID 16244840。S2CID 5569544。
^ Gkatzia D、Lemon O 、 Reiser V (2017)。「データからテキストへの生成により不確実性下での意思決定が改善」(PDF)。IEEE Computational Intelligence Magazine。12 ( 3): 10–17。doi : 10.1109 /MCI.2017.2708998。S2CID 9544295 。
^ 「テキストかグラフィックか?」 2016-12-26.
^ Reiter E、Sripada S、Hunter J、Yu J、Davy I (2005)。「コンピュータ生成天気予報における単語の選択」。人工知能。167 (1–2): 137–69。doi : 10.1016/ j.artint.2005.06.006。
^ S Sripada、N Burnett、R Turner、J Mastin、D Evans(2014)。ケーススタディの生成: 気象業界のテキスト天気予報の質と量に対する NLG の要求を満たす。INLG 2014 の議事録
^ シュウェンケ、ケンシュウェンケケン; ジャーナリスト、A.; プログラマー、コンピューター; 2014年にロサンゼルスタイムズを退社 (2014-03-17)。「地震の余震: ウエストウッド付近で2.7の地震が発生」ロサンゼルスタイムズ。 2022年6月3日閲覧。{{cite web}}: CS1 maint: 数値名: 著者リスト (リンク)
^ Levenson, Eric (2014-03-17). 「LA Timesのジャーナリストが、ボットが地震記事を代行執筆した方法を説明」The Atlantic . 2022年6月3日閲覧。
^ 「ニューラルネットワークと最新の BI プラットフォームがデータと分析を進化させる」。
^ Harris MD (2008). 「EMR 用の大規模商用 NLG システムの構築」(PDF)。第 5 回国際自然言語生成会議の議事録。pp. 157–60。
^ 「iGraph-Lite ページへようこそ」www.inf.udec.cl。2010 年 3 月 16 日時点のオリジナルよりアーカイブ。
^ abcd Gatt, Albert; Krahmer, Emiel (2018-01-29). 「自然言語生成の最新技術の調査: コアタスク、アプリケーション、評価」. arXiv : 1703.09902 [cs.CL].
^ Vinyals, Oriol; Toshev, Alexander; Bengio, Samy; Erhan, Dumitru (2015). 「Show and Tell: ニューラル画像キャプションジェネレーター」: 3156–3164 ページ。 {{cite journal}}:ジャーナルを引用するには|journal=(ヘルプ)が必要です
^ Karpathy, Andrej; Fei-Fei, Li (2015). 「画像の説明を生成するためのディープビジュアルセマンティックアライメント」: 3128–3137。 {{cite journal}}:ジャーナルを引用するには|journal=(ヘルプ)が必要です
^ Kodali, Venkat; Berleant, Daniel ( 2022 ). 「ビジュアル質問応答アーキテクチャの最近の急速な進歩：レビュー」。第22回IEEE国際EIT会議の議事録。pp.133–146。arXiv ：2203.01322。
^ Mnasri, Maali (2019-03-21). 「会話型NLPの最近の進歩：チャットボット構築の標準化に向けて」. arXiv : 1903.09025 [cs.CL].
^ 「100万冊以上の本を執筆する方法」HuffPost 2013年2月11日2022年6月3日閲覧。
^ 「GPT-3の探索：言語生成における新たなブレークスルー」KDnuggets 。 2022年6月3日閲覧。
^ ab Winters, Thomas (2021-04-30). 「コンピューターがユーモアを学ぶのは冗談ではない」.ハーバードデータサイエンスレビュー. 3 (2). doi : 10.1162/99608f92.f13a2337 . S2CID 235589737.
^ Horvitz, Zachary; Do, Nam; Littman, Michael L. (2020年7月)。「コンテキスト駆動型風刺ニュース生成」。比喩的言語処理に関する第2回ワークショップ議事録。オンライン：計算言語学協会：40–50。doi ： 10.18653/ v1 /2020.figlang- 1.5。S2CID 220330989 。
^ 世代の課題
^ 季、紫微;イ、ナヨン。フリースケ、リタ。ゆう、鉄正。スー、ダン。徐、燕。石井悦子バン、イェジン。マドット、アンドレア。ファン、パスカル（2022年11月17日）。「自然言語生成における幻覚に関する調査」。ACM コンピューティング調査。55 (12): 3571730.arXiv : 2202.03629。土井：10.1145/3571730。S2CID 246652372。

さらに読む

Dale, Robert; Reiter, Ehud (2000)。自然言語生成システムの構築。ケンブリッジ、イギリス：ケンブリッジ大学出版局。ISBN 978-0-521-02451-8。
エヴァンス、ロジャー、ピウェック、ポール、ケイヒル、リン (2002)。NLGとは何か? INLG2002。ニューヨーク、米国。紙
Gatt , Albert; Krahmer, Emiel ( 2018). 「自然言語生成の最新技術の調査: コアタスク、アプリケーション、評価」。人工知能研究ジャーナル。61 : 65–170。arXiv : 1703.09902。doi : 10.1613 /jair.5477。S2CID 16946362 。
Reiter, Ehud (2018-01-16)。「NLG について学ぶにはどうすればいいですか?」

[1] Reiter, Ehud; Dale, Robert (1997 年 3 月). 「応用自然言語生成システムの構築」.自然言語工学. 3 (1): 57–87. doi :10.1017/S1351324997001502. ISSN 1469-8110. S2CID 8460470.

[Gatt-2] Gatt A、Krahmer E (2018)。「自然言語生成の最新技術の調査：コアタスク、アプリケーション、評価」。人工知能研究ジャーナル。61 (61): 65–170。arXiv ：1703.09902。doi：10.1613 /jair.5477。S2CID 16946362 。

[fog-3] Goldberg E、Drieger N、 Kittredge R (1994)。「自然言語処理を使用した天気予報の作成」IEEE Expert。9 ( 2): 45–53。doi :10.1109/64.294135。S2CID 9709337。

[portet-4] Portet F, Reiter E, Gatt A, Hunter J, Sripada S, Freer Y, Sykes C (2009). 「新生児集中治療データからのテキスト要約の自動生成」(PDF) .人工知能. 173 (7–8): 789–816. doi :10.1016/j.artint.2008.12.002.

[farhadi-5] Farhadi A, Hejrati M, Sadeghi MA, Young P, Rashtchian C, Hockenmaier J, Forsyth D (2010-09-05). 「すべての画像には物語がある：画像からの文章生成」（PDF） . ヨーロッパコンピュータビジョン会議。ベルリン、ハイデルベルク：Springer。pp. 15–29. doi :10.1007/978-3-642-15561-1_2。

[Ehud-6] Dale, Robert; Reiter, Ehud (2000).自然言語生成システムの構築ケンブリッジ、イギリス: Cambridge University Press. ISBN 978-0-521-02451-8。

[ehud-history-7] Ehud Reiter (2021-03-21). NLGの歴史。2021-12-12時点のオリジナルよりアーカイブ。

[8] Perera R, Nand P (2017). 「自然言語生成の最近の進歩: 実証的文献の調査と分類」.コンピューティングと情報科学. 36 (1): 1–32. doi :10.4149/cai_2017_1_1. hdl : 10292/10691 .

[9] R Turner、S Sripada、E Reiter、I Davy (2006)。花粉予報における時空間記述の生成。EACL06議事録

[10] 「E2E NLGチャレンジ」。

[11] 「DataLabCup: 画像キャプション」.

[12] Law A、Freer Y、Hunter J、Logie R、McIntosh N、Quinn J (2005)。「新生児集中治療室における医療上の意思決定を支援するための時系列データのグラフィックとテキストによる表現の比較」。Journal of Clinical Monitoring and Computing。19 ( 3) : 183–94。doi : 10.1007 /s10877-005-0879-3。PMID 16244840。S2CID 5569544。

[13] ^ Gkatzia D、Lemon O 、 Reiser V (2017)。「データからテキストへの生成により不確実性下での意思決定が改善」(PDF)。IEEE Computational Intelligence Magazine。12 ( 3): 10–17。doi : 10.1109 /MCI.2017.2708998。S2CID 9544295 。

[14] 「テキストかグラフィックか?」 2016-12-26.

[15] Reiter E、Sripada S、Hunter J、Yu J、Davy I (2005)。「コンピュータ生成天気予報における単語の選択」。人工知能。167 (1–2): 137–69。doi : 10.1016/ j.artint.2005.06.006。

[16] S Sripada、N Burnett、R Turner、J Mastin、D Evans(2014)。ケーススタディの生成: 気象業界のテキスト天気予報の質と量に対する NLG の要求を満たす。INLG 2014 の議事録

[17] シュウェンケ、ケンシュウェンケケン; ジャーナリスト、A.; プログラマー、コンピューター; 2014年にロサンゼルスタイムズを退社 (2014-03-17)。「地震の余震: ウエストウッド付近で2.7の地震が発生」ロサンゼルスタイムズ。 2022年6月3日閲覧。{{cite web}}: CS1 maint: 数値名: 著者リスト (リンク)

[18] Levenson, Eric (2014-03-17). 「LA Timesのジャーナリストが、ボットが地震記事を代行執筆した方法を説明」The Atlantic . 2022年6月3日閲覧。

[19] 「ニューラルネットワークと最新の BI プラットフォームがデータと分析を進化させる」。

[20] Harris MD (2008). 「EMR 用の大規模商用 NLG システムの構築」(PDF)。第 5 回国際自然言語生成会議の議事録。pp. 157–60。

[21] 「iGraph-Lite ページへようこそ」www.inf.udec.cl。2010 年 3 月 16 日時点のオリジナルよりアーカイブ。

[:0-22] Gatt, Albert; Krahmer, Emiel (2018-01-29). 「自然言語生成の最新技術の調査: コアタスク、アプリケーション、評価」. arXiv : 1703.09902 [cs.CL].

[23] Vinyals, Oriol; Toshev, Alexander; Bengio, Samy; Erhan, Dumitru (2015). 「Show and Tell: ニューラル画像キャプションジェネレーター」: 3156–3164 ページ。 {{cite journal}}:ジャーナルを引用するには|journal=(ヘルプ)が必要です

[24] Karpathy, Andrej; Fei-Fei, Li (2015). 「画像の説明を生成するためのディープビジュアルセマンティックアライメント」: 3128–3137。 {{cite journal}}:ジャーナルを引用するには|journal=(ヘルプ)が必要です

[25] ^ Kodali, Venkat; Berleant, Daniel ( 2022 ). 「ビジュアル質問応答アーキテクチャの最近の急速な進歩：レビュー」。第22回IEEE国際EIT会議の議事録。pp.133–146。arXiv ：2203.01322。

[26] Mnasri, Maali (2019-03-21). 「会話型NLPの最近の進歩：チャットボット構築の標準化に向けて」. arXiv : 1903.09025 [cs.CL].

[27] 「100万冊以上の本を執筆する方法」HuffPost 2013年2月11日2022年6月3日閲覧。

[28] 「GPT-3の探索：言語生成における新たなブレークスルー」KDnuggets 。 2022年6月3日閲覧。

[:1-29] Winters, Thomas (2021-04-30). 「コンピューターがユーモアを学ぶのは冗談ではない」.ハーバードデータサイエンスレビュー. 3 (2). doi : 10.1162/99608f92.f13a2337 . S2CID 235589737.

[30] Horvitz, Zachary; Do, Nam; Littman, Michael L. (2020年7月)。「コンテキスト駆動型風刺ニュース生成」。比喩的言語処理に関する第2回ワークショップ議事録。オンライン：計算言語学協会：40–50。doi ： 10.18653/ v1 /2020.figlang- 1.5。S2CID 220330989 。

[31] 世代の課題

[32] 季、紫微;イ、ナヨン。フリースケ、リタ。ゆう、鉄正。スー、ダン。徐、燕。石井悦子バン、イェジン。マドット、アンドレア。ファン、パスカル（2022年11月17日）。「自然言語生成における幻覚に関する調査」。ACM コンピューティング調査。55 (12): 3571730.arXiv : 2202.03629。土井：10.1145/3571730。S2CID 246652372。