迅速なエンジニアリング

プロンプトエンジニアリングは、生成型人工知能（AI）モデルによって解釈および理解できる指示を構成するプロセスです。 ^{[1] [2]} プロンプトは、 AIが実行する必要があるタスクを説明する自然言語テキストです。 ^[3]テキスト対テキスト言語モデルのプロンプトは、「フェルマーの小定理とは何ですか？」などのクエリ、 ^{[4]、 「}エドガー・アラン・ポーのスタイルで葉が落ちる詩を書いてください」などのコマンド、 ^{[5]、またはコンテキスト、指示、 [6]} 、会話履歴を含む長いステートメントになります。

プロンプトエンジニアリングには、クエリのフレーズ化、スタイルの指定、^[5]単語と文法の選択、^[7]関連するコンテキストの提供^[8]、または「フランス語のネイティブスピーカーとして行動する」などAIに役割を割り当てることが含まれます。^[9]

テキストから画像への変換モデルやテキストから音声への変換モデルと通信する場合、典型的なプロンプトは「馬に乗る宇宙飛行士の高画質写真」^[10]や「オーガニックサンプルを使ったローファイのスローBPMエレクトロチル」^{[11]など、望ましい出力の説明です。テキストから画像への変換モデルにプロンプ​​トを出す際には、望ましい主題、スタイル、 [1]}レイアウト、照明、^[12]および美観を実現するために、単語の追加、削除、強調、並べ替えが必要になる場合があります。

2018年、研究者らは、これまで個別に行われていたNLPのタスクを、文脈上の質問回答問題として扱うことができると初めて提案した。さらに、彼らは「感情とは何か」「この文章をドイツ語に翻訳する」「大統領は誰か」といったタスク関連のあらゆる質問に答える、最初の単一で共同のマルチタスクモデルを訓練した^[13]。

2021年に研究者らは、生成的に事前学習された1つのモデル（T0）を12のNLPタスク（各タスクは複数のデータセットを持つことができるため、62のデータセットを使用）の実行に微調整した。このモデルは新しいタスクで優れたパフォーマンスを示し、事前学習なしで1つのタスクのみを実行するように直接学習されたモデルを上回った。タスクを解決するために、T0には構造化されたプロンプトでタスクが与えられます。たとえば、 T0に含意をIf {{premise}} is true, is it also true that {{hypothesis}}? ||| {{entailed}}.解決させるために使用されるプロンプトです。^[14]

プロンプトのリポジトリによると、2022年2月には約170のデータセットに対して2,000を超える公開プロンプトが利用可能だったと報告されています。^[15]

2022年にGoogleの研究者によって思考連鎖を促す手法が提案されました。^{[16] [17]}

2023年には、いくつかのテキストからテキストへのプロンプトデータベースとテキストから画像へのプロンプトデータベースが公開されました。^{[18] [19]}

GoogleのCEOによると、思考連鎖（CoT）プロンプトは、大規模言語モデル（LLM）が最終的な答えを出す前に、一連の中間ステップとして問題を解決できるようにする手法であると主張されています^[20]。 2022年にGoogleはまた、思考連鎖プロンプトが、思考の流れを模倣した推論のステップでモデルが複数ステップの問題に答えるように誘導することで、推論能力を向上させると主張しました。^{[20] [16] [21]} GoogleとAmazonの発表によると、思考連鎖技術は、論理的思考と複数のステップで解決する必要がある算術問題や常識推論問題などの一部の推論タスクの困難を大規模言語モデルが克服できるようにすると仮説的に示されています。^{[22] [23] [24]}

例えば、「Q: カフェテリアにはリンゴが 23 個ありました。20 個を使って昼食を作り、さらに 6 個買った場合、リンゴは何個あるでしょうか?」という質問に対して、Google は CoT プロンプトによって LLM が「A: カフェテリアにはもともとリンゴが 23 個ありました。昼食を作るのに 20 個使いました。つまり、23 - 20 = 3 個です。さらに 6 個買ったので、3 + 6 = 9 個になります。答えは 9 です」と答える可能性があると主張しています。^[16]

Googleが最初に提案したように^[16] 、各CoTプロンプトにはいくつかのQ&A例が含まれていました。これにより、これは数ショットのプロンプト手法になりました。しかし、Googleと東京大学の研究者によると、^[25]単に「ステップごとに考えてみましょう」という言葉を追加するだけでも効果的であることが証明されており、CoTはゼロショットのプロンプト手法になります。OpenAIは、このプロンプトにより、ユーザーが多くの特定のCoT Q&A例を作成する必要がなくなるため、スケーリングが向上すると主張しています。^[26]

Googleは、540Bパラメータ言語モデルであるPaLMに適用した場合、CoTプロンプトがモデルを大幅に支援し、いくつかのタスクでタスク固有の微調整モデルと同等のパフォーマンスを発揮し、 GSM8K数学的推論ベンチマークで当時の最先端の結果を達成したと主張している。^{[16] Googleによると、CoT推論データセットでモデルを微調整して、この機能をさらに強化し、}解釈可能性を向上させることが可能であるという。^{[27] [28]}

例: ^[25]

   Q: {質問}
   A: 一つずつ考えていきましょう。

思考連鎖プロンプトは、プロンプトエンジニアリングの多くのテクニックのうちの1つにすぎません。他にもさまざまなテクニックが提案されており、少なくとも29の異なるテクニックが発表されています。^[29]

シンボル連鎖 (CoS) プロンプト

ウェストレイク大学、香港中文大学、エディンバラ大学の共同研究では、CoTプロンプトと組み合わせたシンボル連鎖プロンプトが、LLMのテキスト内の空間推論の難しさを軽減すると主張している。言い換えれば、「/」などの任意の記号を使用すると、LLMがテキスト内のスペースを解釈するのに役立つ。これは推論を助け、LLMのパフォーマンスを向上させると主張されている。^[30]

例: ^[30]

入力：
 
レンガのセットがあります。黄色のレンガ C はレンガ E の上にあります。黄色のレンガ D はレンガ A の上にあります。黄色のレンガ E はレンガ D の上にあります。白いレンガ A はレンガ B の上にあります。レンガ B の色は白です。次に、特定のレンガを取得する必要があります。レンガは上から下に向かってつかむ必要があり、下のレンガをつかむ場合は、まず上のレンガを削除する必要があります。レンガ D を取得するにはどうすればよいでしょうか。

B/A/D/E/C
中国語/英語
電子/デジタル
だ

出力：

したがって、結果は C、E、D となります。

少数ショット学習

プロンプトには、モデルが学習するためのいくつかの例が含まれる場合があります。たとえば、モデルに「maison → house、chat → cat、chien → 」（予想される応答はdog）を完成させるように要求するなどです。^{[31]これは、} few-shot learningと呼ばれるアプローチです。^[32]

生成された知識プロンプト^[33]は、まずモデルにプロンプ​​トを完了するための関連事実を生成するように促し、次にプロンプ​​トの完了に進みます。モデルは関連事実に条件付けることができるため、完了品質は通常高くなります^{[引用が必要]}。

例: ^[33]

   入力された概念に関する知識を生成します。
   入力: {質問}
   知識：

最小から最大へのプロンプト^[34]は、モデルにまず問題のサブ問題をリストし、次にそれらを順番に解決するように促し、後のサブ問題は前のサブ問題への回答の助けを借りて解決できるようにします。

例: ^[34]

   入力：
   Q: {質問}
   A: この問題を分解してみましょう。
       1.

自己一貫性デコーディング^[35]は、思考の連鎖のロールアウトを複数回実行し、すべてのロールアウトの中から最も一般的に到達した結論を選択します。ロールアウトが大きく異なる場合は、人間に正しい思考の連鎖を問い合わせることができます。^[36]

複雑性に基づくプロンプト^[37]は、複数のCoTロールアウトを実行し、最も長い思考の連鎖を持つロールアウトを選択し、その中から最も一般的に到達した結論を選択します。

自己改良^[38]はLLMに問題を解決するよう促し、次にLLMにその解決策を批評するよう促し、次にLLMに問題、解決策、批評を考慮して再度問題を解決するよう促します。このプロセスは、トークンや時間がなくなるか、LLMが「停止」トークンを出力するまで繰り返されます。

批判の例: ^[38]

   コードがいくつかあります。読みやすさを改善するための提案を 1 つください。コードを修正するのではなく、提案だけを行ってください。
   コード: {code}
   提案：

改良例:

   コード: {code}
   この提案を参考にしてコードを改善しましょう。
   提案: {suggestion}
   新しいコード:

思考のツリー探索^[39]は、モデルに1つ以上の「可能な次のステップ」を生成するように促し、次に幅優先探索、ビーム探索、またはその他のツリー探索方法を使用して、可能な次のステップごとにモデルを実行することで、思考の連鎖を一般化します。^[40]

マイユーティックプロンプトは思考ツリーに似ています。モデルは質問に答えるために説明を求められます。次にモデルは説明の一部を説明するように促されます。矛盾した説明ツリーは削除または破棄されます。これにより、複雑な常識的推論のパフォーマンスが向上します。^[41]

例: ^[41]

   Q: {質問}
   A: そうですね、なぜなら

   Q: {質問}
   A: 違います。

方向刺激プロンプト^[42]には、言語モデルを望ましい出力に導くためのヒントや手がかり（望ましいキーワードなど）が含まれます。

例: ^[42]

   記事: {article}
   キーワード:

   記事: {article}
   Q: 指定されたキーワードを正確に組み込んだ 2 ～ 4 文で記事の短い要約を書いてください。
   キーワード: {keywords}
   答え:

デフォルトでは、言語モデルの出力には不確実性の推定が含まれていない場合があります。モデルは、基礎となるトークン予測の尤度スコアが低いにもかかわらず、自信を持っているように見えるテキストを出力する場合があります。GPT -4のような大規模な言語モデルでは、トークン予測で正確に較正された尤度スコアを持つことができるため、 ^[43]トークン予測尤度スコアを読み取ることで、モデル出力の不確実性を直接推定できます。

しかし、そのようなスコアにアクセスできない場合（制限されたAPIを介してモデルにアクセスしている場合など）でも、不確実性を推定し、モデルの出力に組み込むことができます。1つの簡単な方法は、モデルに単語を使用して不確実性を推定するように指示することです。^[44]もう1つの方法は、入力が条件を満たさない場合、モデルに標準的な方法で回答を拒否するように指示することです。^{[引用が必要]}

研究では一貫して、LLMはプロンプトのフォーマット、構造、言語特性の微妙な変化に非常に敏感であることが示されています。いくつかの研究では、少数の試行設定でフォーマットの変更全体で最大76の精度ポイントが示されています。^[45]言語的特徴はプロンプトの有効性に大きな影響を与えます（形態論、構文、語彙意味の変化など）。これにより、さまざまなタスクでタスクのパフォーマンスが大幅に向上します。^{[46] [47]}たとえば、節構文は一貫性を向上させ、知識検索の不確実性を減らします。^[48]この感度は、モデルサイズが大きくなっても、少数の試行例が追加されても、または命令を調整しても持続します。

モデルの感度に対処し、より堅牢にするために、いくつかの方法が提案されている。FormatSpreadは、さまざまなプロンプト形式を評価することで体系的な分析を容易にし、より包括的なパフォーマンス間隔を提供する。^[49]同様に、PromptEvalは、多様なプロンプトにわたるパフォーマンス分布を推定し、パフォーマンスの四分位数などの堅牢な指標と、限られた予算内での正確な評価を可能にする。^[50]

検索拡張生成（RAG）は、大規模言語モデル（LLM）による文書検索と回答作成の2段階プロセスです。最初の段階では、密な埋め込みを利用して文書を検索します。この検索は、ベクターデータベース、サマリーインデックス、ツリーインデックス、キーワードテーブルインデックスなど、ユースケースに応じてさまざまなデータベース形式に基づくことができます。^[51]

クエリに応答して、ドキュメント リトリーバーは最も関連性の高いドキュメントを選択します。この関連性は通常、最初にクエリとドキュメントの両方をベクトルにエンコードし、次にクエリ ベクトルにユークリッド距離が最も近いベクトルを持つドキュメントを識別することによって決定されます。ドキュメントの取得後、LLM はクエリと取得されたドキュメントの両方からの情報を組み込んだ出力を生成します。^[52]この方法は、モデルの初期トレーニングまたは微調整フェーズに含まれていなかった独自の情報や動的な情報を処理する場合に特に便利です。RAG は、モデルが出力に情報を提供するために、多くの場合データベースから自動的に取得される少数の例を使用する「少数ショット」学習の使用でも注目に値します。

GraphRAG ^[53]（Microsoft Researchによる造語）は、知識グラフ（通常はLLMによって生成される）を使用してRAGを拡張し、モデルがさまざまな情報を接続し、洞察を統合し、大規模なデータコレクションにわたって要約された意味概念を全体的に理解できるようにする技術です。

これは、ニュース記事からの暴力事件情報（VIINA）のようなデータセットで効果的であることが示されました。^[54] LLMによって生成された知識グラフとグラフ機械学習を組み合わせることで、GraphRAGは、グローバルな意味付けの質問に対する生成された回答の包括性と多様性を大幅に向上させます。

以前の研究では、テキストからクエリを生成するナレッジグラフを質問応答に使用することの有効性が示されました。 ^[55]これらの技術を組み合わせることで、非構造化データと構造化データの両方を検索することができ、コンテキストの拡張とランキングの向上が実現します。

大規模言語モデル（LLM）自体は、大規模言語モデルのプロンプトを作成するために使用することができます。^{[56] [57] [58] [59]}自動プロンプトエンジニア アルゴリズムは、1つのLLMを使用して別のLLMのプロンプトをビーム検索します。 ^[60]

• LLM は 2 つあります。1 つはターゲット LLM で、もう 1 つはプロンプト LLM です。
• プロンプト LLM では、入力と出力のペアの例が提示され、与えられた入力に対して、モデルが指示に従って出力を生成するように指示を生成するように求められます。
• 生成された各命令は、ターゲット LLM にプロンプ​​トを出すために使用され、その後に各入力が続きます。出力の対数確率が計算され、加算されます。これが命令のスコアです。
• 最も高いスコアを獲得した指示は、さらなるバリエーションのためにプロンプ​​ト LLM に渡されます。
• 停止基準に達するまで繰り返し、最高スコアの命令を出力します。

CoTの例はLLM自身によって生成することができる。「自動CoT」^[61]では、質問のライブラリがBERTなどのモデルによってベクトルに変換される。質問ベクトルはクラスタ化される。各クラスタの重心に最も近い質問が選択される。LLMは各質問に対してゼロショットCoTを実行する。結果として得られたCoTの例はデータセットに追加される。新しい質問がプロンプトされると、最も近い質問に対するCoTの例を取得してプロンプトに追加することができる。

プロンプトエンジニアリングは、プロンプトから一時的に学習するモデルの能力として定義されるコンテキスト内学習によってさらに可能になる可能性があります。コンテキスト内学習の能力は、大規模言語モデルの創発的能力^[62]です。コンテキスト内学習自体はモデルスケールの創発的特性であり、下流のスケーリング則にブレーク^[63]が発生し、その有効性が大規模モデルと小規模モデルで異なる速度で増加することを意味します。^{[64] [16]}

一時的ではない各特定タスクのトレーニングと微調整とは対照的に、文脈内学習中に学習されたものは一時的な性質のものである。一時的なコンテキストやバイアスは、（事前）トレーニングデータセットにすでに存在するものを除いて、会話から会話へと持ち越されない。^[65]トランスフォーマー層内の「メサ最適化」 ^{[66] [67]}の結果は、メタ学習または「学習の学習」の一形態である。^[68]

2022年には、DALL-E 2、Stable Diffusion、Midjourneyなどのテキストから画像へのモデルが一般に公開されました。^{[69]これらのモデルは、テキストプロンプトを入力として受け取り、それを使用して}AIアート画像を生成します。テキストから画像へのモデルは通常、大規模な言語モデルと同じように文法や文の構造を理解せず、^[70]異なる一連のプロンプト手法が必要です。

テキストから画像へのプロンプトには、一般的に、芸術の主題（明るいオレンジ色のポピーなど）、望ましい媒体（デジタルペインティングや写真など）、スタイル（ハイパーリアリズムやポップアートなど）、照明（リムライティングや薄明光線など）、色や質感の説明が含まれます。^[71]

Midjourneyのドキュメントでは、短くて説明的なプロンプトを推奨しています。「たくさんのカリフォルニアポピーが咲いている写真を見せてください。それらを明るく鮮やかなオレンジ色にして、色鉛筆でイラスト風に描いてください」という代わりに、「色鉛筆で描いた明るいオレンジ色のカリフォルニアポピー」というプロンプトが効果的かもしれません。^[70]

単語の順序はテキストから画像へのプロンプトの出力に影響します。プロンプトの先頭に近い単語はより強調される可能性があります。^[1]

いくつかのテキストから画像へのモデルは、特定のアーティストの名前でそのスタイルを模倣することができます。例えば、Greg Rutkowskiのスタイルというフレーズは、Stable DiffusionとMidjourneyプロンプトで使用され、ポーランドのデジタルアーティストGreg Rutkowskiの独特なスタイルの画像を生成します。^[72]

テキストから画像へのモデルは、否定をネイティブに理解しません。「ケーキのないパーティー」というプロンプトは、ケーキを含む画像を生成する可能性があります。^[70]代わりに、否定プロンプトでは、結果の画像に表示されるべきではない用語を別のプロンプトでユーザーが指定できます。 ^[73]

いくつかのアプローチでは、自然言語のテキストプロンプトを非テキスト入力で補強または置き換えます。

テキストから画像へのモデルでは、「テキスト反転」^[74]は最適化プロセスを実行し、一連のサンプル画像に基づいて新しい単語埋め込みを作成します。この埋め込みベクトルは「疑似単語」として機能し、プロンプトに含めることでサンプルの内容やスタイルを表現することができます。

2023年、MetaのAI研究は、プロンプトによって画像のセグメンテーションを実行できるコンピュータービジョンモデルであるSegment Anythingをリリースしました。テキストプロンプトの代替として、Segment Anythingは境界ボックス、セグメンテーションマスク、前景/背景ポイントを受け入れることができます。^[75]

「プレフィックスチューニング」^[76] 、 「プロンプトチューニング」または「ソフトプロンプト」^[77]では、浮動小数点値のベクトルが勾配降下法によって直接検索され、出力の対数尤度が最大化されます。

正式には、をソフトプロンプトトークン（調整可能な埋め込み）の集合とし、およびをそれぞれ入力と出力のトークン埋め込みとする。トレーニング中、調整可能な埋め込み、入力、および出力トークンは単一のシーケンスに連結され、大規模言語モデル（LLM）に供給される。損失はトークンに対して計算され、勾配はプロンプト固有のパラメータに逆伝播される。プレフィックスチューニングでは、それらは各層のプロンプトトークンに関連付けられたパラメータである。プロンプトチューニングでは、それらは単に語彙に追加されたソフトトークンである。^[78]${\displaystyle \mathbf {E} =\{\mathbf {e_{1}} ,\dots ,\mathbf {e_{k}} \}}$${\displaystyle \mathbf {X} =\{\mathbf {x_{1}} ,\dots ,\mathbf {x_{m}} \}}$${\displaystyle \mathbf {Y} =\{\mathbf {y_{1}} ,\dots ,\mathbf {y_{n}} \}}$${\displaystyle {\text{concat}}(\mathbf {E} ;\mathbf {X} ;\mathbf {Y} )}$${\displaystyle \mathbf {Y} }$

より正式には、これはプロンプト チューニングです。LLM を と記述します。ここで、は言語トークンのシーケンス、はトークンからベクトルへの関数、 はモデルの残りの部分です。プレフィックス チューニングでは、入力と出力のペアのセットを用意し、勾配降下法を使用して を検索します。つまり、モデルが最初に入力をベクトル にエンコードし、次にベクトルの先頭に「プレフィックス ベクトル」 を追加し、 を適用した場合に、が出力される対数尤度です。 ${\displaystyle LLM(X)=F(E(X))}$${\displaystyle X}$${\displaystyle E}$${\displaystyle F}$${\displaystyle \{(X^{i},Y^{i})\}_{i}}$${\displaystyle \arg \max _{\tilde {Z}}\sum _{i}\log Pr[Y^{i}|{\tilde {Z}}\ast E(X^{i})]}$${\displaystyle \log Pr[Y^{i}|{\tilde {Z}}\ast E(X^{i})]}$${\displaystyle Y^{i}}$${\displaystyle X^{i}}$${\displaystyle E(X^{i})}$${\displaystyle {\tilde {Z}}}$${\displaystyle F}$

プレフィックス チューニングの場合も同様ですが、「プレフィックス ベクトル」がモデルの各レイヤーの隠し状態に事前に追加されます。 ${\displaystyle {\tilde {Z}}}$

以前の研究結果^[79]では、勾配降下法探索と同じ考え方が使われていますが、BERTのようなマスク言語モデル向けに設計されており、数値ベクトルではなくトークンシーケンスのみを探索します。正式には、指定された長さのトークンシーケンスの範囲 を探索します。${\displaystyle \arg \max _{\tilde {X}}\sum _{i}\log Pr[Y^{i}|{\tilde {X}}\ast X^{i}]}$${\displaystyle {\tilde {X}}}$

プロンプトインジェクションは、人間が与えた指示に従うように訓練された機械学習モデル（LLMなど）に、悪意のあるユーザーが提供する指示に従わせることで実行される、関連するコンピュータセキュリティエクスプロイトのファミリーです。これは、MLモデルが、MLモデルのオペレーターが提供する信頼できる指示（プロンプト）にのみ従うことを意図している指示従システムの意図された動作とは対照的です。^{[80] [81] [82]}

• ソーシャルエンジニアリング（セキュリティ）

Scholia にはPrompt engineeringのトピックプロファイルがあります。