迅速なエンジニアリング

プロンプトとは、人工知能（AI）が実行すべきタスクを記述および指示する自然言語テキストのことです。 ^{[ 3 ]}テキスト間言語モデルのプロンプトは、クエリ、コマンド、またはコンテキスト、指示、会話履歴を参照するより長いステートメントになります。プロンプトエンジニアリングのプロセスには、明確なクエリの設計、表現の洗練、関連するコンテキストの提供、出力スタイルの指定、AIが模倣するキャラクターの割り当てなどが含まれる場合があり、これによりモデルがより正確で有用かつ一貫性のある応答を生成できるようになります。^{[ 4 ] [ 5 ]}

テキストから画像や音声への変換モデルと通信する場合、一般的なプロンプトには、「馬に乗った宇宙飛行士の高画質写真」 ^{[ 6 ]}や「オーガニックサンプルを使用したローファイでスローなBPMのエレクトロチル」^{[ 7 ]}など、望ましい出力の説明が含まれます。プロンプトエンジニアリングは、テキストから画像への変換モデルに適用して、望ましい被写体、スタイル、レイアウト、照明、美観を実現できます。^{[ 8 ]}

さまざまな特定のプロンプトエンジニアリング技術を説明するために一般的に使用される用語には、思考連鎖^{[ 9 ]} 、思考ツリー^{[ 10 ]}、および検索拡張生成（RAG） ^{[ 11 ]}などがあります。2024年のこの分野の調査では、50を超える異なるテキストベースのプロンプト技術、40のマルチモーダルバリアント、およびプロンプト研究全体で使用されている33の用語の語彙が特定され、プロンプトエンジニアリングの標準化された用語が現在不足していることが強調されています。^{[ 12 ]}

バイブコーディングは、ユーザーが望む内容の説明をLLMに入力し、コードを生成または編集させるAI支援ソフトウェア開発手法です。2025年には、「バイブコーディング」がコリンズ辞典の年間最優秀単語に選ばれました。^{[ 13 ]}

コンテキスト エンジニアリングは、システム指示、取得された知識、ツール定義、会話の要約、タスク メタデータなど、ユーザー プロンプトに付随するコンテキスト要素に焦点を当てた関連プロセスです。コンテキスト エンジニアリングは、本番LLM システムにおける信頼性、来歴、トークン効率を向上させるために実行されます。^{[ 14 ] [ 15 ]}この概念は、トークン予算、来歴タグ、コンテキスト アーティファクトのバージョン管理、可観測性 (どのコンテキストが提供されたかをログに記録する)、コンテキスト回帰テストなどの運用プラクティスを重視し、提供されたコンテキストへの変更がシステム動作を密かに変更しないことを保証します。^{[ 16 ]}

モデルがプロンプトから一時的に学習する能力は、インコンテキスト学習として知られています。インコンテキスト学習は、大規模言語モデルの創発的能力です^{[ 17 ]}。これはモデル規模の創発的特性であり、スケーリング法則の破綻が発生し、その結果、大規模モデルでは小規模モデルとは異なる速度でその有効性が増加します。^{[ 17 ] [ 18 ]}永続的な変化をもたらすトレーニングやファインチューニングとは異なり、インコンテキスト学習は一時的なものです。^{[ 19 ]}インコンテキスト学習を実行するようにモデルをトレーニングすることは、メタ学習、つまり「学習する方法を学ぶ」という形態と見なすことができます。 ^{[ 20 ]}

研究では、LLM がプロンプトのフォーマット、構造、言語特性の微妙な変化に非常に敏感であることが一貫して示されています。いくつかの研究では、少数のショット設定でのフォーマット変更により、精度が最大 76 ポイント向上することが示されています。^{[ 21 ]}形態、構文、語彙意味の変化などの言語的特徴はプロンプトの有効性に大きく影響し、さまざまなタスクでタスクのパフォーマンスを意味深く向上させます。^{[ 5 ] [ 22 ]}例えば、節構文は知識検索の一貫性を向上させ、不確実性を低減します。^{[ 23 ]}この感度は、モデルのサイズが大きくなったり、少数のショットの例を追加したり、指示を調整したりしても持続します。

モデルの感度に対処し、より堅牢にするために、いくつかの評価方法が提案されています。 FormatSpread は、さまざまな妥当なプロンプト形式を評価することで体系的な分析を容易にし、より包括的なパフォーマンス区間を提供します。^{[ 21 ]}同様に、PromptEval は、さまざまなプロンプトにわたるパフォーマンス分布を推定し、パフォーマンス分位数などの堅牢な指標や、制約のある予算の下での正確な評価を可能にします。^{[ 24 ]}

プロンプトには、モデルが文脈内で学習するためのいくつかの例が含まれる場合があり、これはLLM の少数ショット学習の実装です。 ^{[ 9 ] [ 25 ] [ 26 ]}例えば、プロンプトはモデルに「 maison → house、chat → cat、chien → 」を完成させるように求め、期待される応答はdog です。^{[ 27 ]}

思考連鎖（CoT）プロンプトは、大規模言語モデル（LLM）が最終的な答えを出す前に一連の中間ステップとして問題を解決できるようにする技術です。2022年にGoogle Brainは、思考連鎖プロンプトが、思考の流れを模倣した推論ステップでモデルに多段階の問題に答えるように促すことで、推論能力を向上させると報告しました。^{[ 9 ] [ 28 ]}思考連鎖技術は、算術や常識推論問題などの多段階推論タスクをLLMが処理できるようにするために開発されました。^{[ 29 ] [ 30 ]}

Googleによると、5400億個のパラメータを持つ言語モデルであるPaLMに適用した場合、CoTプロンプトはモデルを大幅に助け、いくつかのタスクでタスク固有のファインチューニングされたモデルと同等のパフォーマンスを発揮し、当時GSM8K数学的推論ベンチマークで最先端の結果を達成した。^{[ 9 ]}この能力をさらに強化し、より良い解釈性を促進するために、CoT推論データセットでモデルをファインチューニングすることが可能です。^{[ 31 ] [ 32 ]}

Googleが最初に提案したように^{[ 9 ]} 、各CoTプロンプトには、望ましいモデル出力を実証するための入力/出力例のセット（エグゼンプラーと呼ばれる）が付属しており、これは少数のショットプロンプト手法となっています。しかし、Googleと東京大学の研究者による後の論文によると、「段階的に考えてみましょう」^{[ 33 ]}という言葉を単に追加するだけでも効果的であり、CoTをゼロショット手法として使用することが可能になりました。

思考ツリープロンプトは、複数の推論ラインを並行して生成し、後戻りしたり他のパスを探索したりできる機能を備え、思考の連鎖を一般化します。幅優先探索、深さ優先探索、ビームなどのツリー探索アルゴリズムを使用できます。^{[ 10 ]}

2022年には、DALL-E 2、Stable Diffusion、Midjourneyなどのテキストから画像への変換モデルが公開されました。これらのモデルはテキストプロンプトを入力として受け取り、それを使用して画像を生成します。^{[ 36 ] [ 8 ]}初期のテキストから画像への変換モデルは通常、大規模な言語モデルと同じように否定、文法、文構造を理解しないため、異なるプロンプト手法が必要になる場合があります。プロンプト「ケーキのないパーティー」は、ケーキを含む画像を生成する可能性があります。^{[ 37 ]}

Stable Diffusionで生成された画像に対するネガティブプロンプトの効果のデモンストレーション 上：ネガティブプロンプトなし 中央：「緑の木々」 下：「丸い石、丸い岩」

テキストから画像へのプロンプトには、一般的に、芸術の主題の説明、希望する媒体（デジタルペイントや写真など）、スタイル（超写実的やポップアートなど）、照明（リムライトや薄明光線など）、色、質感が含まれます。^{[ 38 ]}単語の順序もテキストから画像へのプロンプトの出力に影響します。プロンプトの先頭に近い単語は、より強調される場合があります。^{[ 39 ]}

2023年、MetaのAI研究は、プロンプトによって画像セグメンテーションを実行できるコンピュータビジョンモデルであるSegment Anythingをリリースしました。テキストプロンプトの代わりに、Segment Anythingはバウンディングボックス、セグメンテーションマスク、前景/背景ポイントを受け入れることができます。^{[ 43 ]}

LLMや生成型AIのプロンプトを作成および改良するプロセスは、再現可能な実験を通じて再利用可能なベストプラクティスを発見するなど、反復的なエンジニアリング設計プロセスといくつかの類似点があります。しかし、いくつかの根本的な制約により、その信頼性は分野として制限されています。効果的なプロンプト戦略はモデルに大きく依存しており、あるモデルでパフォーマンスを向上させる手法が別のモデルではパフォーマンスを低下させる可能性があるため、一般化が困難です。プロンプトはまた、もろいです。意味的な意図が同じであっても、フレーズ、句読点、または語順のわずかな表面的な変更によって、劇的に異なる出力が生成されることがあります。^{[ 44 ]}この不安定性により、展開コンテキスト全体で耐久性があり、転送可能なプロンプトパターンを確立することが困難になります。^{[ 45 ]} さらに、AIモデルがユーザーの意図を直接解釈する能力を向上させ続けるにつれて、多くの手動プロンプト手法は時代遅れになりつつあります。指示に従うことやモデル推論の進歩により、日常的なタスクのための精巧なプロンプト構築の限界価値が低下し、プロンプトエンジニアリングが独立した学問分野として長期的に存続できるかどうかについて疑問が生じている。^{[ 46 ]}

検索拡張生成は、 GenAI モデルが新しい情報を取得して組み込むことを可能にする技術です。これは、LLM とのインタラクションを変更し、モデルが指定された一連のドキュメントを参照してユーザーのクエリに応答し、この情報を使用して既存のトレーニング データからの情報を補完するようにします。これにより、LLM はドメイン固有の情報や更新された情報を利用できるようになります。^{[ 11 ]}

RAGは、応答を生成する前に情報検索を組み込むことで、大規模言語モデルを改善します。静的なトレーニングデータに依存する従来のLLMとは異なり、RAGはデータベース、アップロードされたドキュメント、またはWebソースから関連するテキストを取得します。情報を動的に取得することで、RAGは頻繁な再トレーニングなしに、AIがより正確な応答を生成し、AIの誤作動を減らすことを可能にします。^{[ 48 ]}

GraphRAG（ Microsoft Researchが考案）は、知識グラフを使用して RAG を拡張した手法で、モデルがさまざまな情報を接続したり、洞察を統合したり、大規模なデータコレクション全体で要約された意味概念を理解したりすることを可能にします。これは、ニュース記事からの暴力事件情報などのデータセットで効果的であることが示されています。^{[ 49 ] [ 50 ] [ 51 ]}

LLM自体を使用してLLMのプロンプトを作成できます。^{[ 52 ]}自動プロンプトエンジニアアルゴリズムは、1つのLLMを使用して別のLLMのプロンプトをビームサーチします。 ^{[ 53 ] [ 54 ]}

• LLMは2つあります。1つはターゲットLLM、もう1つはプロンプトLLMです。
• プロンプトLLMでは、入力と出力のペアの例が提示され、入力が与えられた場合に、指示に従ったモデルが出力を生成するような指示を生成するように求められます。
• 生成された各命令は、ターゲットとなるLLMにプロンプ​​トを表示するために使用され、その後、各入力が続きます。出力の対数確率が計算され、合計されます。これが命令のスコアとなります。
• 最も高いスコアを獲得した指示は、さらなるバリエーションのためにプロンプ​​トLLMに渡されます。
• 何らかの停止条件に達するまで繰り返し、その後、最も高いスコアを獲得した指示を出力する。

CoTの例は、LLM自体によって生成できます。「auto-CoT」では、BERTなどのモデルによって質問ライブラリがベクトルに変換されます。質問ベクトルはクラスタリングされます。多様な質問のサブセットを取得するために、各クラスタの中心に近い質問が選択されます。LLMは、選択された各質問に対してゼロショットCoTを実行します。質問と対応するCoTの回答は、デモンストレーションのデータセットに追加されます。これらの多様なデモンストレーションは、その後、少数ショット学習のプロンプトに追加できます。^{[ 55 ]}

自動プロンプト最適化技術は、評価データセットとタスク固有の指標を使用して代替プロンプト文字列を自動的に検索することにより、大規模言語モデルのプロンプトを洗練します。

• MIPRO（Multi-prompt Instruction Proposal Optimizer）は、マルチステージ言語モデルプログラムの命令と少数のデモンストレーションを最適化し、モジュールプロンプトに小さな変更を提案し、モジュールレベルのラベルや勾配にアクセスすることなく、下流のパフォーマンス指標を改善するものを保持します。^{[ 56 ]}
• GEPA（Genetic-Pareto）は、複合AIシステム向けの反射型プロンプト最適化ツールで、実行トレースとテキストフィードバックの言語モデルベースの分析と、候補システムの集団に対するパレートベースの進化的探索を組み合わせています。4つのタスク全体で、GEPAは強化学習ベースのグループ相対ポリシー最適化（GRPO）よりも平均約10%、MIPROv2プロンプト最適化ツールよりも10%以上向上し、GRPOよりも最大35倍少ないロールアウトで済むと報告しています。^{[ 57 ]}
• DSPyやOpikなどのオープンソースフレームワークは、これらのオプティマイザや関連するオプティマイザを公開しており、手動による試行錯誤ではなく、プログラムパイプラインの一部として迅速な検索を表現できるようになっている。^{[ 58 ] [ 59 ]}

「プレフィックスチューニング」^{[ 60 ]} 、 「プロンプトチューニング」、または「ソフトプロンプト」^{[ 61 ]}では、出力の対数尤度を最大化するために、浮動小数点ベクトルが勾配降下法によって直接検索されます。以前の結果では、同じ勾配降下法による検索の考え方を使用していますが、BERTのようなマスク言語モデル向けに設計されており、数値ベクトルではなくトークンシーケンスのみを検索します。形式的には、${\displaystyle \arg \max _{\tilde {X}}\sum _{i}\log Pr[Y^{i}|{\tilde {X}}\ast X^{i}]}$どこ$\displaystyle {\tilde {X}}}$指定された長さのトークンシーケンスの範囲をカバーします。^{[ 62 ]}