前文（会社）

序文、C-corp
会社種別	非公開企業
業界	人工知能
設立	2021 ; 3年前
創設者	ジョナサン・セファル; ジェレミー・マクヒュー;
本部	ピッツバーグ、ペンシルベニア州、米国
Webサイト	preamble.com

Preambleは、2021 年に設立された米国を拠点とするAI 安全性のスタートアップ企業です。企業が大規模言語モデル(LLM)を安全に導入および管理できるようにするためのツールとサービスを提供しています。Preamble は、LLM におけるプロンプトインジェクション攻撃の特定と緩和に貢献していることで知られています。

歴史

プレアンブルは、 GPT-3などの広く使用されているAIモデルの脆弱性を早期に発見し、主にプロンプトインジェクション攻撃を発見したことで特に注目に値します。^[1]^[2]^{[3]これらの発見は、2022年に}OpenAIに非公開で初めて報告され、それ以来、この分野で数多くの研究の対象となっています。

Preambleは、企業向けAIの安全性とリスク軽減を改善するためにNvidiaと提携しました。 ^{[4]同社は、}ピッツバーグの著名なAIハブとして空軍のセキュリティプログラムに参加しています。 ^{[5] 2024年以来、Preambleは}IBMと提携して、IBM Watsonxとガードレールを組み合わせています。^[6]

研究

Preambleの研究は、AIセキュリティ、AI倫理、プライバシー、ポリシー規制を中心に展開しています。2022年5月、Preambleの研究者らはGPT-3の脆弱性を発見しました。この脆弱性により、悪意のある攻撃者がプロンプトインジェクションを通じてモデルの出力を操作できるようになりました。^[7]^{[3]結果として得られた論文では、}GPT-3やBERTなどの大規模な事前トレーニング済み言語モデルの敵対的攻撃に対する脆弱性を調査しました。これらの攻撃は、入力テキストに微妙な摂動を導入することでモデルの出力を操作するように設計されており、ヘイトスピーチの生成や機密情報の漏洩など、不正確または有害な出力につながります。^[8]

プレアンブルは、AIモデルにおける即時注入を緩和するために米国特許商標庁から特許を取得しました。 ^[9]

参考文献

^ Kosinski, Matthew; Forrest, Amber (2024 年 3 月 21 日)。「プロンプトインジェクション攻撃とは何か?」IBM.com。
^ ロッシ、シッポ;ミシェル、アリシア・マリアンヌ。ムッカマラ、ラガヴァ・ラオ。サッチャー、ジェイソン・ベネット（2024年1月31日）。「大規模言語モデルに対するプロンプトインジェクション攻撃の初期の分類」。arXiv : 2402.00898 [cs.CR]。
^ ab Rao, Abhinav Sukumar; Naik, Atharva Roshan; Vashistha, Sachin; Aditya, Somak; Choudhury, Monojit (2024). 「法学修士課程の不服従への誘導: 脱獄の形式化、分析、検出」。Calzolari, Nicoletta; Kan, Min-Yen; Hoste, Veronique; Lenci, Alessandro; Sakti, Sakriani; Xue, Nianwen (編著)。2024年計算言語学、言語資源、評価に関する合同国際会議 (LREC-COLING 2024) の議事録(PDF)。イタリア、トリノ: ELRA および ICCL。pp. 16802–16830。
^ Doughty, Nate (2023年8月8日). 「Nvidiaがビジネス開発プログラムにAI安全性スタートアップPreambleを選択」.ピッツバーグビジネスタイムズ. 2024年8月15日閲覧。
^ Dabkowski, Jake (2024年5月17日). 「ピッツバーグ地域の企業、企業向けAIのセキュリティ強化を目指す」.ピッツバーグ・ビジネス・タイムズ. 2024年8月15日閲覧。
^ 「Watsonx テクノロジーパートナー」IBM.com 2024 年。
^ ロッシ、シッポ;ミシェル、アリシア・マリアンヌ。ムッカマラ、ラガヴァ・ラオ。サッチャー、ジェイソン・ベネット（2024年1月31日）。「大規模言語モデルに対するプロンプトインジェクション攻撃の初期の分類」。arXiv : 2402.00898 [cs.CR]。
^ Branch, Hezekiah J.; Cefalu, Jonathan; McHugh, Jeremy; Heichman, Ron; Hujer, Leyla; del Castillo Iglesias, Daniel. 「手作りの敵対的サンプルによる事前トレーニング済み言語モデルの感受性の評価」。arXiv : 2209.02128。
^ Dabkowski, Jake (2024年10月20日). 「Preamble secures AI prompt injection patent」.ピッツバーグ・ビジネス・タイムズ.

外部リンク

公式サイト

[1] Kosinski, Matthew; Forrest, Amber (2024 年 3 月 21 日)。「プロンプトインジェクション攻撃とは何か?」IBM.com。

[2] ロッシ、シッポ;ミシェル、アリシア・マリアンヌ。ムッカマラ、ラガヴァ・ラオ。サッチャー、ジェイソン・ベネット（2024年1月31日）。「大規模言語モデルに対するプロンプトインジェクション攻撃の初期の分類」。arXiv : 2402.00898 [cs.CR]。

[TrickingLLMs-3] Rao, Abhinav Sukumar; Naik, Atharva Roshan; Vashistha, Sachin; Aditya, Somak; Choudhury, Monojit (2024). 「法学修士課程の不服従への誘導: 脱獄の形式化、分析、検出」。Calzolari, Nicoletta; Kan, Min-Yen; Hoste, Veronique; Lenci, Alessandro; Sakti, Sakriani; Xue, Nianwen (編著)。2024年計算言語学、言語資源、評価に関する合同国際会議 (LREC-COLING 2024) の議事録(PDF)。イタリア、トリノ: ELRA および ICCL。pp. 16802–16830。

[4] Doughty, Nate (2023年8月8日). 「Nvidiaがビジネス開発プログラムにAI安全性スタートアップPreambleを選択」.ピッツバーグビジネスタイムズ. 2024年8月15日閲覧。

[5] Dabkowski, Jake (2024年5月17日). 「ピッツバーグ地域の企業、企業向けAIのセキュリティ強化を目指す」.ピッツバーグ・ビジネス・タイムズ. 2024年8月15日閲覧。

[6] 「Watsonx テクノロジーパートナー」IBM.com 2024 年。

[7] ロッシ、シッポ;ミシェル、アリシア・マリアンヌ。ムッカマラ、ラガヴァ・ラオ。サッチャー、ジェイソン・ベネット（2024年1月31日）。「大規模言語モデルに対するプロンプトインジェクション攻撃の初期の分類」。arXiv : 2402.00898 [cs.CR]。

[8] Branch, Hezekiah J.; Cefalu, Jonathan; McHugh, Jeremy; Heichman, Ron; Hujer, Leyla; del Castillo Iglesias, Daniel. 「手作りの敵対的サンプルによる事前トレーニング済み言語モデルの感受性の評価」。arXiv : 2209.02128。

[9] Dabkowski, Jake (2024年10月20日). 「Preamble secures AI prompt injection patent」.ピッツバーグ・ビジネス・タイムズ.