Loading article…
 | |
| 原作者 | 快適匿名 |
|---|---|
| 初回リリース | 2023年1月16日[1] |
| リポジトリ | github.com/comfyanonymous/ComfyUI |
| 書かれた | パイソン |
| ライセンス | GPLv3 [2] |
| Webサイト | 詳しくはこちら |
ComfyUI は、一連のテキスト プロンプトから画像を生成できるオープン ソースのノード ベースのプログラムです。画像機能のベース モデルとしてStable Diffusionなどの自由拡散モデルを使用し、 ControlNetや LCM Low-rank 適応などの他のツールと組み合わせています。各ツールはプログラム内のノードで表されます。
歴史
ComfyUIは2023年1月にGitHubでリリースされました。作成者のcomfyanonymousによると、プロジェクトの主な目標は、ユーザーインターフェースの面で既存のソフトウェアデザインを改善することでした。[3]作成者はStability AIに関わっていましたが、2024年6月3日までにその関与は終了し、コア開発者とともにComfy Orgという組織が設立されました。[4] 2024年7月、NvidiaはRTX Remix モッディングソフトウェア内でComfyUIをサポートすることを発表しました。[5] 2024年8月、Black Forest Labsが開発したFlux拡散モデルのサポートが追加され、Comfy OrgはLinux Foundationが設立したOpen Model Initiativeに参加しました。[6] [7] 2024年11月現在、このプロジェクトはGitHubで58.6kのスターを獲得しています。[8]
特徴
ComfyUIの主な特徴は、ノードベースであることです。[9] [10]各ノードには、「モデルのロード」や「プロンプトの書き込み」などの機能があります。[11]ノードは接続されて、ワークフローと呼ばれる制御フローグラフを形成します。 [12] プロンプトがキューに入れられると、現在実行中のノードの周りに、「チェックポイントのロード」から始まり、最終画像とその保存場所で終わるハイライトされたフレームが表示されます。[11]ワークフローは通常、複雑な有向非巡回グラフを形成する数十のノードで構成されます。[12]ノードタイプには、モデルのロード、プロンプトの指定、サンプラー、スケジューラー、VAEデコーダー、顔の復元とアップスケーリングモデル、LoRA、埋め込み、ControlNetが含まれます。[13] [14] Euler、Euler_a、dpmpp_2m_sde、dpmpp_3m_sdeなど、いくつかのサンプラーがサポートされています。[14]ワークフローはファイルに保存できるため、ユーザーはノードワークフローを再利用し、他のユーザーと共有できます。[13] [15] [16]ワークフローのファイル形式はJSONで、生成された画像に埋め込むことができます。[17]ユーザーは、ビデオの作成を目的としたAnimateDiffの拡張機能など、新しいノードとして公開されるベースシステムのカスタム拡張機能も作成しました。 [13] [18] [ 19] [20] ComfyUIは、Automatic1111などの他の拡散UIと比較して複雑であると説明されています。[21] [22]デフォルトのノードグループもプログラムに含まれています。[11] 2024年12月現在、1,674のノードがサポートされています。[23] ComfyUIは、Stable Diffusion、Flux、 TencentのHunyuan-DiTなどの複数のテキストから画像へのモデル、およびPonyなどのCivitaiのカスタムモデルをサポートしています。[23]
LLMVision 拡張機能の妥協
2024年6月、「Nullbulge」と呼ばれるハッカーグループがComfyUIの拡張機能を侵害し、悪意のあるコードを追加しました。[24]侵害された拡張機能はComfyUI_LLMVISIONと呼ばれ、AI言語モデルGPT-4およびClaude 3とのインターフェースの統合に使用され、GitHubでホストされていました。Nullbulgeは、複数のサービスにわたるComfyUIユーザーの数百のログイン詳細のリストをWebサイトでホストしていましたが、拡張機能のユーザーは多数のログイン通知を受け取ったと報告しました。vpnMentorは拡張機能のセキュリティ調査を実施し、「暗号通貨ウォレットを盗んだり、ユーザーの画面のスクリーンショットを撮ったり、デバイス情報やIPアドレスを公開したり、特定のキーワードや拡張子を含むファイルを盗んだりする可能性がある」と主張しました。
Nullbulgeのウェブサイトでは、AIによるアート生成、アートの盗難、暗号通貨の宣伝、 Patreonなどからのアーティストからのあらゆる種類の盗難など、「私たちの罪の一つ」を犯したユーザーをターゲットにしていると主張している。彼らは、「アーティストの権利を保護し、作品に対する公正な報酬を確保することの重要性を信じる個人の集団」であり、「AI生成アートはクリエイティブ業界に有害であり、抑制されるべきである」と信じていると主張した。[24]
参考文献
- ^ comfyanonymous. 「最初のコミット」. github . 2024年7月10日閲覧。
- ^ comfyanonymous. 「LICENSE」. github . 2024年7月10日閲覧。
- ^ comfyanonymous (2023年5月18日). 「ComfyUIはリリースから4か月が経ちました！」. ComfyUIブログ. 2024年7月11日閲覧。
- ^ "ComfyUI 作者团队成立 Comfy Org- DoNews快讯". ドゥニュース。
- ^ Harper, Christopher (2024年7月4日). 「NvidiaのRTX Remixがオープンソース化 — チップメーカーがComfyUIとのインターフェースにRest APIを追加し、AIによるリマスタリングやリアルタイムでの新規グラフィックス生成が可能に」Tom's Hardware . 2024年7月11日閲覧。
- ^ 田口和裕 (2024年8月7日)。 「画像生成AI「安定拡散」の代わりに?話題の「FLUX.1」を試してみた (1/7)」ASCII.jp（日本語）
- ^ Wheatley, Mike (2024年8月12日). 「Linux Foundationの最新の取り組みは、「取り消し不可能な」オープンソースAIモデルの推進を目指す」SiliconANGLE。
- ^ comfyanonymous. 「ComfyUI」. github . 2024年7月10日閲覧。
- ^ Zhu, Andrew (2024). Stable Diffusion with Python: Stable Diffusion を使用した高品質な AI 画像生成の制御と自動化に Python を活用する. Packt Publishing. ISBN 978-1835084311ComfyUI は、
Stable Diffusion を利用したノードベースの UI です。これにより、ユーザーは、画像の後処理や変換など、カスタマイズされたワークフローを構築できます。これは、ノードベースの設計を特徴とする、Stable Diffusion 用の強力で適応性の高いグラフィカル ユーザー インターフェイスです。
- ^ 故渊 (2023 年 11 月 25 日)。 「7 年老显卡 GTX 1080 能跑、图片生成ビデオモデル安定したビデオ拡散更新 - IT之家」。それホーム。
- ^ abc 田口、和裕。 「画像生成AI「安定拡散」使い倒ならコレ！「ComfyUI」基本の使い方 (1/3)」ascii.jp（日本語）。
- ^ ab Xue, Xiangyuan; Lu, Zeyu; Huang, Di; Ouyang, Wanli; Bai, Lei (2024 年 9 月 2 日). 「GenAgent: 自動ワークフロー生成による協調型 AI システムの構築 -- ComfyUI のケース スタディ」. arXiv : 2409.01392 [cs.CL].
- ^ abc Gal, Rinon; Haviv, Adi; Alaluf, Yuval; Bermano, Amit H.; Cohen-Or, Daniel; Chechik, Gal (2024). 「ComfyGen: テキストから画像への生成のためのプロンプト適応型ワークフロー」. arXiv : 2410.01731 [cs.CL].
- ^ ab Zeman, Benjamin (2024年12月4日). 「ComfyUIで基本的なワークフローを構築する方法」. XDA .
- ^ 白鲸出海 (2024 年 5 月 23 日)。 「一家成都游戏公司，做出了一款千万月访问量的AI图像产品-36氪」。 36氪（中国語）。
- ^ 田口、和裕 (2024 年 3 月 27 日)。 「Macで始める画像生成AI「安定拡散」ComfyUIの使い方 (3/5)」ascii.jp（日本語）。
- ^ しらいはかせ (2023年12月18日)。 「画像生成AIを使い倒す！「Stability Matrix」で使えるWebUIを紹介【生成AIストリーム】」Impress Watch（日本語）。
- ^ 机器之心 (2023 年 11 月 16 日)。 「当韩国女团BLACKPINK进军二次元，清华叉院AI神器原来还能这么玩-36氪」。 36氪（中国語）。
- ^ 新、清士。 「アニメの常識、画像生成AIが変える可能性「AnimateDiff」のすごい進化」。ascii.jp（日本語）。
- ^ 郭、宇偉;ヤン、チェユアン。ラオ、アニイ。梁、正陽。王耀輝。チャオ、ユウ。アグラワラ、マネシュ。リン、ダーファ。ダイ、ボー（2024年5月）。 「AnimateDiff: 特別な調整なしでパーソナライズされたテキストから画像への拡散モデルをアニメーション化する」。学習表現に関する国際会議。arXiv : 2307.04725。
- ^ フェニックス、ジェームズ、テイラー、マイク（2024）。「AUTOMATIC1111 Webユーザーインターフェイス」。生成AIのためのプロンプトエンジニアリング：大規模で信頼性の高いAI出力のための将来性のある入力（初版）。北京ボストン：オライリー。ISBN 978-1098153434上級ユーザーは、
より高度なワークフローと柔軟性の向上 (画像からビデオへの変換を含む) をサポートする ComfyUI も検討したいと考えるかもしれませんが、ほとんどのユースケースでは複雑すぎると判断されました。これは AUTOMATIC1111 で簡単に処理できます。
- ^ ペレス＝コラド、イヴァン J.;フレイレ＝モラン、マヌエル。カルボ・モラタ、アントニオ。ペレス・コラド、ビクトル・M.バルタサール、フェルナンデス・マホン（2024年5月8日）。 「学部学生プロジェクトにおける AI Asyet の別のツール: 暫定結果」。2024 IEEE グローバル エンジニアリング教育カンファレンス (EDUCON)。 1 ～ 7 ページ。土井：10.1109/EDUCON60312.2024.10578883。ISBN 979-8-3503-9402-3。
- ^ ab Zeman, Benjamin (2024年12月6日). 「Adobe PhotoshopのFireflyとComfyUIおよびStable Diffusion」XDA。
- ^ ab Maiberg, Emanuel (2024-06-11). 「ハッカーが GitHub 上の悪意のある安定した拡散ツールで AI ユーザーをターゲットにし、『アート盗難』に抗議」. 404 Media . 2024-06-14閲覧。