本記事はメンバーシップ向け期間限定有料記事です

画像生成AIで注目される「ComfyUI」とは

AI画像生成の世界では、ユーザーフレンドリーなツールの需要が高まっています。その中で、ComfyUIは画期的なソリューションとして注目を集めています。

ComfyUIは、Stable Diffusionをベースにした強力かつ柔軟なオープンソースの画像生成AIのためのグラフィカルユーザーインターフェイス（GUI）です。その特徴的なノード（node: ネットワークの節点）ベースのインターフェイスにより、複雑な画像生成プロセスを視覚的に構築し、細かく制御することが可能になりました。

初心者にとってノードベースのGUIは直感的な操作性を提供し、上級者には複雑な処理を構築する自由度と可視化性能を与えています。そのほかにも高度なカスタマイズ性、拡張性、リソース効率の良さなど、ComfyUIは多くの利点を備えています。

2024年7月末現在の世界の画像生成AIの2大WebUIのGoogle検索のトレンドを可視化してみました。

念の為、2024年8月末で過去90日で確認してみました。

▼See Interest over time on Google Trends for ComfyUI, automatic1111 - Worldwide, Past 90 days

結果は圧倒的な差で、2023年12月以降ComfyUIが注目されています。AUTOMATIC1111が下がっているのではなく、ComfyUIに対する検索がこの期間で2～3倍に増えているという見方もできます。

つまり、従来の「AUTOMATIC1111」だけでなく「ComfyUI」に関する注目が相対的に3倍に増えているということで、AUTOMATIC1111（以下A1111）からComfyUIに全移行しているということではなく、興味関心が集まっており、かつこの分野「画像生成AI」の検索人口が増えているという理解です。

更に重大な問題が起きていた

AICU media編集部がこの問題、「ComfyUIとAutomatic1111の関係」に注目をはじめてリサーチを開始した7月末から1ヶ月、実はもっと重大な問題が起きていました。

こちらは、ComfyUIの作者である「ComfyUIAnoymous」さんのGitHubアカウントです。

御名前が「ComfyUIの匿名希望」ですが、非常に精力的に活動されており、実在する人物であることがわかります。GitHubは複数のアカウントをつくることを推奨されていません。なお、ComfyUIさんの正体についてご興味がある方は、最後までお読みいただければ幸いです。御本人のメッセージも翻訳しておきました。

一方で、AUTOMATIC1111さんのGitHubです。

実は、AUTOMATIC1111氏はこの2ヶ月、AUTOMATIC1111/stable-diffusion-webui（便宜上A1111webUIと呼びます）のメインブランチにコミットしていません。

AICU mediaでも最新のA1111webUIの状況は常にレポートしてきたのですが、最新のv.1.10.0が最新かつ、長期メンテンナンスに適したバージョンであるという予測は間違っていなかったようです。

AUTOMATIC1111氏の消息はわかりませんが、コミット状況から察するに、週末のみの活動（平日はオープンではない仕事に従事している）か、燃え尽きてしまったのかもしれません。

A1111webUI-Extensionのほうのリポジトリは動いていますので、メインリポジトリは動いています。

AUTOMATIC1111氏の実在はA1111webUI以前の過去の活動から知られていた人物であり、確認はされていますが、一方で最近のGitHubの状況はオープンソースの世界では望ましい状況であるとは言い難いかもしれません。

参考までに、AICU media編集長のGitHubアカウントです。

過去のオープンソース活動などのメンテナンスも行っていることが普通の状態なので「数カ月にわたって草が生えていない」という状態は、このアカウント自体の生存が心配されるレベルなのではないでしょうか。人気のオープンソースプロジェクト開発の重圧というものは想像を絶する大変さがあると考えますが、AICU mediaとしてはまず無事であることを祈っています。

ComfyUIannoymous氏のGitHubにも異変

ここ数日の動きですが、ComfyUIannoymous氏は、リポジトリの移行作業を行っているように見えます。

現状の個人のアカウントでの開発から、自動でComfy-orgのリポジトリへコードを引き上げています。

このComfy-Orgのリポジトリには興味深いプロジェクトが多くあります。

ComfyUIフロントエンド

ComfyUIコマンドライン・インタフェース（CLI）

・ComfyUI をコマンド 1 つで簡単にインストールできます
・ComfyUI 拡張機能と依存関係のシームレスなパッケージ管理
・ComfyUI の機能を拡張するためのカスタムノード管理
・チェックポイントをダウンロードしてモデルハッシュを保存する
・クロスプラットフォーム互換性（Windows、macOS、Linux）
・包括的なドキュメントと例

pip install comfy-cli

シェルのオートコンプリート機能：シェルに自動補完ヒントをインストールするには、次のコマンドを実行します。

comfy --install-completion

これにより、[tab]キーやコマンドとオプションを自動補完できるようになります。

ComfyUIのインストール：comfy を使用して ComfyUI をインストールするには、次のコマンドを実行します。

comfy install

MacのOSXでよく利用されるhomebrewコマンドンライン・インタフェースです

brew tap Comfy-Org/comfy-cli
brew install comfy-org/comfy-cli/comfy-cli

ComfyUIのUI部分だけを切り出したプロジェクト「LiteGraph.js」

デモサイトはこちら　https://tamats.com/projects/litegraph/editor/

Pure DataやMax/MSP/Jitterスタイルの音楽UIがデモされています

Web上でノードベースのUIをつくるのに便利そうです。

公式Webサイトなどにも注意

2024年6月19日、Xに@ComfyUIというアカウントが誕生しました。

なお、似たドメインに「ComfyUI.org」がありますが、これは非公式サイトです。公式サイトはこちら「https://comfy.org」です。

最初にComfyUIで生成された画像、というトップ画像が印象的です。

ComfyUI公式「よくある質問」より（翻訳）

Q:今後の計画について教えてください。
A:Comfyでは、常に最先端を行くために、最先端のモデルを採用し続けます。また、PRをレビューし、Githubの問題に迅速に対応することを目指しています。また、カスタムノード作成者のユーザーエクスペリエンスと開発者エクスペリエンスを向上させる必要があります。正確なモデルについてはまだ検討中ですが、将来の改良はGithubのProjectsで共有する予定です。すべての大きな変更はGithubのディスカッションとして始まり、私たちのDiscordとMatrixサーバーで共有されます。最終的なデザインに達したら、公開ロードマップに実装を追加します。私たちのTwitter、Discord、Matrixサーバーで最新情報をご確認ください。

Q:プロジェクトはどうやって維持するのですか？
A:現在、私たちはお金を稼いでいません。オープンソースのAIツールを開発するという私たちのビジョンに賛同してくださるサポーターや投資家に支えられています。そのような方は、hello@comfy.org。将来的にはお金を稼ぐつもりです。

Q:どうやってお金を稼ぐのですか？
A:最近のComfyUIのセキュリティ上の懸念にはどのように対処するのですか？ レジストリ上のノードは意味的にバージョン管理され、悪意のある動作についてスキャンされます。すべてをキャッチすることはできませんが、ノードがカスタムピップホイールを含むかどうか、任意のシステムコールを実行するかどうか、外部APIを呼び出すかどうかのチェックを近々追加する予定です。フラグが立てられたノードは人間がレビューします。さらに重要なことは、セキュリティ上の懸念が見つかった場合、そのノードを禁止し、そのノードをインストールしたユーザーに通知することです。このプロセスは時間をかけて改善される予定です。

Q:他に取り組んでいるプロジェクトはありますか？
A:ComfyUIはアプリケーションであり、バックエンドであり、開発者プラットフォームです。私たちはComfyUIを安全で信頼性の高いものにするためにツールに投資しています。私たちは、カスタムノードをホストするリポジトリであるComfy Registryをホストしています。レジストリ上のノードは意味的にバージョン管理され、悪意のある動作がないかスキャンされます。我々はすべてをキャッチすることはできませんが、ノードがカスタムピップホイールを含むかどうか、任意のシステムコールを実行するかどうか、または外部のAPIを呼び出すかどうかのチェックをすぐに追加する予定です。また、Comfyの新しいコミットを様々なオペレーティングシステムやGPU上のワークフローに対してテストする継続的インテグレーションテストスイートもホストしており、Comfyの信頼性を高めています。

Q:コアとなる原則は何ですか？
A:透明性とコミュニケーション。2.オープンソースとコミュニティ主導。3.AIの民主化

Q:基盤モデルについてはどうですか？
A:OSS AIコミュニティにおける最近の混乱にもかかわらず、OSS AIモデルには膨大な進歩があります。私たちはOSSモデルビルダーと密接に協力し、最高のモデルをComfyUIに導入しています。また、将来的にはAIモデルにより多くのリソースを投入する予定です。

Q:どのようにComfyUIに貢献できますか？
A:私たちのdiscord/matrixチャンネルでフィードバックをしたり、参加することができます。バグレポートや機能リクエストの提出にご協力いただける場合は、Githubに課題(Issue)を作成してください。多くの課題には #good-first-issue というタグがつけられています。それ以外の場合は、PRを投稿してください。近い将来、他のOSSプロジェクトと同様のガバナンス構造を導入する予定です。

Q:Comfyの最新情報を得るにはどうしたらいいですか？
A:Twitterでフォローしたり、DiscordやMatrixチャンネルに参加してください。

以下は御本人のブログからの翻訳です。