デジタルアート制作において、画像から線画を抽出する技術は、イラストのトレースや3Dモデル作成の下準備など、様々な用途で重要性を増しています。特に、AI技術を活用した自動線画抽出は、作業効率の大幅な向上に貢献します。今回は、線画抽出をComfyUIで実現します。

こんにちわ、AICU media編集部です。
「ComfyUI マスターガイド」第27回目になります。
本記事では、ComfyUI、ControlNet、そしてLoRAを組み合わせることで、高品質かつ詳細な線画を効率的に生成するワークフローを紹介します。

本連載の初回はこちら。前回はこちら、目次はこちらです。

[ComfyMaster26] ControlNetでイラストを精密に実写化！ #ComfyUI

1. 概要

今回は、ComfyUIを用いて画像から高品質な線画を抽出するワークフローを紹介します。ControlNetとLineartを用いて画像から線画を生成し、LoRAを用いて漫画スタイルの線画に仕上げます。
具体的には、「AnyLine LineArt」ノードで画像から粗い線画を抽出し、それを「controlnet-union-sdxl-1.0」と「LineAniRedmond」LoRAを用いて、より洗練された線画へと変換します。
このワークフローを使用することで、元の画像の構図を維持しながら、アーティスティックで高精細な線画を生成することが可能です。 様々な画像（アニメ風、実写、建物）を用いた作例も提示し、ワークフローの有効性を示します。

2. ワークフローの使用準備

ControlNet

ControlNetの使用準備については、以下の記事をご覧ください。

今回は、ControlNetのLineartを使用します。Lineartで粗い線画を抽出し、その後にその線画を低ノイズでサンプリングし、補正をかけます。

LoRA

今回は、LoRAに「LineAniRedmond」を使用します。このLoRAは、漫画スタイルの画像を生成してくれるLoRAで、線画の質を上げるために使用します。以下のリンクよりダウンロードし、「ComfyUI/models/loras」フォルダに格納してください。

使用素材

今回は、以下の画像を線画にします。

以下のリンクから画像をダウンロードしてください。

• 女性のイラスト (右クリックで保存)

3. ワークフローの解説

以下がワークフローの全体構成になります。このワークフローは、入力画像から高品質な線画を抽出し、それを基に新しい、より詳細で洗練された線画を生成します。ControlNetとLoRAの使用により、元の画像の構造を維持しながら、高度にスタイライズされた線画が作成されます。結果として、元の画像の本質的な特徴を保持しつつ、より洗練された、アーティスティックな線画表現が得られることが期待されます。

ワークフローは、文末のリンクよりダウンロードしてください。
以下に、このワークフローの主要な部分とその機能を図示し、詳細に説明します。

1. 入力画像の読み込みと線画抽出

   • Load Imageノード: 「girl_anime_02.jpeg」を読み込みます。

   • AnyLine LineArtノード: 入力画像から線画を抽出します。

     • モード: lineart_standard

     • 解像度: 1280

     • 詳細度: 0.1

   • Image Invertノード: 抽出された線画を反転させます。

2. モデルとLoRAの読み込み

   • Load Checkpointノード: 「RealVisXl.safetensors」モデルを読み込みます。

   • Load LoRAノード: 「LineAniRedmondV2-Lineart-LineAniAF.safetensors」LoRAを適用します。

     • 強度: 1.0 (モデルとCLIP両方に適用)

3. ControlNetの設定

   • Load ControlNet Modelノード: "controlnet-union-sdxl-1.0-pro.safetensors" を読み込みます。

   • Apply ControlNet (Advanced)ノード: 抽出された線画を使用してControlNetを適用します。

     • 強度: 0.5

4. プロンプト処理 (CLIP Text Encode(Prompt)ノード x2)

   • ポジティブプロンプト: 「8k, best quality, masterpiece, ultra detailed, ultra high res, extremely detailed, finely detail, lineart,」

     • 線画が細かくなるように品質向上のタグを設定する

     • 「lineart」は、

   • ネガティブプロンプト: 「colorful, monochrome,」

     • 線画のみになるように、色が付くようなタグを設定しておく

5. 画像生成 (KSamplerノード)

   • Seed: 474030329745381

   • Steps: 20

   • CFG Scale: 7

   • Sampler: dpmpp_2m

   • Scheduler: karras

   • Denoise: 0.8

6. 画像のデコードと後処理

   • VAE Decodeノード: 生成された潜在表現を実際の画像にデコードします。

   • Color To Maskノード: デコードされた画像から白色部分をマスクとして抽出します。

   • Save Image With Alphaノード: 最終的に生成された画像をアルファチャンネル付きで保存します。

AnyLine LineArtの詳細

AnyLine LineArtノードは、複数の線画検出モデルを使用して入力画像を線画に変換します。このノードの各ウィジェットの意味は以下の通りです。

• merge_with_lineart: 線画抽出を行う解像度を設定します。以下のモデルから選択可能です。

  • lineart_standard: 標準的な線画用の汎用モデル。

  • lineart_realistic: リアルな画像に特化し、細部を捉えるモデル。

  • lineart_anime: アニメスタイルの画像に最適化され、特徴的な要素を強調します。

  • manga_line: マンガスタイルのイラストに特化したモデル。

• resolution: 線画抽出を行う解像度を設定します。デフォルトは512ですが、必要に応じて高解像度や低解像度に調整可能です。高解像度はより詳細な線画を提供しますが、計算資源を多く消費します。

• lineart_lower_boundとlineart_upper_bound: 線検出プロセスの感度を制御するためのパラメータです。これらの値を調整することで、線画の細かさや強調具合を微調整できます。

• object_min_size: 抽出時に考慮されるオブジェクトの最小サイズを指定し、小さなノイズやアーティファクトをフィルタリングします。デフォルト値は36です。

• object_connectivity: 抽出中に接続されたコンポーネントの識別方法を定義します。デフォルト値は1で、オブジェクト間の接続性を決定します。例えば、複数のオブジェクトが接触している画像で、それらを一つの連続した形状として扱いたい場合、このパラメータを調整します。デフォルト値は1で、接続されたピクセルがどのようにグループ化されるかを制御します。（具体的に抽出される線画にどのような影響があるのか不明）

4. 生成結果の確認

以下が生成結果になります。背景は抽出できていないですが、前面の人物は線画に変換できています。

出力される画像は、背景が透過画像となっているので、抽出元画像と重ねて表示してみました。元画像に比較的忠実に抽出されていることが分かります。

他の画像でも試してみました。

実写からの線画抽出例です。こちらも綺麗に抽出できています。

建物から線画を抽出してみました。かなり細かいところまで線画として抽出できています。

5. まとめ

本記事で紹介したワークフローを用いることで、ComfyUI、ControlNet、LoRAの連携による高品質な線画抽出が可能になります。AnyLine LineArtノードによる柔軟な線画抽出、ControlNetによる精密な制御、そしてLineAniRedmond LoRAによる画風調整といった各要素が組み合わさり、様々な画像に対して精緻でアーティスティックな線画生成を実現します。アニメ風、実写、建物といった多様な画像例からも分かるように、このワークフローは幅広い用途に応用できる強力なツールとなります。今後のデジタルアート制作において、本記事で紹介したワークフローが、より効率的で創造的な作品制作の一助となることを期待します。

次回は、ラフ画から画像生成の方法を紹介します。乞うご期待！
今後の連載は以下のような内容で続きます！

• 落書きが画像に！ControlNet Scribble入門

• 参照画像でAIをコントロール！IPAdapterの使い方

全リストはこちら

動画で学びたい方はこちら！

#ComfyMaster #ComfyUIマスター
#AI画像生成 #AIとやってみた

X(Twitter)@AICUai もフォローよろしくお願いいたします！

画像生成AI「ComfyUI」マスターPlan

画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。 メンバーシップ掲示板を使った質問も歓迎です。

• メンバー限定の会員証が発行されます

• 活動期間に応じたバッジを表示

• メンバー限定掲示板を閲覧できます

• メンバー特典記事を閲覧できます

• メンバー特典マガジンを閲覧できます

• 動画資料やworkflowといった資料への優先アクセスも予定

ゼロから学ぶ「ComfyUI」マガジン

マガジン単体の販売は1件あたり500円を予定しております。
2件以上読むのであればメンバーシップ参加のほうがお得です！というのもメンバーシップ参加者にはもれなく「AICU Creator Union」へのDiscordリンクをお伝えし、メンバーオンリー掲示板の利用が可能になります。

もちろん、初月は無料でお試しいただけます！
毎日新鮮で確かな情報が配信されるAICUメンバーシップ。
退会率はとても低く、みなさまにご満足いただいております。
✨️オトクなメンバーシップについての詳細はこちら

そして本講座の内容は各種有料メディアでも展開準備中です！
■「ComfyUIマスター：カスタムノードとアプリ開発」