[期間限定無料記事] Stable DiffusionでAI時代のキャラクター開発！最適LoRAモデルの比較実験

割引あり

2024年5月8日 23:58

「Stable Diffusion でイラストを生成すれば、キャラクターのIPを運営できるのでは？」と考えたことのある方は多いのではないでしょうか。

AICU mediaでもすでに VRoid Studioを使ってキャラクターLoRA（追加学習）を生成する記事を公開しており人気です。

最近では、BlendAI 社が「デルタもん」というオリジナルキャラクターを展開しています。これは二次創作においてAIが関わっている場合のみ許可されるという、新しい運用方針のキャラクターです。

クラウドファンディングのおかげもあり、3Dモデル(VRM)の配布、LoRA配布そしてその学習用データども一定の規約のもとに、自由に利用することが可能です。

■アルファパラダイス開発者支援プログラム

本日、下の方にダウンロードリンクが追加されました。

一般的に、画像生成AIを使って特徴のあるキャラクターを生成しようとすると、プロンプトだけでは一貫性を保てなかったり、パーツの特徴や画風が再現できないことが多いです。表情やポーズをコントロールしようとすると、長いプロンプトがさらに長くなってしまいます。安定したキャラクターの運用をするために、目的に応じた追加学習としてLoRAを使うことは良い方法です。

Niji・Journey（にじじゃーにー）でも最近「スタイルリファレンス(sref)」や「キャラクターリファレンス(cref)」といった機能が追加されました。
https://note.com/aicu/n/n93c544b6123d

プロンプトで作る「デルタもん」

BlendAIさんが本日開催した勉強会によると、「デルタもん」は以下のプロンプトで生成できるようです。

プロンプト
1girl, solo, looking_at_viewer, smile, fullbody, android, joints, one_mechanical_slender_tail, (blue thighhighs:1.4), (green hair:1.2), (pink backpack:1.2), (blue dress:1.2), (yellow tie:1.2), (pink boots:1.2), (white detached_sleeves:1.2), animal_ears, randoseru, short_hair, hairband, earrings, cat_ears, cat_tail, blue_eyes
ネガティブプロンプト
(worst quality:1.4), (low quality:1.4), (monochrome:1.3), (bad anatomy, bad hands:1.4), (watermark, username:1.2), lowres, text, error, missing fingers, extra digit, fewer digits, cropped, normal quality, jpeg artifacts, nsfw

「デルタもん」っぽくなりました！
でも「デルタもん」のように記述するべき特徴が細かく、一般的でなく難度が高いキャラクターの場合はプロンプトで記述するだけでは漫画やグラフィックデザインとして安定した画風やキャラクターとして成立させることが難しいかもしれません。ここはLoRAを使いたいところです。
そのような背景から、今回の記事では、BlendAIさんから頂いたデルタもん画像を題材にキャラクターLoRAを制作していきます！

✨️今回の記事の内容をもっと詳しく解説したワークショップを5月15日(水)に開催予定です。プロフェッショナルな広告、映像製作、キャラクター運営や漫画制作のためにキャラクターLoRAを作りたい方は必見です！
ワークショップ詳細、申し込みページ→（https://techplay.jp/event/942272）

【Stable Diffusion でデルタもん LoRA を作ろう！】「画像生成AI Stable Diffusion スタートガイド」 #SD黄色本公式ワークショップ

データセットを用意する

まずはLoRA制作に必要なデータセットを用意しましょう。
今回使用するデータセットのベースになるのは、AICU 社が BlendAI 社からワークショップ用にいただいたデルタもんの3Dモデルのスクリーンショットのファイルです。

この2番目のリンクからダウンロードしてください。

さらにAICUとしては、様々な表情のデルタもんを生成できるようにしたいと考え、ここに表情差分を追加しました。

✨️この追加データセットは5月15日のワークショップ参加者に配布し、当日は参加者の皆さんと一緒にLoRAを制作する予定です！

LoRA学習を実行する

さて、表情豊かなオリジナルLoRAが作成できるでしょうか？
機械学習を始めていきましょう。
ここから先は SD黄色本の掲載スクリプトを使用します。

こちらのスクリプトを使用します。
https://j.aicu.ai/SDLoRA2

スクリプトを Colab で開き、手順に従って情報を入力して学習を行います。詳しい設定は5月15日のワークショップにて解説します。

モデル選定と比較評価

次に画像生成に使用するモデルを選択します。
今回は気軽に作れるStable Diffusion 1.5系のキャラクターイラストLoRAを作ってみます。
今回は比較実験として AnyLoRA、Counterfeit、Anything の3種類のモデルを使用して生成し、比較してみました。

プロンプト
masterpiece, best quality, ultra detailed, anime screencap, mascot character, (((full body))), 1girl, (((chibi))), raising one hand, open mouth, yellow triangle tie, blue onepiece dress, green short hair, cat ears, cat tail,smile, pink shoes, <lora:Deltamon_ver3:0.75>, flat chest, white background
ネガティブプロンプト
worst quality, low quality, bad anatomy ,(MajicNegative_V2_0.8), big chest, chest