画像生成において、特定のコンテンツ（オブジェクト、被写体）のLoRAに特定のスタイル（画風）のLoRAを安価かつ効果的にマージする技術。

歴史

2023年11月22日、Viraj Shah、 Nataniel Ruiz、Forrester Cole、Erika Lu、Svetlana Lazebnik、Yuanzhen Li、Varun Jampaniの研究グループにより、個別の LoRA を組み合わせて学習スタイルと主題の共同生成を実現するZipLoRAが発表された。

 これはユーザーが提供した任意のスタイルで任意のサブジェクトの生成を実現するために、それぞれ独自にトレーニングされたスタイルとサブジェクト LoRA を安価かつ効果的にマージする方法で、従来の「Direct Merge」、「Joint Training」、「StyleDrop」と比較しても優秀な結果を出力することが示されている。

参照している主題のアイデンティティを保持することと、参照スタイルの固有の特徴を捉えることの両方に成功している。

このアプローチは、次の 3 つの観察に基づいている。

(1) SDXL は人間によるフィードバックなしで DreamBooth プロトコルに従うことにより、単一の見本画像のみを使用してスタイルを学習できる
(2) すべてのレイヤーの LoRA 重み行列は密でなくほとんどは非常に小さいため、生成の品質と忠実度にはほとんど影響しない。
(3) 独立してトレーニングされた 2 つの LoRA の重み行列の列は、たとえばコサイン類似度によって測定されるように、相互にさまざまなレベルの「整列」を持つ可能性がある。コサイン類似度が高い列を直接合計すると、マージされたモデルのパフォーマンスが低下することがわかった。

これらの観察に基づいて、元の LoRA のコンテンツとスタイル生成プロパティを維持しながら、同様の方向の合計の量を削減することを目的としたジッパーに似た動作をするメソッドは、より堅牢で高品質のマージを生み出すだろうと仮説を立てた。ジッパーが生地の 2 つの側面をシームレスに結合するのと同じように2 つの LoRA をブレンドするための結合係数の素なセットを見つけ、マージされた LoRA が主題とスタイルの両方を適切に捉えることを可能にした。

また、オブジェクトとスタイルの強さを調整して制御性を高めることができる。

略称等

ZipLoRA

動画

関連論文

「ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs」（Viraj Shah、22 Nov 2023）

「ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs」（Viraj Shah、日付記載無し）

「Researchers from Google and UIUC Propose ZipLoRA: A Novel Artificial Intelligence Method for Seamlessly Merging Independently Trained Style and Subject LoRAs」
（Sana Hassan、December 1 2023）

Repository

ライセンス

関連用語

関連記事

関連ブログ等

https://github.com/mkshing/ziplora-pytorch

更新履歴

・2023/12/2 初稿：コミュニティからの投稿

エントリーフォームはこちらです新しい用語、投稿歓迎！　https://bit.ly/AIyougoEntry

以下はコミュニティメンバー向け