SDXL（Stable Diffusion XL）とは、Stability AI社が開発した画像生成AIであるStable Diffusionの最新モデルです。
従来のStable diffusionより飛躍的に高画質になったSDXL0.9が、2023年6月に先行してベータ版で発表され、さらに7月に正式版SDXL1.0が発表され注目を浴びています。
さらに2023年11月にはSDXL Turboも発表されました(発表の詳細はこちら)
この記事ではSDXLの詳細な使い方とおすすめモデル、Controlnetやvaeなどの応用機能についても詳しく紹介していきます。
目次
第1章 Stable Diffusion XL（SDXL）1.0とは
Stable diffusion XL（SDXL）1.0はStability AI社により開発され、オープンソース化されている画像生成モデルです。
画像出典：Stability AI公式
Stable Diffusionのリリースの順は、Stable Diffusion 1.4 → 1.5 → 2.0 → 2.1 → XL0.9 →XL1.0 となっています。
SDXLの特徴
以前までのモデルと何が違うのかを紹介します。
SDXLのメリット
SDXLが以前のモデルに勝る点は以下です。
・BaseモデルとRefinerモデルの2段階の画像処理を二段階にすることで、より高画質な画像を生成できる
Baseモデルは画像の大枠を取得するように訓練されています。
RefinerモデルはBaseモデルで出力された画像を改良し、テクスチャーや細部を修正します。
これらの2段階に分けた画像処理を導入することで、以前のモデルよりも高精度な画像の生成を可能としています。
・Stable diffusionの3倍のUNet バックボーンを活用
UNet バックボーンは、画像の特徴を抽出する役割を担っています。
これにより、画像から画像を生成する「img2img」においてより高性能を発揮することが期待できるでしょう。
⇨Stable Diffusionにおいて画像を元に画像を制作する方法
・Stable diffusionと比べ、パラメーター数が2倍以上に大幅に拡大。
パラメーター数とはモデルの複雑さや性能を示す重要な指標のひとつです。
・デフォルトの画像生成サイズが１０２４ｘ１０２４
・幅広いスタイルの画像を生成できる。
実写のような画像からイラスト、漫画、アニメなどです。
以前のモデルではできなかったことが、Stable diffusion XLで可能となり、自分が希望するスタイルを自由に選択し生成することができます。
SDXLのデメリット
基本的にはポジティブな面が多いSDXLへのアップデートですが、デメリットがあるとすれば、モデルサイズが2倍以上となったことで、VRAMの消費量が大きくなった点です。
GPUメモリ(VRAM)16GB以上が推奨されています。
パソコンのスペックやVRAM容量に不安がある場合は、グラボを用いてGPUを搭載することをお勧めします。
第2章 SDXLのautomatic1111での使い方
SDXL1.0にはブラウザ上で使用する方法と、ローカル環境で使用する方法があります。
ブラウザ上で使用する場合は、「Dream Studio」での使用が一般的です。
画像出典:Dream Studio
ブラウザ上で使用する場合は、モデルファイルのダウンロードが必要なく、簡単に利用可能ですが、カスタマイズ性が低いです。
以下ではよりカスタマイズ性の高いローカル環境での使用方法を解説します。
ローカル環境だと、SDXL1.0はStable Diffusion WebUI（AUTOMATIC1111）で使うことができます。WebUIのバージョン1.5.0以降で使用可能ですが、v1.5.0ではRefinerモデルが対応していないため、可能であれば、v1.6.0以降のバージョンを推奨します。
そのためまずは、Stable Diffusion WebUI(AUTOMATIC1111)をインストールする必要があります。
⇨Stable Diffusion WebUI(AUTOMATIC1111)のインストール方法
WebUIのインストールが完了したら、SDXLのモデルをインストールしましょう。
SDXLモデルのインストール方法
SDXLのモデルを使用するには、以下の３つのファイルをダウンロードする必要があります。
①Baseモデル
②VAE
③Refinerモデル
それぞれについて解説します。
Baseモデルのダウンロード
BaseモデルはSDXLモデルを利用する上でダウンロードが必須となります。
まずは、Hugging Faceのダウンロードページを開きます。(リンク)
画像出典：Hugging Face
次に、「File and versions」の中から「sd_xl_base_1.0.safetensors」を選択してダウンロードします。
最後にダウンロードしたファイルをWebUIのファイル内に配置します。
具体的には[sd.webui]⇨[webui]⇨[models]⇨[Stable-diffusion]の順で開き、[Stable-diffusion]の中に配置しましょう。
VAEのダウンロード
VAEとは、高次元の画像を低次元のベクトルに変換して、その後再び高次元の画像に変換するという行程を経て、画像生成の精度を向上させる仕組みのことです。
SDXLに対応したVAEはこちらからダウンロードできます。
SDXLに対応したVAEを利用しないとノイズが多くなってしまうので、SDXLを利用する際は、上記のVAEを利用することをおすすめします。
画像出典：Hugging Face
「File and versions」の中から「sdxl_vae.safetensors」を選択してダウンロードします。
VAEは、[sd.webui]⇨[webui]⇨[models]⇨[VAE]の順で開き、[VAE]の中に配置しましょう。
Refinerモデルのダウンロード
Refinerは必須ではありませんが、画質の向上に役立ちます。
こちらのページを開き、「sd_xl_refiner_1.0.safetensors」をダウンロードします。
ファイルの配置場所はBaseモデルと同じく、[sd.webui]⇨[webui]⇨[models]⇨[Stable-diffusion]です。
SDXLの設定
上記の3つのファイルのインストールが完了したら、「Stable Diffusion Web UI」を開き、設定を行いましょう。
モデルの設定
モデルの設定については、
①「Stable Diffusion checkpoint」の更新アイコンをクリック
②プルダウンメニューよりダウンロードしたモデルを選択
の順で行います。
VAEの設定
VAEの設定については、
①「Settings」を開き、サイドバーの「VAE」をクリック
画像出典：Stable diffusion web ui
②「SD VAE」からダウンロードしたVAEを選択
Refinerの設定
Refinerの設定については、
①「txt2img」タブから、「Refiner」をクリック
画像出典：Stable diffusion web ui
②「Checkpoint」の更新アイコンをクリックし、プルダウンメニューからダウンロードしたRefinerを選択
ここまで設定ができたら、SDXLを用いた画像生成が可能となります。
第３章 Stable Diffusion XL（SDXL）おすすめモデル
SDXLで使えるたくさんの種類のモデルが公開されています。
その中から、おすすめのモデルをいくつか紹介します。
実写系モデル
- Juggernaut XL：高解像度でリアルな画像を生成できるモデルです。
画像出典：CIVITAI
- DreamShaper XL：自然で美しい画像を生成できるモデルです。
画像出典：CIVITAI
- LEOSAM’s HelloWorld SDXL Base Model：シンプルなプロンプトでも、高品質な画像を生成できるモデルです。
画像出典：CIVITAI
- Copax TimeLessXL：時間の経過を表現した画像を生成できるモデルです。
画像出典：CIVITAI
アニメ系モデル
- Yuzu. Ikena’s SDXL：ハイクオリティなアニメイラストを生成できるモデルです。
画像出典：CIVITAI
- AniMerge：カラフルでポップなアニメイラストを生成できるモデルです。
画像出典：CIVITAI
SDXL Unstable Diffusers ヤメールの帝国：繊細で美しいアニメイラストを生成できるモデルです。
画像出典：CIVITAI
これらのモデルはこちらよりダウンロードできます。
モデルは商用利用が可能なモデルと商用利用が不可なモデルがあります。またモデルによっては勝手に利用することで著作権を侵害するおそれもあります。
どちらの場合も各モデルの「README」で確認をしてから利用するようにしてください。
第４章 まとめ
Stable Diffusion XL（SDXL）は、Stability AI社によって開発された最新の画像生成AIモデルで、従来のStable Diffusionよりも大幅に画質が向上しています。
画質向上の背景としては、SDXLは2段階の画像処理（BaseモデルとRefinerモデル）の採用、UNetバックボーンの3倍の活用、パラメーター数の2倍以上の増加などです。ただし、モデルサイズの増加に伴い、GPUメモリ（VRAM）の消費量が大きくなっているため、16GB以上のVRAMが推奨されています。
SDXL1.0はStable Diffusion WebUI（AUTOMATIC1111）で使用可能で、インストール後にBaseモデル、VAE、Refinerモデルをダウンロードして設定する必要があります。また、さまざまな種類のモデルが公開されており、実写系からアニメ系まで、多様なスタイルの画像生成が楽しめます。ただし、モデルによっては著作権の問題が発生する可能性があるため、利用前にはREADMEで確認が必要です。
執筆者：河津大誠
この記事は役に立ちましたか？
もし参考になりましたら、下記のボタンで教えてください。
コメント