「Stable Diffusion XL(SDXL)」とは?使い方やおすすめモデルを紹介!

SDXL(Stable Diffusion XL)とは、Stability AI社が開発した画像生成AIであるStable Diffusionの最新モデルです。

従来のStable diffusionより飛躍的に高画質になったSDXL0.9が、2023年6月に先行してベータ版で発表され、さらに7月に正式版SDXL1.0が発表され注目を浴びています。

さらに2023年11月にはSDXL Turboも発表されました(発表の詳細はこちら)

この記事ではSDXLの詳細な使い方とおすすめモデル、Controlnetやvaeなどの応用機能についても詳しく紹介していきます。

第1章  Stable Diffusion XL(SDXL)1.0とは

Stable diffusion XL(SDXL)1.0はStability AI社により開発され、オープンソース化されている画像生成モデルです。

Stable Diffusion XLの公式サイト

画像出典:Stability AI公式

Stable Diffusionのリリースの順は、Stable Diffusion 1.4 → 1.5 → 2.0 → 2.1 → XL0.9 →XL1.0 となっています。

SDXLの特徴

以前までのモデルと何が違うのかを紹介します。

SDXLのメリット

SDXLが以前のモデルに勝る点は以下です。

・BaseモデルとRefinerモデルの2段階の画像処理を二段階にすることで、より高画質な画像を生成できる

Baseモデルは画像の大枠を取得するように訓練されています。

RefinerモデルはBaseモデルで出力された画像を改良し、テクスチャーや細部を修正します。

これらの2段階に分けた画像処理を導入することで、以前のモデルよりも高精度な画像の生成を可能としています。

・Stable diffusionの3倍のUNet バックボーンを活用

UNet バックボーンは、画像の特徴を抽出する役割を担っています。

これにより、画像から画像を生成する「img2img」においてより高性能を発揮することが期待できるでしょう。

Stable Diffusionにおいて画像を元に画像を制作する方法

・Stable diffusionと比べ、パラメーター数が2倍以上に大幅に拡大。

パラメーター数とはモデルの複雑さや性能を示す重要な指標のひとつです。

・デフォルトの画像生成サイズが1024x1024

    ・幅広いスタイルの画像を生成できる。

    実写のような画像からイラスト、漫画、アニメなどです。

     以前のモデルではできなかったことが、Stable diffusion XLで可能となり、自分が希望するスタイルを自由に選択し生成することができます。

    SDXLのデメリット

    基本的にはポジティブな面が多いSDXLへのアップデートですが、デメリットがあるとすれば、モデルサイズが2倍以上となったことで、VRAMの消費量が大きくなった点です。

    GPUメモリ(VRAM)16GB以上が推奨されています。

    パソコンのスペックやVRAM容量に不安がある場合は、グラボを用いてGPUを搭載することをお勧めします。

    グラボについての解説やお勧めのグラボはこちら

    第2章 SDXLのautomatic1111での使い方

    SDXL1.0にはブラウザ上で使用する方法と、ローカル環境で使用する方法があります。

    ブラウザ上で使用する場合は、「Dream Studio」での使用が一般的です。

    Dream StudioでSDXLを利用する画面

    画像出典:Dream Studio

    Dream Studioの使い方はこちら

    ブラウザ上で使用する場合は、モデルファイルのダウンロードが必要なく、簡単に利用可能ですが、カスタマイズ性が低いです。

    以下ではよりカスタマイズ性の高いローカル環境での使用方法を解説します。

    ローカル環境だと、SDXL1.0はStable Diffusion WebUI(AUTOMATIC1111)で使うことができます。WebUIのバージョン1.5.0以降で使用可能ですが、v1.5.0ではRefinerモデルが対応していないため、可能であれば、v1.6.0以降のバージョンを推奨します。

    そのためまずは、Stable Diffusion WebUI(AUTOMATIC1111)をインストールする必要があります。

    Stable Diffusion WebUI(AUTOMATIC1111)のインストール方法

    WebUIのインストールが完了したら、SDXLのモデルをインストールしましょう。

    SDXLモデルのインストール方法

    SDXLのモデルを使用するには、以下の3つのファイルをダウンロードする必要があります。

    ①Baseモデル

    ②VAE

    ③Refinerモデル

    それぞれについて解説します。

    Baseモデルのダウンロード

    BaseモデルはSDXLモデルを利用する上でダウンロードが必須となります。

    まずは、Hugging Faceのダウンロードページを開きます。(リンク)

    Hugging Face内のBaseモデルのファイル一覧

    画像出典:Hugging Face

    次に、「File and versions」の中から「sd_xl_base_1.0.safetensors」を選択してダウンロードします。

    「sd_xl_base_1.0.safetensors」のダウンロードページ

    最後にダウンロードしたファイルをWebUIのファイル内に配置します。

    具体的には[sd.webui]⇨[webui]⇨[models]⇨[Stable-diffusion]の順で開き、[Stable-diffusion]の中に配置しましょう。

    baseファイルの格納場所

      VAEのダウンロード

      VAEとは、高次元の画像を低次元のベクトルに変換して、その後再び高次元の画像に変換するという行程を経て、画像生成の精度を向上させる仕組みのことです。

      SDXLに対応したVAEはこちらからダウンロードできます。

      SDXLに対応したVAEを利用しないとノイズが多くなってしまうので、SDXLを利用する際は、上記のVAEを利用することをおすすめします。

      VAEファイルのダウンロード画面

      画像出典:Hugging Face

      「File and versions」の中から「sdxl_vae.safetensors」を選択してダウンロードします。

      VAEは、[sd.webui]⇨[webui]⇨[models]⇨[VAE]の順で開き、[VAE]の中に配置しましょう。

      Refinerモデルのダウンロード

      Refinerは必須ではありませんが、画質の向上に役立ちます。

      こちらのページを開き、「sd_xl_refiner_1.0.safetensors」をダウンロードします。

      ファイルの配置場所はBaseモデルと同じく、[sd.webui]⇨[webui]⇨[models]⇨[Stable-diffusion]です。

      SDXLの設定

      上記の3つのファイルのインストールが完了したら、「Stable Diffusion Web UI」を開き、設定を行いましょう。

      モデルの設定

      モデルの設定については、

      ①「Stable Diffusion checkpoint」の更新アイコンをクリック

      ②プルダウンメニューよりダウンロードしたモデルを選択

      の順で行います。

      VAEの設定

      VAEの設定については、

      ①「Settings」を開き、サイドバーの「VAE」をクリック

      Stable diffusion web uiのLoraの画面

      画像出典:Stable diffusion web ui

      ②「SD VAE」からダウンロードしたVAEを選択

      Refinerの設定

      Refinerの設定については、

      ①「txt2img」タブから、「Refiner」をクリック

      Stable diffusion web uiのRefiner選択画面

      画像出典:Stable diffusion web ui

      ②「Checkpoint」の更新アイコンをクリックし、プルダウンメニューからダウンロードしたRefinerを選択

        ここまで設定ができたら、SDXLを用いた画像生成が可能となります。

        第3章  Stable Diffusion XL(SDXL)おすすめモデル

        SDXLで使えるたくさんの種類のモデルが公開されています。

        その中から、おすすめのモデルをいくつか紹介します。

        実写系モデル

        • Juggernaut XL:高解像度でリアルな画像を生成できるモデルです。
        Juggernaut XLのホーム画面

        画像出典:CIVITAI

        • DreamShaper XL:自然で美しい画像を生成できるモデルです。
        DreamShaper XLのホームページ

        画像出典:CIVITAI

        • LEOSAM’s HelloWorld SDXL Base Model:シンプルなプロンプトでも、高品質な画像を生成できるモデルです。
        LEOSAM's HelloWorld SDXL Base Modelのホーム画面

        画像出典:CIVITAI

         

        • Copax TimeLessXL:時間の経過を表現した画像を生成できるモデルです。
        Copax TimeLessXLホーム画面

        画像出典:CIVITAI

        アニメ系モデル

        • Yuzu. Ikena’s SDXL:ハイクオリティなアニメイラストを生成できるモデルです。
        CIVITAI内のYuzuモデル

        画像出典:CIVITAI

        • AniMerge:カラフルでポップなアニメイラストを生成できるモデルです。
        AniMergeモデルのホーム画面

        画像出典:CIVITAI

         

        • SDXL Unstable Diffusers ヤメールの帝国:繊細で美しいアニメイラストを生成できるモデルです。

        SDXL Unstable Diffusers ヤメールの帝国

        画像出典:CIVITAI

        これらのモデルはこちらよりダウンロードできます。

        モデルは商用利用が可能なモデルと商用利用が不可なモデルがあります。またモデルによっては勝手に利用することで著作権を侵害するおそれもあります。

        どちらの場合も各モデルの「README」で確認をしてから利用するようにしてください。

        第4章 まとめ

        Stable Diffusion XL(SDXL)は、Stability AI社によって開発された最新の画像生成AIモデルで、従来のStable Diffusionよりも大幅に画質が向上しています。

        画質向上の背景としては、SDXLは2段階の画像処理(BaseモデルとRefinerモデル)の採用、UNetバックボーンの3倍の活用、パラメーター数の2倍以上の増加などです。ただし、モデルサイズの増加に伴い、GPUメモリ(VRAM)の消費量が大きくなっているため、16GB以上のVRAMが推奨されています。

        SDXL1.0はStable Diffusion WebUI(AUTOMATIC1111)で使用可能で、インストール後にBaseモデル、VAE、Refinerモデルをダウンロードして設定する必要があります。また、さまざまな種類のモデルが公開されており、実写系からアニメ系まで、多様なスタイルの画像生成が楽しめます。ただし、モデルによっては著作権の問題が発生する可能性があるため、利用前にはREADMEで確認が必要です。

        執筆者:河津大誠

        この記事は役に立ちましたか?

        もし参考になりましたら、下記のボタンで教えてください。

        関連記事

        コメント

        この記事へのコメントはありません。