Stable Diffusionで画像を別の画像に変換！img2imgの使い方やコツを紹介！

画像出典Draw Things

Stable Diffusionは、プロンプトによって要望通りの画像を作成できる画像生成AIです。今まで本サイトでは主にテキストの入力によって画像を生成している様子をお伝えしてきましたが、Stable Diffusionは既存の画像から新たに画像を作ることもできるのです。それが「img2img」(Image to Image)という機能です。今回はこの機能の使い方について詳しく解説していきます！

1.『img2img』でできること

img2imgは画像によるプロンプトと述べましたが、厳密には画像+テキストでのプロンプトになります。そのため、元の画像に追加したい要素をテキストによって詳しく指定することができるのです。

テキストのみのプロンプトでは、自分の頭に思い浮かべたものを形にするためにある程度のプロンプトの技術が必要でした。しかしながら、img2imgでは、ベースとなる画像があることによってある程度画像の完成図を予想しやすくなります。

例えば以下の犬の画像(左側)をimg2imgでアニメ風に変換すると、右側のようになります。

元の画像

変換後の画像

・写真の一部を変える

img2imgではテキストによるプロンプト入力もできるので、人の髪型や服装、背景などを指定して、写真を一部だけ変換することができます。さらにStable Diffusionにはinpaintという機能もあり、手動で塗りつぶした部分のみに修正を加えることができます。

人の画像で服装のみを変換した例

img2imgを応用すると、画質を落とすことなく大きいサイズの画像にすることができます。特に「画質を落とさない」ことのメリットが大きく、拡大すると画質が崩れてしまうような画像もキレイに拡大して利用できます。

このように独創的な画像を作り出すtext to imageに対して、img2imgは画像の修正や加工の用途で使うことが多くなりそうです。テキストによって作り出した画像の細かい修正をimg2imgで行うということもできそうですね！

2.『img2img』の使い方

2-1:操作方法

それでは、早速img2imgを使っていきましょう。Stable Diffusionを利用するには様々なプラットフォームを使うことができますが、本記事では『Draw Things』というアプリを使ってimg2imgを使っていきます。操作方法に多少の差異はあれどクオリティはどのプラットフォームを用いても違いはありません。

①Img2Imgに設定する

画像出典Draw Things

操作画面左側の「Image to Image」のボタンをクリックすることで、img2imgに設定します。

②元となる画像を選択する。

画像出典Draw Things

画面中央したの赤枠部分のボタンを押すことでフォルダを開くことができます。自分が使用したい画像をフォルダから選べば画像が画面中央に現れます。

2-2:Strength

画像出典Draw Things

今回は筆者が実際に山梨県の五重塔を撮った写真を用いてimg2imgを使っていきます。今回はこの写真で、空を星空にして建物に雪が積もっている写真に変更したいと思います。

deepLを使って「綺麗な星空、建物に雪が積もっている、傑作」の３要素を英語に翻訳してテキストに入力しました。ちなみに最後の「傑作」というのは画像のクオリティを上げるとされているプロンプトです。ぜひ使ってみてください。

画像出典Draw Things

操作画面に「Strength」というバーがあります。これは、テキストによるプロンプトをどれほどの強さで反映させるかという指標になっています。この数字が大きくなればなるほど、元の画像よりもテキストによる指示が優先されるようになります。

そのためStrengthを強くしすぎると画像が原型を留めないで出力される可能性があるので注意が必要です。

初めに初期設定の70％で試してみましょう。

画像出典Draw Things

ご覧のように写真の原型を留めていませんね。強いていうのであれば空の色合いは元の画像を受け継いでいるといえます。

次に40%で試していきます。

画像出典Draw Things

空の明るさは明るいままですが、星空に雪が積もった五重塔の写真が現れました。写真の構図も元の写真に近いですね！少しオリジナルの建造物が付け足されているのがわかります。これは「建造物に雪が積もっている」というプロンプトの建造物の部分が抽出されたものと思われます。

最後に20%で行っていきます。

画像出典Draw Things

わずかに五重塔に雪が積もっている様子が確認できますが、それ以外は元の画像の状態を維持しています。加工していない写真と言っても信じてもらえるくらいのリアリティがあります。

このようにStrengthを変えるだけで、「テキストの指示をどれでけ反映するか」「元の画像の要素をどれだけ残すか」を細かく変更できることがわかりました！

2-3:inpainting

inpaintingとは既存の画像の、指定した範囲のみをプロンプトによって変更できる機能です。

画像出典Draw Things

画像のように、画面下の赤枠のボタンを押すと修正したい範囲の選択をすることができます。選択したいところにカーソルを合わせたら、長押しをしてその部分をなぞります。画像のように選択された場所は市松模様に変化していきます。

今回は元画像の左側に見えていた背景の富士山を噴火している山に変えていきたいと思います。

画像出典　Draw Things

切り取った部分がわかりやすくはなってしまいましたが、指定した範囲以外の画像は変化せず富士山のみを変化させることができました！この機能を用いればば画像の背景だけを変更することもできます。

3. img2imgの注意点

img2imgを使うにあたっていくつか注意することがあります。img2imgでは、既存の画像を使った画像編集が可能です。そのため、使用元の画像の著作権や肖像権には十分注意してimg2imgを利用しましょう。

特に、有名人の画像を利用する際やimg2imgを商用利用する際、作成した画像を画像を公開する際などには使用するモデル、使用元の画像に特に注意を払ってください！(利用規約(CreativeML Open RAIL-M))

商用利用の確認方法などはこちらの記事でまとめてあります。ぜひご覧ください。

4. まとめ

今回は既存の画像からプロンプトによって新たな画像を生成するimg2imgの機能についてご紹介しました。他の画像生成AIよりも、テキストプロンプトと画像のバランスを調整することができる点などでより自分の理想に近い画像を作りやすくなっているのではないでしょうか。

「生成AIツールを導入して業務を効率化したいが、コストを抑える方法や適切なツールの選択がわからない」とお悩みの方は、お気軽に以下よりお問い合わせください。業務内容の分析から最適なツールの提案、導入のサポートまで、全面的にサポートいたします！

また、AIツールの掲載も無料で承っておりますので、お気軽にご連絡ください！

関連記事

無料でStable Diffusionを使えるmacアプリ！Draw Thingsの日本語での使い方を紹介！