AIで画像を3Dに変換！DreamGaussianのhugging faceでの使い方を紹介！

DreamGaussianは、たった一枚の画像から素早く3Dモデルを作り出すことができるツールとなっています。従来の方法より10倍速く、2分で完成して、テクスチャもきれいに整えてリアルな3Dが手軽に作れちゃいます。

以前テキストプロンプトから、3DモデルをつくるLuma についてご紹介しましたが、こちらとはまた違った面白さがあります！

この記事では、DreamGaussianの魅力と使い方を徹底解説します！以前解説したLumaの解説記事はこちらからご覧ください！

1章 Dreamgaussianの概要

DreamGaussianは、画像から3Dモデルを生成できるAIツールです。2023年10月に公開された比較的新しいツールですが、手軽な操作と高速な処理速度、そして高品質な生成結果で注目を集めています。

DreamGaussianでできること

DreamGaussianは、以下の用途に最適です。

• 製品やキャラクターの3Dモデル作成
• 建築物の3Dモデル作成
• 風景や環境の3Dモデル作成
• 3DゲームやVRコンテンツの制作
• その他、創造性を活かした3Dコンテンツの制作

DreamGaussianの主な性能は以下の4つです。

高速性：従来の方法に比べて約10倍の速さで3Dモデルを生成します。

効率性：3Dガウススプラッティング技術を用いることで、迅速な処理が可能です。

精緻なテクスチャ：UV空間でのメッシュ抽出を通じて、テクスチャが正確に適用され、高品質な3Dモデルを作成します。

多機能性：画像だけでなくテキストからも3Dコンテンツを生成することが可能です。

つまり、DreamGaussianっていうのは、3Dモデル作成に革命をもたらすかもしれないツールですね。たった数分で3Dモデルを作ることができます！

DreamGaussianの特徴

DreamGaussianについての特徴を解説していきます。

高速性

まず、DreamGaussianはたった2分で画像から3Dモデルを作れます。

左側の古い方法だと、同じ品質の3Dを作るのに15分くらいかかりますが、右側のDreamGaussianはそれをグッと短縮してくれます。初心者の方にも、とても使いやすいですね。

参考：https://dreamgaussian.github.io/videos/accelerate.mp4

画像から3Dへ

上側にある2Dの平面画像から、生成された3Dモデルを下側に示しています。

この画像から、高品質な3Dモデルがしっかりと生成されていることがわかりますね。

このような傾いた画像でも問題なくできます。

テキストから3Dモデルを生成する

絵画的な表現で、テキストで記述された内容をもとに、直接 3D モデルを作成できます。

テキストから画像、そして3Dモデルを生成する

テキストで記述された内容に基づいて、まず画像を生成し、さらにその画像から3Dモデルを生成できます。

革新的な技術の可視化

DreamGaussianの秘密は、独自の「3Dガウススプラッティング」と「メッシュテクスチャの精緻化」という技術にあります。

このへんは難しいので、ふーんぐらいで読み流して大丈夫です。「ジェネレーティブ ガウス スプラッティング」は、3D空間における新たな描画方法です。

従来のポリゴンベースの描画とは異なり、点群を滑らかに表現することで、より自然でリアルな3Dモデルを生成することができます。

「メッシュ テクスチャの精緻化」は、生成された3Dモデルのテクスチャを最適化することで、より高精細でリアルな表現を実現する技術です。DreamGaussianでは、独自のアルゴリズムを用いて、UV空間でのメッシュ抽出とテクスチャの精緻化を行い、高品質な3Dモデルを生成しています。

エクスポートされたメッシュ

これは、DreamGaussianからエクスポートできる3Dモデルです。通常、OBJまたはGLTF形式で保存されます。これらの形式は、3Dモデルの標準形式になります。

これらのメッシュは、3D印刷・アニメーション・ゲーム開発など・さまざまなアプリケーションで使用できます。

メッシュアニメーション

メッシュアニメーション は、エクスポートされたメッシュ用に作成できるアニメーションです。3Dアニメーションの標準形式であるFBX形式でエクスポートできます。

2章【実践つき解説】Dreamgaussianの使い方

画像アップロードから3D生成してみる

ブラウザ上で無料で利用できます。アカウント登録などは不要で、すぐに試すことができます。

①DreamGaussianのWebサイトにアクセス

はじめにwebサイトに移動しましょう。

②生成したい画像をアップロード

画像出典　Hugging face

画面のように１.の赤枠をクリックして画像をアップしましょう！

オプションでは、以下のように調整ができます。

• 「Estimated elevation angel」ではアップする画像の角度を調整し、完成度を高める。
• チェックマークをチェックすると、アップする画像の前処理を自動で調整する。（背景除去・オブジェクトの再配置など）
• 「Examples」では、サンプルを選んで試すことができる。

画像出典 Hugging face

数分待つと、右側に3Dモデルが表示されました！

画像出典 Huggin face

物体をマウスで動かしていろんな角度から見ることができます。

完成したら、「3DModel」の右上にあるダウンロードボタンをクリックして、glbファイル形式で保存できます。

画像が立体的というのもあって、結構いい感じに3Dになっていますね

他にもいくつか試してみました

飛行機の構図

少しボコボコしてるけど、どの角度からみても対称にはなっている？

背景と飛行機の色が一緒でも、白い線からがんばって3D化してくれました

アニメイラスト

顔は良いけど体が…ディテールの細かい人物系は難しそう…

画像出典 Dreamgaussian

画像生成AI（Krea.ai）で作成した人物

画像出典 Dreamgaussian

怖い…反対側はやはり不得意みたい。画像が暗いのもあって正面も微妙ですね

動物イラスト

画像出典　Dreamgaussian

画像では羽が見切れているので、3Dでは空洞になっているけど良い感じ。

あくまでも補助的な役割 と捉えるとよさそうですね。

テキストから3Dモデル生成の利用する方法

残念ながら、2024年4月14日現在、DreamGaussianのテキストから3Dモデルを生成する機能はベータ版であり、公式サイトから直接利用することはできません。

画像生成AI（StableDiffusion・DALL-E2・Midjourney・Krea.aiなど）でテキストからイラストを作成しておいて、DreamGaussianで画像をアップして3Dモデルを生成する方が良さそうですね。

それでも利用してみたい場合には、以下の手順が必要です。

1. GitHubリポジトリをクローンする

以下のコマンドを実行して、DreamGaussianのGitHubリポジトリをクローンします。

git clone https://github.com/dreamgaussian/dreamgaussian.git

2. ベータ版ブランチに切り替える

以下のコマンドを実行して、ベータ版ブランチに切り替えます。

git checkout beta

3. 必要に応じて依存関係をインストールする

以下のコマンドを実行して、必要な依存関係をインストールします。

pip install -r requirements.txt

4. DreamGaussianを実行する

以下のコマンドを実行して、DreamGaussianを実行します。

python main.py

5. Webブラウザにアクセスする

Webブラウザにアクセスすると、DreamGaussianのWebインターフェースが表示されます。

6. テキストとオプションを入力して「生成」ボタンをクリックする

「テキスト入力欄」に生成したい3Dモデルのテキストを入力し、「オプション」で生成オプションを設定してから、「生成」ボタンをクリックすると、3Dモデルが生成されます。

※注意事項

• ベータ版は開発段階であり、すべての機能が完成しているわけではありません。
• ベータ版はバグ が発生する可能性があります。
• ベータ版は商用利用 を目的としていません。

現状、DreamGaussianのテキストから3Dモデル生成機能は利用ハードルが高く、一般ユーザーにとっては使いにくい状況です。今後、ベータ版の公開 や 公式なドキュメントの整備 が進めば、より使いやすくなることが期待されますね。

3章DreamGaussian のライセンス・料金について

DreamGaussianで使われているのは、MITライセンスと呼ばれるオープンソースソフトウェアによく使われるライセンスです。

MITライセンスのもとで公開されたソフトウェアは、商用・非商用を問わず、無料で利用、コピー、変更、組み合わせ、再配布することができます。

MITライセンスは、ユーザーに多くの自由を与える寛容なライセンスです。ただし、著作権表示を入れるなどのルールを守ることが必要です。

DreamGaussianを安心して利用するには、以下のGitHubページをご確認ください。

GitHubのDreamGaussianライセンスページ

4章　まとめ

Dreamgaussianを使ってみて、本当に手軽に3Dモデルが作れることに驚きました。ただ、複雑な形状の再現にはまだ課題があるみたいです。でも、簡単な操作でこれだけのことができるので、これからのアップデートが楽しみです。もし本記事を読んでDreamGaussianが気になった方は、ぜひ試してみてください！