Claude3 Opus・ChatGPT GPT4・Gemini Ultra性能を徹底比較してみた!

現在新たに登場した対話型AIモデルであるClaude3が大きな注目を浴びています。Claude3の公式サイトはこちらから!

Claude3に関する紹介記事は当サイトでも記事をアップロードしていますので、気になる方はぜひこちらからご覧ください。

現在対話型AIモデルのテーマとして、「GPT-4 の性能を上回ることができるのか」という点が特に注目されています。というのも現在汎用性が高く性能の良いモデルとして使われているのがOpen AIから出されているGPT-4であり、GPT-4より性能が低ければほかのAIチャットを使う必要がないからです。

そこで今回は、今注目されているChatGPT Gemini  Claude3の3つの対話型AIモデルの性能を比較していきたいと思います。

第1章 「ChatGPT」「Gemini Ultra 」「Claude3」の特徴

Claude3とGemini ultra GPT-4は、最新の大規模言語モデルを搭載した次世代AIアシスタントです。どちらも卓越した言語能力と汎用性を誇りますが、それぞれには個性的な特徴があります。

【Claude3の特徴】

  • テキストや画像、PDFファイルなどを読み込んだプロンプトが可能なマルチモーダル入力に対応している

Claude3ではテキストでのプロンプトに加えて画像やPDFファイルを添付することでその内容について質問したり、認識させたりすることができます。無料で使えるCalude3 Sonnetから使えるのは非常に無料ユーザにも助かる機能なのではないでしょうか?

  • 画像生成機能がない

Claude3には現在のところ画像生成機能はありません。

【Gemini の特徴】

  • 画像認識や音声認識などのマルチモーダル入力に対応しているが、PDFファイルは読み込めない

Gemini Ultraもテキスト以外に画像や音声からのプロンプトが可能ですが、PDFファイルなどのドキュメントファイルには対応していません。しかしながら、キストのプロンプトとしてpdfファイルのリンクを添付することで対応できるものもあります。

さらにこちらも無料プランからマルチモーダル対応であるという点はかなり嬉しい点ですね。

  • Googleのサービスとの連携が可能

GeminiはGoogle発のチャットAIであるので、Googleマップやスプレットシートといったお馴染みのGoogleのサービスとの連携が可能です。Googleのこのようなサービスを普段から使っている方は多いと思うので、これらのサービスの連携はGeminiの強みと言えるでしょう!

【ChatGPT の特徴】

  • 画像をプロンプトとして入力可能

ChatGPTでは、料であるGPT-4に登録すればテキストだけでなく画像をプロンプトに含めることができます

  • GPTs

GPTsとはユーザがChatGPTをカスタムすることによって、所望の機能に特化したChatGPTを作ることができる機能です。こちらもChatGPTの有料プランに加入することで使うことができるようになります。

ユーザーが作ったGPTsは他のユーザーに共有することができます!こちらを用いた業務効率GPTsなどはかなり実用的なツールとなりつつあります。

このように、今回比較する3つの対話型AIモデルには一長一短があり、目的に応じた使い分けが求められそうです。

2章「ChatGPT」「Gemini Ultra 」「Claude3」の比較

今回はいくつかの項目で「ChatGPT」「 Gemini Ultra」 「Claude3」の3つのAIモデルを比較していきたいと思います。

文章生成

今回は筆者が適当に考えた文章にさらに複数言語の翻訳を通して日本語に直した、少し不自然な日本語をそれぞれに訂正してもらいます。

こちらが元となる文章です。日本は食べものだけでも旅行する価値のある国ということを言っています。

GPT-4

始めにChatGPTの最上位モデルであるGPT-4で試していきましょう。

画像出典 OpenAI

文章が少し翻訳っぽいですね。「見るべきものがないわけではないのが日本の魅力」という文章はそもそもの意図として異なっています。

Gemini Ultra

続いてGeminiの最高位モデル、Gemini Ultraで同じ内容で行っていきます。

画像出典 Google

文章内に提案を入れるという斬新なアイデアを加えてきました!この文章が伝えたかったことは食文化の魅力なのですが、Geminiは海外よりも存在感の薄い日本の名所をどのように魅力的にするかという提案にしています。

文章としては非常に完成度が高くそこまで不自然な感じもしません。文章生成といった意味では文字数も稼げているのでなかなかの高評価と言えるでしょう。

Claude3 Opus

最後に本題のClaude3から最高位モデルのClaude3 Opusを使っていきたい思います!

画像出典  Anthropic

この文章は完璧と言って良いのではないでしょうか!!

筆者が伝えたかった内容を引き継ぎつつも話を膨らませて日本食の素晴らしさを語ってくれています。さらにGeminiよりもさらに日本語に違和感がなくAI感の少ない人間らしい文章になっています!

日本語の文章生成においては、Claude3に軍配が上がったようです!

画像認識

AIに読ませるマグノンBECに関するグラフ

今回はこちらの論文の一部のスクリーンショットを認識してもらいます。ポイントとしては、「グラフの情報を読み取れるか」「グラフの下に書かれている説明の文章を読みとれるか」の2点となります。

GPT-4

始めにChatGPTの最上位モデルであるGPT-4で試していきましょう。

GPT-4に図を読み込ませた様子

画像出典 OpenAI

このように図の中に描かれているグラフの軸が表している内容や矢印が表している内容も詳しく説明してくれました!これはグラフやグラフの下の説明文を画像の状態でもしっかりと認識できているということがわかります!

Gemini Ultra

続いてGeminiの最高位モデル、Gemini Ultraで同じ内容の画像を説明してもらいましょう!

Gemini Ultraに画像を読み込ませると的外れな回答をした。

画像出典 Google

このように、画像の内容が「全日本学生プログラミング選手権大会の表彰式の写真」というかなり的外れな回答をしてしまいました。AIの画像認識の方法的には似た画像であるのでしょうか?

念のためもう一度行ってみましょう。

Geminiは図の内容を読み取れたが、今回示していない他の部分の解説もしている。

画像出典 Google

無事に図の説明をしてくれました。しかし今回プロンプトに使用した画像は論文の中では、「図1」にあたるものであったにも関わらず図2、図3の説明がなされています。

さらに図3の内容は以前読み込ませた論文の別のページの内容となっているので今回聞いている内容とは異なる内容を返していることになります。

Geminiが回答の使い回しを認めている画像

画像出典 Google

さらに論文の連続したページの内容を尋ねていくと、一つ前のページの回答をまるまる使い回しているということもありました。このように、Geminiには論文のようなグラフの読み取りや文字の詰まった文章の画像が苦手な可能性があります。

Claude3 Opus

最後に本題のClaude3から最高位モデルのClaude3 Opusを使っていきたい思います!

Claude3にグラフを読み込ませた画像

画像出典 Anthropic

このようにしっかりと添付した画像の内容を説明はできていました。しかしながら、この文章から説明されている内容は主にグラフの下の説明文に書かれている内容であり、グラフから視覚的に読み取れる情報の説明というものは少ないように感じました!

以上のことから今回の画像から1番多くの情報を取得できていたのはGPT-4という判断をしました!しかしながら、Claude3との情報量に大きな差はなく画像によってはこの順位が変わる可能性は全然あるのではないかと思います。

プレゼン生成

次にパワーポイントスライドのPDFを読み込ませて、スライドからプレゼンの台本を作ってもらうことにしました。

今回はGeminiがPDFファイルを読み込むことができないので、GPT-4とClaude3 Opusについての比較を行います!

始めに28枚のスライドをPDF化したものをそれぞれに読み込ませてみました!

28枚のスライドPDFをGPT-4に読み込ませた画像

画像出典 OpenAI

GPT-4ではこのようにプレゼン台本を作成し始めてくれました。

Claude3に28枚のスライドPDFを読み込ませた画像

画像出典  Anthropic

このようにPDFファイルを添付した段階で「Length limitを68%オーバーしている」ためプロンプトを送信することができませんでした。

GPT-4のコンテキストウィンドウは128kトークンであるのに対してClaude3 Opusのコンテキストウィンドウは200kトークンであったはずです。そのためClaude3の方が入力できるトークン数は大きいはずなのですが、こちらは何かの不具合なのでしょうか?

そこでもう少し短い13枚のスライドで今回の比較を行なっていくことにしました!

GPT-4

13枚のスライドPDFからプレゼン台本をGPT-4に作らせた

画像出典 OpenAI

このようにスライドから台本を作ってくれました。しかしながら、台本の内容としてはスライドに書かれている文字の部分を文章にまとめただけなように感じました。

13枚のスライドPDFからプレゼン台本をClaude3 Opusに作らせた

画像出典  Anthropic

こちらもスライドの台本がこのように作られています。GPT-4よりも文章にはボリュームがあるものの内容としてはこちらもスライドに書かれている文字の部分を文章にまとめただけではあるのかなという印象です。しかしながら文章の作り方としてはClaude3 Opusの方が上手いと感じます。

こちらは僅差でClaude3の勝利と言えるでしょうか。

※追記

その後28枚のスライドPDFの読み込みをClaude3で再度試したところ、読み込みに成功しました!

1度読み込みに失敗したファイルが読み込めた画像

画像出典 Anthropic

Claude3では、このような文字数オーバーに関するエラーがある程度の頻度で起きているように感じます。こちらもリリース直後であるのでそのうち修正があれば落ち着くかと思います!

時間配分や用語の補足を行っている様子がある

画像出典  Anthropic

出来栄えとしては、各スライドに時間配分が書いてあったり文章がスライドのものの引用ではなく自分なりの言葉に書き換えてあったり解説を入れたりしています!

これはClaude3の圧勝と言って良いでしょう!

3章  まとめ

今回はClaude3と現在の主なAIチャットモデルについての特徴の比較と使い勝手の比較をしていきました。現時点ではClaude3はGPT-4に近いまたは上回るポテンシャルを持っている可能性は十分にあると判断できました。

この状況からさらにChatGPTが新たなバージョンを出してくる可能性も考えられるので、競争が生まれることはとても良いことだと思います。今後他の観点でも比較をしていく予定ですのでぜひその記事もご覧ください!

この記事は役に立ちましたか?

もし参考になりましたら、下記のボタンで教えてください。

関連記事

コメント

この記事へのコメントはありません。