近年、AI分野において大規模言語モデル（LLM）の開発が世界的に加速しています。そんな中、日本発の大規模言語モデル「Fugaku-LLM」が注目を集めています。
理化学研究所のスーパーコンピュータ「富岳」を用いて学習した日本語能力に優れた大規模言語モデル「Fugaku-LLM」は2024年5月10日に公開された新たなLLMです。
今回は、注目のFugaku-LLMについて性能や使い方を紹介します！
目次
１章 Fugaku-LLMの概要
1-1 Fugaku-LLMとは？日本最高峰の計算機技術を用いて開発
Fugaku-LLMは、日本の最先端の計算機技術を駆使して開発された大規模言語モデルです。東京工業大学、東北大学、富士通、理化学研究所が中心となり、名古屋大学、サイバーエージェント、Kotoba Technologiesも参加した共同研究の成果として誕生しました。
スーパーコンピュータ「富岳」で学習
Fugaku-LLMの学習には、日本が誇るスーパーコンピュータ「富岳」が活用されました。AIは何をするにも計算が欠かせませんので、計算の領域でトップレベルである「富岳」を使ったLLMというだけで期待が膨らみますよね！
「富岳」の高い計算性能を最大限に引き出すことで、大規模言語モデルの学習を効率的に行うことができました。
画像出典 理化学研究所
東京工業大学、東北大学、富士通、理化学研究所の共同研究
Fugaku-LLMの開発は、東京工業大学、東北大学、富士通、理化学研究所の4機関による共同研究から始まりました。各機関がそれぞれの専門性を活かし、モデルの並列化や通信の高速化、学習データの収集などを担当しました。
共同研究が進む中、名古屋大学、サイバーエージェント、Kotoba Technologiesも開発に参加しました。名古屋大学は3D形状生成AIへの応用を、サイバーエージェントは学習用データの提供を、Kotoba Technologiesは深層学習フレームワークの移植を担当するなど、各機関の強みを活かした協力体制が構築されました。
画像出典 東京工業大学
日本のトップレベルの大学や研究機関・企業による開発ということで、Fugaku-LLMは日本の技術力の威信にかけて作られた大規模言語モデルと言えます！
1-2 Fugaku-LLMの特徴と性能
ここまで大規模なプロジェクトで作られたLLMが一体どのような性能を持っているのか気になりますよね！
スーパーコンピュータ富岳の導入
深層学習フレームワークを富岳に導入することによって自然言語処理をはじめとした、大規模言語モデルの学習速度を６倍にすることに成功したようです。
本来大規模言語モデルの学習にはGPU(Graphics Processing Unit)が用いられるようですが、国産CPUを演算処理装置としている富岳を用いて今回の学習を成功させたことは今後のLLM学習においても大きな進歩と言えるようです。
というのも現在世界中でGPUが不足しており、大量入手が困難となっているのです。AIへの学習を CPUで行うことができればその分日本のAI技術は世界にアドバンテージを得ることができ、日本のAI業界の発展も見込めるのです
130億パラメータの大規模モデル
Fugaku-LLMは、130億のパラメータを持つ大規模言語モデルです。一般的に、パラメータ数が多いほどモデルの性能が高くなる傾向があります。一般的に国内のLLMでは70億パラメータのLLMが多いとされていることから、２倍近いパラメータを持つFugaku-LLMはそれだけ性能の高さが見込まれます！
日本語性能に優れ、特に人文社会系タスクで高い性能
Fugaku-LLMは、日本語の処理能力に優れていることが大きな特徴です。独自の日本語学習データを用いて一から学習を行ったため、日本語の文脈や敬語などの特徴を的確に捉えることができます。その学習量はなんと4000億トークン！その学習内容の60%が日本語コンテンツであるということからも日本語の処理能力は期待ができます！
LLMの性能を評価する際に、MT-Benchというものが使われることが多くあります。これは英語での質問による回答をもとにスコア評価を行っています。一方日本語でLLMを使う際の性能評価としては、質問を日本語で行った際の回答を評価するJapanese MT-Benchというものが利用されます。
Fugaku-LLMはJapanese MT-Benchにおいて、国産で独自のデータで学習を行っているオープンなモデルの中では最高性能である平均5.5を達成しました。得に、人文社会系のタスクにおいて9.18と高いベンチマーク性能を示しています。
画像出典 富士通
Fugaku-LLMは、独自のデータを用いて学習を行っているため、学習の全工程を把握することができます。これにより、モデルの透明性と安全性を確保しています。また、国産技術を用いて開発されたモデルであるため、経済安全保障の観点からも重要な意義を持っています。
2章 Fugaku-LLM、Fujitu Research Portalでの使い方
Fugaku-LLMは、ライセンスに従う限り、研究および商業目的での利用が可能です。多くの研究者や技術者が基盤モデルの改善や新たな応用研究に参画することで、さらなる発展が期待されます。
また、Fugaku-LLMは、GitHub と Hugging Face を通じて公開されています。これにより、誰でも簡単にモデルにアクセスし、利用することができます。
今回は、GitHubやHugging Faceなどを使うのはハードルが高いという方のために、ブラウザで動かすことができる富士通が無償で提供しているFujitsu Research PortalからFugaku-LLMを試す方法をご紹介します！
Fujitu Research Portalの登録
①公式サイトにアクセス
公式サイトにアクセスしましょう！
画像出典 富士通
アカウント作成をしていきます！
②Fujitu Research Portalのアカウント作成
画像出典 富士通
利用規約に同意したら、個人利用か法人利用かを選択します。
画像出典 富士通
その後、ユーザ名ともに、メールアドレス・電話番号の登録をしてそれぞれで送られてきた認証コードを入力しましょう。
画像出典 富士通
登録が完了するとホーム画面に戻ってきます。しかし、Fugaku-LLMはこちらのサイトでは使うことができません。
Fugaku-LLMを使う
それでは、今度こそFugaku-LLMを使っていきましょう！始めにこちらのサイトに移動しましょう！
画像出典 富士通
こちらは、対話型生成AIを試すことができるページとなっているので、「技術を試す」をクリックして次に進みます！
画像出典 富士通
こちらで、先ほど登録したFUjitu Research Portalの登録内容を入力していきましょう！
画像出典 富士通
無事にログインが完了すると、このような画面に移動します！「Create New Chat」を選んで新たなチャットのページを作りましょう。
画像出典 富士通
このように、チャットモデルの選択画面にFugaku-LLMを選ぶ欄があるのでこちらを選んで「Crete」をクリックしましょう！
画像出典 富士通
このように、無事チャット画面を開くことができました！
Fugaku LLMを使ってみた
早速Fugaku-LLMを使っていきましょう！日本語特化LLMということで、日本語独自の言葉とされている「木漏れ日」という単語を使ってこのようなプロンプトを送信してみました！こちらは、同様に日本語特化のLLMであるELYZA-llama2でも使ったプロンプトです。
「木漏れ日」という単語を用いて短い物語を作ってください
画像出典 富士通
アクセスが集中しているのか原因は定かではありませんが、上の画像のようにエラーコードが出たり待機時間の間に読み込みが終了してしまったりして1時間ほど試したのですが、回答が返ってくることはありませんでした。
実際に回答を返ってきている事例も見かけたので時間帯やタイミングによるものなのかもしれません。常に安定して使いたい場合はローカル環境で動作させることをお勧めします。
3章 まとめ
今回は、スーパーコンピュータ「富岳」を使った大規模言語モデルFugaku-LLMについて紹介しました！名だたる大学や企業が力を合わせて作ったこちらのLLMが今後どのように成長していくのか、また日本のAI業界をどのように引っ張っていくのか見ものですね！
ご紹介したように、Fugaku-LLMはブラウザからも無料で使うことができるのでぜひ試してみてください！
この記事は役に立ちましたか？
もし参考になりましたら、下記のボタンで教えてください。
コメント