2022年11月のChatGPTの登場から早1年。AI技術は驚異的な速さで進化し、多くの場面で利用されるようになりました。ChatGPTのような自然言語を生成するAIは「大規模言語モデル」（Large Language Model、以下「LLM」と呼びます）と呼ばれ、企業や個人が広く利用するツールとして急速に普及しました。

今回の記事では、日本語専用モデルの今までの進化、応用例について見ていきます。

日本語LLMの可能性

世界中で使われている画像生成AI「Stable Diffusion」を開発したイギリスの Stability AI 社は、2023年の10月から11月にかけて日本市場で日本語に特化したLLMの発表も行い、注目を浴びています。これは多くのLLMは英語をベースに学習したもので、日本語は必ずしも得意ではないからです。しかしStabiily AI社のこれらのモデルは、日本語のデータで専門的に学習されており、ユーザーがカスタマイズ可能なオープンモデルとして提供されています。さらに、これらのモデルは、ChatGPTなどの既存モデルと比較しても小さなモデルであるため、コストを大きく左右する演算基盤の消費を抑えることが可能です。

Stabiily AI社が発表したこれらの日本語専用モデルの登場により、自社専用のLLMの構築を望む日本企業にとって、新たな可能性が広がっているのです。

 オープンな大規模言語モデルとは

「大規模言語モデル（LLM）」は、自然言語の理解と生成を可能にするAI技術です。この分野で最も知られる例はOpenAIのChatGPTで、その自然な会話能力で注目を集めています。LLMには大きく分けて、クローズド型とオープン型があります。クローズド型はChatGPTなど主にAI開発会社がインターネットを通じて提供し、ユーザーはAPIというインターフェースを通じて利用可能ですが、内部動作や技術的詳細は非公開です。一方、オープン型モデルは、ユーザーが直接プログラムをダウンロードして使用でき、カスタマイズが可能なものです。
簡単に言うと、クローズド型は「箱の中の仕組みを知らされずに使うタイプ」、オープン型は「自分で箱を開けて中を見て調整できるタイプ」と考えるとわかりやすいでしょう。

Transformer技術とその応用

LLMの核心技術である「Transformer」は（ChatGPTのTはTransformerの意味です）、文中の重要な単語に集中する「アテンション」機能を有しています。この技術は、言語理解だけでなく、画像生成、医療画像分析、自動運転など多岐にわたる分野で活用されています。
実際の例を紹介します。

▪️自動運転で北海道一周、日本のベンチャーが成功　1300km超を「レベル4」相当で

▪️Teslaはカメラを使ってどのように世界を認識しているか

オープンLLMを使ったChatBot構築のメリット

現在、Meta社のLLaMa2をはじめとする多くの新型LLMが登場し、これらはオープン型として幅広く応用されています。EleutherAIはオープンソースのLLMであるGPT-NeoXを開発しました。またMistral AI社が開発したオープンLLMのMistral 7Bは、LLaMa2を超える性能を持ち、商用利用が可能です。

現在多くの企業が、自社の特定のデータに基づいてカスタマイズされたChatBot（チャットボット）の設置を検討しています。従来のようにChatGPTをはじめとするクローズドなLLMを使用することでスタートすることも可能ですが、現在期待を集めているのはオープン LLM を使用した ChatBot です。コスト削減、カスタマイズの自由度、データセキュリティ、ネットワーク接続の不要性、ビジネスモデルの自立性などの利点があり、オープンLLMを使用することで多くのアドバンテージを得ることができます。

Stability AI社はイギリスに本社を置きながら、日本にも開発拠点を持ち、優秀な機械学習開発者を集めています。現状発表されている世界中のLLMの多くが英語をベースとした学習を行っている中、StabilityAI社のモデルは日本語専用モデルであることから、日本市場での利用において大いに注目に値するものです。

日本語LLMの進化

この独自のLLM、JSLM（Japanese Stable Language Model）に関する発表を、時系列的に並べてみました。

2023年10月10日
商用利用可能な「Japanese StableLM Instruct Alpha 7B v2」をリリースしました
2023年10月25日
日本語大規模言語モデル「Japanese Stable LM 3B-4E1T」「Japanese Stable LM Gamma 7B」を公開しました
2023年11月2日
日本語大規模言語モデル「Japanese Stable LM Beta」シリーズをリリースしました

それぞれのモデルの違いと想定される用途

これらのニュースには様々な種類のモデルが登場しています。それぞれどのような違いがあるのか、モデルの種類とそれらの違いについて解説します。

3B-4E1T、Beta、Gammaの３つの系統 - タイプの異なるLLMのアーキテクチャー

Stability AI日本が開発したLLMは、3つのタイプが有り「3B-4E1T」、「Beta」、「Gamma」と呼ばれ、それぞれ異なるアーキテクチャー（モデルの基本的な構造）を使用しています。

１．アーキテクチャー

• 3B-4E1T: GPT-NeoXをベースにしており、30億のパラメーターを持ちます。

• Beta: LLaMA2をベースにしており、70億または700億のパラメーターを持ちます。700億モデルはこれらのうちで、最も高いパフォーマンスを示します。

• Gamma: Mistral 7Bをベースにしており、70億のパラメーターを持ちます。Betaの70億パラメータモデルと比較すると、性能がより高いです。

２．パラメーター数

パラメーターというのはモデルが学習する際に使用する設定やルールのようなものです。パラメーター数が多いほど、モデルはより多くの情報を持ち、より複雑な言語のパターンを理解し生成することができるため性能は高くなりますが、それに伴い計算資源も多く必要です。

• 現在、30億、70億、700億パラメーターの3種類があります。これらはGPT-3.5やGPT-4に比べて小さく、リソースが限られた環境での利用に適しています。

３．学習データ

• これらのモデルはいずれも日本語データに重点を置いて学習されており、日本語専用のLLMとして開発されています。そのため、日本語の理解力、作成能力に優れており、他社の英語ベースで開発されたLLMとは大きく異なる部分です。

これらのLLMは異なる構造や学習データ、パラメーター数を持ち、それぞれが特定のニーズに応じて最適化されています。これにより、様々なビジネス環境や要求に応じた柔軟な利用が可能となります。

まとめ
以上のように2023年の10〜11月の1ヶ月ほどで、Stability AI社から様々なLLMモデルが発表されていますが、いずれも日本語のデータで学習をした日本語専用モデルであることが注目すべき特徴と考えます。さらには、オープンモデルであることから、プライベートLLMの構築を希望する企業をターゲットとしたものとして提供されています。しかも、ChatGPT等と比べ70億パラメーターと比較的小さなモデルであることから、演算基盤であるGPUリソースを少なくすることができます。

現時点でのパフォーマンスを見ますと、他社の類似のモデルと比較してみると、700億パラメーターのJSLM Beta 70Bが同等の日本語LLMの中では最もパフォーマンスが高いです。JSLM 3B-4E1T3B-4は、30億パラメーターの小さなモデルですがコストパフォーマンスが高いものです。また、70億パラメーターに限ると、JSLM Gamma7Bが最もパフォーマンスが高く、Google Colabでも実験可能なのでホビー感覚でその性能を体験することができます。
▪️AICU社 CEO による実験例

▪️窓の杜「生成AIストリーム：Stability AI Japanが公開した30億パラメーターの日本語向けLLMを動かしてみた」

今回の記事では、LLMの基礎用語、歴史、Stability AI日本の活動に注目し、日本語LLMを舞台とした生成AI技術の最先端を紹介しました。実際に公開されたモデルを使って手を動かしていくことで、より具体的な使い道や、パラメータやベンチマークだけでは評価しづらい要素も見えてくると思います。
AICU社では「つくる人をつくる」をビジョンとして、生成AIのクリエイティブな使い方TIPS、優しい用語集や書籍開発、エンターテイメント分野やプロフェッショナルビジネスへの応用、社内展開ワークショップなどを日米同時に展開しております。研究開発・受託開発・インターンなどお問い合わせやご相談はお気軽に X@AICUai までどうぞ。

この記事に関連ある用語

新しい用語、投稿歓迎！　https://bit.ly/AIyougoEntry