イーロン・マスク氏の大手モデリング企業xAIは、3140億個のパラメータを持つハイブリッドエキスパートモデル「Grok-1」を正式にオープンソース化し、一般公開すると発表しました。Apache 2.0ライセンスでライセンスされるこのモデルは、重みとアーキテクチャを公開しており、「これまでで最も多くのパラメータを持つ世界最大のオープンソース言語モデル」と謳われています。

Apache 2.0ライセンスにより、ユーザーは個人または商用目的でソフトウェアを自由に使用、改変、配布できます。リリースからわずか数時間で、このプロジェクトは27,400個のスターを獲得し、人気は高まり続けています。

オープンソースアドレス: https://github.com/xai-org/grok-1

Grok のオープンソースの性質は何を意味しますか?

xAIによると、Grokの設計はSF小説『銀河ヒッチハイク・ガイド』に着想を得ており、ユーザーに鋭く洞察に満ちた答えを提供することを目指しています。Grokはほぼあらゆる質問に答えることができ、背景や政治的立場に関わらず、人類が理解と知識を追求するのを支援します。

モデル自体に戻ると、Grokの初期バージョンであるGrok-0は330億のパラメータを持っていました。その後、xAIはX上のGrokチャットボットをサポートするために、いくつかの改良を加えたGrok-1をリリースしました。Grok-1は常にxAI自身によって学習されており、事前学習フェーズは2023年10月に完了しました。

このリリースは、Grok-1事前学習フェーズの終了時点におけるオリジナルベースモデルのチェックポイントであり、モデルは特定のアプリケーション（例えば対話）向けに微調整されていません。一方、X（旧Twitter）で利用可能なGrokラージモデルは微調整されたバージョンであり、その動作はオリジナルの重み付けバージョンとは異なります。

Grok-1のMOEアーキテクチャは、構造的に大規模モデルの学習と推論の効率を向上させることを目的としています。MOEは、様々な分野の「専門家」を集め、それぞれの分野の専門家にタスクを割り当て、最終的に結論をまとめることで各専門家が何をすべきかを決定するようなものです。これは「ゲートネットワーク」と呼ばれるメカニズムです。

xAI は Grok-1 に関する詳細情報も公開しました。

• Grok-1 は、特定のタスク向けに微調整されていない、大量のテキスト データでトレーニングされた基本モデルです。

• ハイブリッド エキスパート テクノロジーを基盤とした大規模言語モデルである Grok-1 には 3,140 億個のパラメーターがあり、各トークンを処理するときに 25% の重みがアクティブになります。

Grok-1 は、xAI チームが JAX および Rust プログラミング言語を使用してゼロから構築したカスタム トレーニング スタックの結果であり、トレーニングは 2023 年 10 月に完了しました。

一般的に、パラメータ数の増加は、より高度で複雑、そして高性能なモデルを意味します。この点において、Grok-1は3140億という驚異的なパラメータ数を誇り、MetaのLlama 2やMistral 8x7Bといったオープンソースの競合製品をはるかに上回る大きな優位性を示しています。

GrokはApache License 2.0のオープンソース原則に準拠しており、商用利用、改変、配布が許可されているだけでなく、商標登録にも制限はありません。ただし、ユーザーは使用時に元のライセンスと著作権表示をコピーし、改変を行った場合はその旨を明記する必要があり、いかなる責任も保証も負いません。

Grokのアーキテクチャは真に革新的です。2023年10月にJAXとRustのカスタムトレーニングスタック上に誕生し、高度なニューラルネットワーク設計を採用しています。このモデルは、特定のラベルを処理する際に重みの25%のみを使用するため、効率性と使いやすさが大幅に向上します。

OpenAIとの正面対決

Grokのチャットボットコードのオープンソース化は、単なる技術的なステップではなく、マスク氏とChatGPTの開発元であるOpenAIとの直接的な対立でもあります。マスク氏はOpenAIの創設者でしたが、後にOpenAIを離れ、オープン性と透明性の約束に違反したとして訴訟を起こしました。

マスク氏は、このような重要な技術はGoogleやMicrosoftのような少数の巨大IT企業によって支配されるべきではなく、より多くの人々によって管理されるべきだと強く信じています。MicrosoftはOpenAIの緊密なパートナーであり、OpenAIはマスク氏の訴訟を却下するための措置を求めると表明しています。

マスク氏は、「ChatGPTのような他のAIチャットボットと比較したGrokの最大の特徴は、そのユーモアセンスだ」と考えている。Grokは人々に、より自由でオープンなコミュニケーション空間を提供し、考えや感情をよりリアルに表現することを可能にする。

Grokのコードをオープンソース化し、誰でも閲覧・利用できるようにしたマスク氏の決断は、オープンソース哲学への強い支持を改めて示すものだ。昨年、彼はXのレコメンデーションアルゴリズムについても同様の取り組みを行ったが、それ以降アップデートは行っていない。

xAIは今後、他の研究機関とより緊密に連携し、関連する標準化の取り組みを推進していく予定です。また、Grok-1の改良と最適化を推進し、このモデルに基づく最先端のアプリケーションの登場を期待しています。