|
クラウドデータウェアハウス業界のリーディングカンパニーであるSnowflakeは、オープンソースの大規模モデル「Arctic」をリリースし、生成AI分野への挑戦を開始しました。このモデルは、OpenAIのGPT-4、GoogleのGemini、MetaのLlama、Mistral AIのMixtralといった業界の巨人たちと競合することを目指しているだけでなく、市場で最もオープンでエンタープライズグレードのLLMの一つであると主張しています。 スノーフレークは、「Arctic」が革新的なアーキテクチャを備え、「ハイブリッドエキスパート」モデルを使用してモデルを最適化し、さまざまなエンタープライズユースケースを処理するだけでなく、Apache 2.0ライセンスの下でモデルの重みとトレーニングの詳細を寛大に開示し、AIコミュニティに新しい「オープン」ベンチマークを設定したと自慢しました。 このモデルは3ヶ月未満でゼロから構築され、トレーニングコストは類似のLLMモデルの8分の1に抑えられていると報告されています。このイノベーションは、LLMのトレーニングとコストの新たな基準を確立するだけでなく、企業がより低コストで大規模な生成AIモデルを構築するのを支援する可能性を秘めており、真に「高品質で手頃な価格」のモデルを実現します。 クラウド データ ウェアハウスから LLM まで、Snowflake は「無関係な分野に手を出す」ような強い競争心を発揮してきました。 Arcticの立ち上げは、Snowflakeの新CEO、スリダル・ラマスワミ氏による大きな動きです。AIプロダクトマネージャーを務めていたラマスワミ氏は、前CEOのフランク・スルートマン氏の後任として、会社の財政難に直面し、AI分野へのより強力なシフトを計画しました。Arcticの立ち上げは、この戦略的変革の表れです。しかし、ラマスワミ氏は会社の本来の使命を忘れておらず、Snowflakeは本質的にデータカンパニーであると改めて強調しています。 これまでスノーフレークは、自社データの構築よりもLLMへのデータ提供に注力してきました。ラマスワミー氏は、「業界をリードするインテリジェンスと効率性をAIコミュニティに真にオープンな方法で提供することで、オープンソースAIの可能性を推進しています」と述べています。スノーフレークの目標はAI企業としての地位を確立することではなく、顧客がより効率的かつ確実にAIを利用できるようにすることだと強調しました。 「私たちは基盤となる投資を行っています」とラマスワミー氏は記者会見で述べた。「これは生成AIへの第一歩であり、今後さらに進んでいくでしょう。」これには、6月上旬にサンフランシスコで開催されるスノーフレークサミットも含まれる。 「私たちは長年にわたりデータ分野をリードしてきましたが、今、同じ考え方をAIにも持ち込んでいます」と彼は述べた。「データ戦略なしにAI戦略はあり得ません。良質なデータはAIの原動力です。Snowflakeは強固なデータ基盤を有しているため、地球上で最も重要なエンタープライズAI企業であると考えています。AIの発展は、私たちが構築しているデータ基盤の上に築かれると確信しています。」 Snowflakeが先月発表したレポートによると、9,400社以上の顧客アカウントを分析した結果、AIのユースケースがユーザーベースでますます普及していることが明らかになりました。これには、Pythonプログラミング言語、タグ付け、非構造化データ、AI専用に開発されたツールの利用が2桁から3桁増加していることが含まれます。 競合企業のデータブリックスが初のLLM「Dolly」をリリースしたが、スノーフレークはわずか1年余りで追いついた。コンステレーション・リサーチのアナリスト、ダグ・ヘンシェン氏は、スノーフレークは「負ける気はない」という競争心を示したと述べている。 今年3月、DatabricksはオープンソースのDBRXをリリースし、生成AI分野における能力をさらに強化しました。このモデルは市場で広く注目を集めているようです。この競争上の脅威に直面して、Snowflakeも負けじと、最新のArctic LLMを発表しました。 Arcticと他のLLMの比較 MicrosoftのDeepSpeedチームの精鋭部隊であるSnowflakeの研究チームは、「Dense MoE Hybrid Transformer Architecture（高密度MoEハイブリッドトランスフォーマーアーキテクチャ）」と呼ばれる技術を用いてArcticを構築しました。このアーキテクチャは、トレーニングと推論のリクエストを128のエキスパートに正確に分散します。これは、DatabricksのDBRXやMixtralといった他のMoEで一般的に使用される8～16のエキスパートをはるかに上回る数です。 Arctic は、集中的なエキスパート ハイブリッド トランスフォーマーを使用した大規模な言語モデルです (出典: Snowflake)。 Arcticのトレーニング方法もまた独特で、人間の学習をシミュレートすることでコードと言語の組み合わせを柔軟に調整するように設計された独自の「動的データカリキュラム」に基づいて行われます。SnowflakeのチーフAIソフトウェアエンジニアであり、DeepSpeedの創設者の一人であるSamyam Rajbhandari氏は、このトレーニング方法により、Arcticは優れた言語能力と推論能力を発揮できると述べています。 ベンチマーク テストでは、Arctic は他の MoE モデルと同等のパフォーマンスを示しました (出典: Snowflake)。 Snowflake が共有したベンチマーク データによると、GenAI ベンチマークにおける Arctic のパフォーマンスは他の LLM と同様で、平均スコアは 65% であり、Llama 3 70B の平均的なエンタープライズ パフォーマンスに匹敵し、Mistral 8X22B の 70% スコアよりわずかに劣っています。 Llama 3 70Bは、GPT-4 TurboやClaude 3 Opusといった他の主流モデルとの比較テストにおいて優れた性能を示していることを考えると、この発言は間違いなく非常に大胆です。また、Metaの次期モデルは、MMLU（トピック理解）、GPQA（生物学、物理学、化学）、HumanEval（コーディング）といったベンチマークテストで高得点を獲得したと報告されています。 Spiderベンチマークテストでは、SQL生成タスクで79%という高スコアを達成し、DatabricksのDBRXとMistral 8X7Bを凌駕するだけでなく、Llama 3 70BやMistral 8X22Bにも匹敵するスコアを記録しました。コーディングタスクについては、HumanEval+とMBPP+の平均スコアを参考にしました。 Arctic は、64.3% のスコアで再び Databricks および小型の Mistral モデルを上回り、Llama 3 70B および Mistral 8X22B に次ぐ成績を収めました。 しかし、最も注目すべきベンチマークは、モデルの指示に従う能力を測定するIFEvalテストです。Arcticはこのテストで52.4%のスコアを達成し、ほとんどの競合製品を上回り、最新のMistralモデルに次ぐ成績を収めました。 Snowflake によれば、Arctic は同様の LLM よりも消費するリソースが少なくなります (出典: Snowflake)。 Arcticは驚異的な4,800億個のパラメータを誇りますが、トレーニングや推論に実際に使用されるのはわずか170億個に過ぎないことは特筆に値します。この設計により、リソース消費が効果的に削減されます。Llama3 70Bと比較すると、Arcticはトレーニング中に16分の1のリソースを消費しますが、DBRXは8倍のリソースを消費します。 Snowflakeのもう一人の著名なAIソフトウェアエンジニアであり、DeepSpeedの創設者の一人であるYuxiong He氏は、このリソース節約設計は意図的なものだと指摘する。「LLMに取り組む研究者やエンジニアとして、私たちは無制限のGPUリソースを夢見ています」と彼は言う。「しかし、現実には、常に限られたリソースという課題に直面しています。」 Arcticは1,000基のGPUを搭載したクラスターでわずか3週間のトレーニングを行いましたが、これは200万ドルの投資に相当します。しかし、Rajbhandari氏は、顧客は8基のGPUを搭載した単一のサーバーだけでArcticを微調整し、推論ワークロードを実行できると述べています。 「Arcticは高い効率性を維持しながら、高度なパフォーマンスを実現します」と、SnowflakeのAI責任者であるバリス・グルテキン氏は強調しました。「限られた予算にもかかわらず、Arcticは同等の計算予算でトレーニングされたオープンソースモデルよりも強力であるだけでなく、エンタープライズインテリジェンスにおいても非常に優れたパフォーマンスを発揮し、より高い計算予算でトレーニングされたモデルを凌駕しています。」 Apache 2.0ライセンスの下で利用可能 Snowflakeは、Arcticモデルが自社のLLMアプリケーション開発サービスであるCortexに加え、Hugging Face、Lamini、Microsoft Azure、Nvidia APIカタログ、Perplexity、Togetherといった著名なモデルプラットフォームやディレクトリでも利用可能になったと発表しました。特に注目すべきはHugging Faceプラットフォームで、ユーザーはApache 2.0ライセンスの枠組み内でArcticモデルの重みとコードを直接ダウンロードできます。つまり、個人、企業、研究機関は制限なくモデルを利用できるということです。 しかし、これはSnowflakeの「真にオープン」な戦略の一部に過ぎません。モデルの重みとコードの提供に加え、同社は企業が単一のGPU上で効率的にモデルを微調整できるよう設計された「データレシピ」を惜しみなく公開しています。さらに、モデル設計とトレーニング手法に関する詳細な知見を含む包括的な「リサーチレシピ」も公開しています。 記者会見で、スノーフレークのAI責任者であるバリス・グルテキン氏は、「世界クラスのMoEモデルに関心を持つすべての人々の学習プロセスを加速させるために、この『リサーチクックブック』を公開しました。このクックブックは、高レベルのモデル設計のアイデアを提供するだけでなく、ArcticのようなLLMを構築するために必要な技術的側面を詳細に解説しており、すべてのユーザーが効率的かつ費用対効果の高い方法で必要なインテリジェンスを構築できるようにします」と述べました。 オープンソースまたはほぼオープンソースのモデルの台頭は、興味深い観察結果をもたらしました。それは、生成AI市場は検索市場のような勝者総取りのシナリオにはならないということです。ラマスワミー氏は、「人工知能は急速に分散化へと向かっています」と指摘しています。この傾向は、AIの未来がより多様化し、様々な企業や開発者により多くの選択肢と機会を提供することを意味しています。 参考文献: https://siliconangle.com/2024/04/24/snowflake-taking-openai-google-meta-others-open-source-arctic-ai-model/ https://venturebeat.com/data-infrastructure/snowflake-launches-arctic-an-open-mixture-of-experts-llm-to-take-on-dbrx-llama-3/ https://www.datanami.com/2024/04/24/snowflake-touts-speed-efficiency-of-new-arctic-llm/ https://www.infoworld.com/article/3715390/snowflake-s-open-source-arctic-llm-to-take-on-llama-3-grok-mistral-and-dbrx.html https://mspoweruser.com/snowflake-arctic-takes-pride-as-the-best-llm-for-enterprise-ai-thats-quite-a-big-claim/ |
