記事のおすすめ

10,000 語を超える長文の中間レビュー: 2024 年上半期の大規模モデルの技術革新と応用の見通し。

今日のホットトピック

マスク氏は、10万個のNvidia H100 GPUを搭載し、「世界最大のAIトレーニングクラスター」の稼働を開始したと発表した。

マスク氏は、メンフィス スーパークラスターが 7 月 22 日午前 4 時 20 分にトレーニングを開始したことを発表し、X における xAI チーム、X チーム、NVIDIA およびそのサポート企業の貢献に特に感謝の意を表した。

マスク氏は、このクラスターは 10 万個の NVIDIA H100 GPU を搭載し、液体冷却を使用し、単一の RDMA ネットワーク相互接続アーキテクチャを採用しており、世界で最も強力な AI トレーニング クラスターになっていると説明しました。

GPU の規模に関して言えば、このクラスターは、世界で最も強力な Frontier (37,888 基の AMD GPU)、Aurora (60,000 基の Intel GPU)、Microsoft Eagle (14,400 基の Nvidia H100 GPU) を含む最新の Top500 リストのどのスーパーコンピューターも上回っています。

マスク氏はまた、「今年12月までに世界で最も強力な人工知能（Grok3）を訓練する」ことが目標だと明かした。

https://www.ithome.com/0/783/616.ht m

Alibaba Cloud がパリオリンピックで正式にデビュー！

アリババクラウドは、AI駆動型クラウドコンピューティング技術でパリオリンピックの「グローバルクラウド放送」を全面的にサポートすることを正式に発表しました。

クラウドベースの AI マルチカメラ再生、超高解像度のビデオ伝送、大量のイベントコンテンツ編集を可能にすることで、Alibaba Cloud はオリンピック放送にさらにエキサイティングな視聴体験をもたらします。

現在、アリババクラウドの公式アナウンスはパリ・シャルル・ド・ゴール空港で掲示されているほか、北京、上海、深セン、杭州などでも同時に掲示されている。

https://mp.weixin.qq.com/s/VOMx XojMM7dNOATDJukeTw

Google が新しい AI 天気予報モデル NeuralGCM をリリース: 運用コストの削減と予測精度の向上。

Googleは、機械学習と従来の手法を融合させた新しいAI気象予測モデル「NeuralGCM」をリリースしました。その成果は昨日、Nature誌に掲載されました。

Google によれば、純粋に機械学習に基づいた他の天気予報モデルと比較して、NeuralGCM はコストが低く、1 ～ 10 日先の天気を予測する精度が高いのが特徴だという。

研究報告書の共著者であるGoogle ResearchのStephen Hoyer氏は、NeuralGCMモデルはオープンソースであり、ラップトップで比較的迅速に実行できると述べた。

https://www.ithome.com/0/783/583.ht m

Nvidia は中国なしではやっていけない: 新しい B20 チップが発売されるかもしれない。

今年3月30日、米国は中国に対するチップ輸出禁止を強化し、中国に輸出されるAI半導体製品に対して「ケースバイケースの審査」政策ルールを採用すると表明し、Nvidia、AMDなどのより先進的なAIチップや半導体装置の中国への販売を全面的に制限した。

ジェンセン・フアン氏は、技術的な制約により中国におけるデータセンター事業は大幅に減少しているものの、当社は引き続き中国の顧客へのサービス提供に全力を尽くしていくと述べた。「中国における当社のデータセンター収益は、10月に新たな輸出管理規制が施行される前の水準と比較して大幅に減少しています。」

米国政府が中国における半導体に対する規制を強化しているにもかかわらず、米国のAIチップ大手であるエヌビディアは中国市場から撤退することはできない。

Titanium Media Appが7月22日に報じたところによると、NVIDIAは中国市場向けにBlackwellアーキテクチャをベースとした新たなフラッグシップAIチップを開発中とのことだ。「B20」と名付けられたこのチップは、米国の輸出管理規制に準拠する。しかし、この報道ではチップの性能や仕様については触れられていない。

7月22日の午後、Titanium Media Appから連絡を受けたNvidiaはコメントを拒否した。

https://www.tmtpost.com/7176956.htm l

AI調理ロボット企業Oak Deer TechnologyがJD.comから約2億元の戦略的投資を受ける。

オークディア・テクノロジーの公式発表によると、同社はJD.comから2億元近くの戦略投資を獲得し、包括的な戦略提携契約を締結した。双方のAI技術と産業優位性に基づき、「ロボティクス+」産業の高品質な発展を共同で推進していく。

オークディアーテクノロジーは、業界最大規模のAI調理ロボット工場の建設を継続的に拡大し、工場の生産ラインの自動化とテストの自動化レベルを全面的に向上させると発表した。同時に、長江北部に第2の生産拠点を設立することを積極的に模索し、北部と長江デルタの顧客への対応と納品速度を向上させ、顧客の増大する出荷ニーズを満たしている。

同社は今後も研究開発投資を拡大し、調理ロボットへのビジョン技術とセンサー検知技術の応用に注力していく。世界をリードするビジョンベースの次世代AI調理ロボットの開発を目指し、2025年に正式発売する予定だ。

https://www.ithome.com/0/783/358.ht m

Apple がオープンソースの DCLM-7B モデルをリリース。その性能は Mistral-7B を上回ります。

DCLM-Baseline-7Bは、DCLM-Baselineデータセットを用いて学習された70億パラメータの言語モデルです。このデータセットは、モデルのパフォーマンスにおけるデータ品質の重要性を強調したDataComp for Language Models (DCLM)ベンチマークの一部としてキュレーションされています。

DCLM-7Bの主な特徴:

• パラメータ数: 70億
• トレーニングデータ: 2.5兆トークン
• 初期コンテキストの長さ: 2048 タグ
• 拡張コンテキスト長: 8Kトークン（最新バージョン）
• ライセンス: Apple ASCL (MITライセンスに類似)
• 利用可能: Hugging Faceで公開
  

Apple ASCL ライセンスの下での DCLM-7B のリリースは、Apple がオープンソース AI コミュニティに貢献する意向を示しています。

この動きにより、研究者や開発者はモデルを自由に使用、変更、配布できるようになり、自然言語の処理と理解の進歩が加速する可能性があります。

https://anakin.ai/blog/dclm-7b/

Mistral AI は NVIDIA と共同で、12 パラメータのミニモデル Mistral Nemo をリリースし、Gemma 2 9B や Llama 3 8B を上回る性能を発揮しました。

最近、Mistral AIはNVIDIAと共同で、120億パラメータの小型モデル「Mistral Nemo」をリリースしました。このモデルは、最大12万8千トークンの大規模なコンテキストウィンドウを提供します。その推論、世界知識、そしてエンコード精度は、同クラスで最高レベルです。

Mistral NeMo は標準アーキテクチャを採用しているため使いやすく、Mistral 7B を使用するあらゆるシステムに直接置き換えることができます。

以下の表は、Mistral NeMo ベースモデルの精度を、最近オープンソース化された 2 つの事前トレーニング済みモデル (Gemma 2 9B および Llama 3 8B) と比較したものです。Mistral NeMo は、この 2 つのモデルを上回っています。

ミストラル ネモ モデルの特徴:

• このモデルは、グローバルな多言語アプリケーション向けに設計されています。関数呼び出しによって学習され、広いコンテキストウィンドウを備えており、特に英語、フランス語、ドイツ語、スペイン語、イタリア語、ポルトガル語、中国語、日本語、韓国語、アラビア語、ヒンディー語に精通しています。
  
• Mistral NeMo は、TikTok をベースにした新しいタグ付けツール「Tekken」を使用します。これは 100 以上の言語でトレーニングされており、以前の Mistral モデルで使用されていた SentencePiece タグ付けツールよりも効率的に自然言語テキストとソース コードを圧縮します。
  
• Mistral NeMOは微調整と調整段階を経て、Mistral 7Bと比較して、正確な指示の追跡、推論、複数ターンの対話の処理、コード生成において優れたパフォーマンスを発揮しました。

https://mistral.ai/news/mistral-nemo/

OpenAI は、エントリーレベルの AI「小型モデル」の新世代である GPT-4o mini を大幅に低価格で正式に発売しました。

OpenAIは最近GPT-4o miniを発売し、これが最もコスト効率の高い小型モデルであると主張した。

GPT-4o miniは、テキストインテリジェンスとマルチモーダル推論の学術ベンチマークにおいてGPT-3.5 Turboや他の小型モデルよりも優れた性能を発揮し、GPT-4oと同じ範囲の言語をサポートしています。

また、関数呼び出しにも優れているため、開発者は外部システムを使用してデータを取得したりアクションを実行したりするアプリケーションを構築でき、GPT-3.5 Turbo と比較して長いコンテキストのパフォーマンスが向上しています。

GPT-4o miniは、アシスタントAPI、チャット補完API、バッチAPIでテキストおよびビジュアルモデルとして利用できるようになりました。開発者には、入力トークン100万個につき15セント、出力トークン100万個につき60セント（標準的な書籍の約2,500ページに相当）が支払われます。

ChatGPTでは、無料、Plus、およびチームユーザーはGPT-3.5の代わりにGPT-4o miniを使用できるようになります。

https://openai.com/index/gpt-4o