この記事は、7月24日に開催されたFeitianの製品発表イベントと、7月5日に北京で開催されたDataFunCon2024・北京ステーションでの講演「ビッグデータ、ビッグモデル、デュアルコア時代」の記録をまとめたものです。講演内容は以下の通りです。

講演者：Xu Sheng、Alibaba Cloud コンピューティング プラットフォームの研究者/プロダクト マネージャー

主な内容:

1. 概要 - Alibaba Cloud ビッグデータ + AI 製品ラインの紹介

2. トレンド - ビッグデータとAIのトレンド分析

3. ソリューション - Alibaba Cloud インテリジェント ビッグデータ製品ソリューション

4. 将来 - 展望

I. 概要 - Alibaba Cloud + AI 製品ラインの紹介

まず、Alibaba CloudのビッグデータとAI製品について簡単にご紹介します。Alibaba Cloudは世界30のリージョンに展開しており、89のアベイラビリティゾーンと3,200以上のCDNノードを含む、ほぼすべての主要な国際リージョンをカバーしています。これにより、お客様に効率的で安定した基本的なクラウドコンピューティングとストレージサービスを提供しています。

Alibaba Cloudは、幅広いビッグデータおよびAI製品を提供しています。同社のビッグデータ製品は主に2つのカテゴリーに分類されます。

• まず、Alibaba Cloudの創業以来独自に開発してきたMaxCompute、DataWorks、Hologres、PAIなど、ビッグデータ処理、機械学習、データウェアハウスなど複数の分野を網羅する自社開発製品ラインがあります。

• 第二に、Alibaba Cloud はオープンソース製品ラインに積極的に参加し、Apache Flink、Apache Spark、StarRocks などの一連のオープンソース プロジェクトに貢献・維持し、世界中の開発者に豊富なツールとリソースを提供しています。

2023年、アリババクラウドのビッグデータ・AIプラットフォームは3桁の成長を遂げ、中国における技術の牽引役となりました。統計によると、中国における大規模モデルの事前学習作業の半分以上がアリババクラウドプラットフォーム上で完了しており、AI分野における同社の強力な能力を実証しています。ビッグデータプラットフォームの性能テストにおいて、アリババクラウドはTPC-DS、TPC-H、TPC-BBなど複数のベンチマークで優れた結果を達成し、意思決定データ分析における優れた能力を証明しました。市場シェアでは、2022年に約49億人民元の市場シェアのうち20億人民元をアリババクラウドが占め、中国における主導的地位を堅持しました。一方、アリババクラウドは、クラウドデータウェアハウス、AIインフラ、AI開発サービスなどの分野でも国際的な評価において大きな成果を上げています。国内市場では主導的地位を維持しているものの、アリババクラウドは国際競争で追いつくためには依然として努力が必要であることを痛感しています。

Alibaba Cloud のビッグデータ プラットフォームの主な利点は次のとおりです。

• まず、Alibaba Cloudは堅牢なインフラストラクチャを活用し、業界をリードする柔軟なスケーリング機能を構築しています。ピーク時でもオフピーク時でも、Alibaba Cloudは需要とタイムシェアリングの弾力性に基づいてリソース割り当てを迅速に調整し、様々な弾力性のある構成における柔軟なリソースプロビジョニングを通じて、お客様のアプリケーションのスムーズな運用を保証します。この機能は、Alibaba Cloudが基盤となるクラウドコンピューティング技術に関する徹底的な研究とイノベーションによって実現されています。

• テクノロジーの最適化という点では、Alibaba Cloudはアルゴリズムの最適化とアーキテクチャの改善を通じて、サービスのコスト効率向上に継続的に投資してきました。お客様は、高性能コンピューティングとストレージサービスを享受できるだけでなく、コスト効率のメリットも享受できます。

• 安定性は、Alibaba Cloudのもう一つの大きな強みです。データ集約型で同時実行性の高いシナリオにおいても、Alibaba Cloudのサービスは非常に高い安定性と信頼性を維持します。これは、Alibaba Cloudのシステムアーキテクチャの綿密な設計と、障害回復メカニズムの継続的な改善によるものです。

• AI技術の台頭に伴い、アリババクラウドはビッグデータとAIの深層統合を積極的に模索し、革新的なソリューションを次々とリリースしています。インテリジェントデータ分析からAIモデルのトレーニングまで、アリババクラウドはお客様にワンストップサービスを提供し、「AI for Science」と「Data for AI」を立ち上げ、企業のAIエンパワーメントを迅速に実現できるよう支援しています。

• さらに、Alibaba Cloudはセキュリティ管理とエンタープライズサービスにおいても多大な努力を払ってきました。データ暗号化、アクセス制御、コンプライアンス監査に至るまで、Alibaba Cloudは包括的なセキュリティ保護システムを構築しており、お客様はデータセキュリティの問題を心配することなく、クラウドコンピューティングの利便性を享受できます。

Alibaba Cloudの取り組みは、自社の競争力を高めるだけでなく、顧客に具体的な価値をもたらしました。デジタル変革の波の中で、Alibaba Cloudは企業にとって信頼できるパートナーとなり、未来の無限の可能性を共に探求しています。

II. ビッグデータとAIの動向

次に、ビッグデータと AI の開発動向と、これらの動向に応じて Alibaba Cloud のビッグデータ製品がどのように進化してきたかについてお話しします。

1. データレイクからビッグデータとAIの統合へ

データストレージアーキテクチャであるデータレイクは、事前定義されたデータモデルを必要とせず、膨大な量のデータを生の形式で保存できるため、データ分析に優れた柔軟性を提供します。データレイクは、比較的シンプルなデータ処理要件を持つ小規模システムに適しています。柔軟なデータ取り込みおよび保存機能により、企業はビジネスの変化に迅速に対応し、探索的なデータ分析を実施できます。

しかし、データ量の急増とビジネスの複雑性の増加に伴い、データレイクにおける非構造化ストレージとデータガバナンスの欠如が問題を引き起こし始めています。そのため、ある程度の規模までは、データレイクは柔軟性という利点があり、データウェアハウスは成長の可能性という利点があります。データレイクの時代では、データレイクとデータウェアハウスの間でコストと柔軟性のバランスをとることは不可能であり、それぞれに大きな問題がありました。しかし、統合レイクウェアハウスの時代では、データ取得効率が向上するにつれて、この曲線は崩れるでしょう。技術的な最適化と反復を通じて、徐々にパフォーマンスとコストのバランスをとることができます。その後、データレイクから統合レイクウェアハウスへの進化、そしてビッグデータとAIの融合について紹介します。

データレイクの概念は、誕生以来、様々な種類のデータを元の形式で保存し、異なるコンピューティングエンジンによるアクセスと処理を可能にする統合データストレージ空間の構築を目指してきました。しかし、技術の発展に伴い、データレイクの限界、特にデータ形式、データガバナンス、そしてエンジン間の共有の限界が徐々に明らかになってきています。これが、データレイクからレイクハウス、そしてビッグデータとAIを統合したアーキテクチャへの進化を促しました。

当初、データレイクは構造化データと半構造化データのための統合ストレージとして構想されていました。しかし、統一されたデータ形式標準が欠如していたため、コンピューティングエンジンがデータにアクセスする際の効率が低下しました。エンジンは多くの場合、自らデータを解析する必要があり、データ共有が制限されるだけでなく、データサイロ（パブリックストレージに保存されているにもかかわらず、実際には特定のエンジンでしかアクセスできないデータ）が生じる可能性がありました。

これらの課題に対処するために、Lakehouseアーキテクチャが開発されました。データレイクを基盤として、LakehouseはDelta、Hudi、Icebergといった統一されたテーブル形式と統合SDKを導入することで、複数のエンジンから標準化された方法でレイク上のデータにアクセスできるようにし、真のレイクハウス統合を実現します。Alibaba CloudのPaimon、ファイルキャッシュ、テーブルキャッシュ技術は、レイクハウスのパフォーマンスをさらに最適化し、オンプレミスのデータウェアハウスのレベルに近づけます。

ビッグデータとAIの深層的な統合に伴い、データの統合管理に対する要求はますます高まっています。ビッグデータとAIの統合アーキテクチャは、構造化データと半構造化データだけでなく、特徴ベクトルなど、AIエンジン固有のデータ形式も考慮する必要があります。そのため、エンジン間のデータアクセスと処理を可能にする統合メタデータ管理システムの構築が不可欠です。メタデータ管理は、異なるデータソースとエンジンを接続し、統一されたビューと効率的なデータ活用を実現するために不可欠となっています。

しかし、データレイクからビッグデータとAIの統合への進化には、課題がないわけではありません。パブリックストレージは、プライベートストレージと比較してパフォーマンス最適化において本質的に不利です。プライベートストレージは特定のエンジン向けに深く最適化できるためです。しかし、ネットワークやストレージI/Oなどの技術の継続的な進歩により、この差は縮まり、あるいは消滅すると予想されます。ニューラルネットワークの発展が示すように、技術の進歩は最終的にコンピューティング能力の限界を克服し、AIの広範な応用を推進しました。

結論として、ビッグデータとAIの統合は、現在も進化を続けるプロセスです。データレイクからビッグデータとAIの統合アーキテクチャに至るまで、データフォーマット、データガバナンス、エンジン間の共有といった課題を解決してきただけでなく、データ管理技術の革新も推進してきました。パフォーマンスの最適化には依然として課題が残りますが、継続的な技術進歩によってこれらの問題は徐々に解決され、ビッグデータとAIのより深い統合への道が開かれていくでしょう。

2. アリババクラウドの自社開発ビッグデータ製品

（1）マックスコンピュート

まず、Alibaba Cloudの主力ビッグデータ処理プラットフォームであるMaxComputeは、創業以来、Alibaba Cloudの成長と密接に結びついてきました。MaxComputeのアーキテクチャは、Alibaba Cloudのデータストレージ、コンピューティング、スケジューリング、そしてサービスにおける深い専門知識を反映しています。コアレイヤーにはプライベートストレージとパブリックストレージが含まれており、オープンストレージAPIとSDKを通じて柔軟なデータアクセスと管理を可能にします。その上には、エラスティックコンピューティングとスケジューリングレイヤーがあり、効率的なリソース利用を保証し、ビジネスニーズに応じてコンピューティング能力を動的に調整します。さらに、MaxComputeは、インクリメンタルコンピューティング、メタデータ管理、オープンAPIなどの高度な機能を統合し、ユーザーにワンストップの開発とサービス体験を提供します。これらはすべて標準機能です。

MaxComputeは、機能と性能の面において、エンタープライズグレードのセキュリティ、大規模データ処理、高可用性といった重要な優位性を発揮しています。当初はタオバオや天猫といったアリババグループ内の高並列処理シナリオにサービスを提供していましたが、MaxComputeはセキュリティアーキテクチャ、大規模データ処理、障害回復メカニズムにおいて徹底的な最適化を実施し、データの整合性とシステムの安定性を確保しています。さらに、MaxComputeはアルゴリズムとの緊密な統合により、機械学習やデータマイニングといった分野における強力な応用可能性を実証しています。

近年、MaxComputeの主要な進化の方向性の一つは、オープンで統合されたレイクウェアアーキテクチャです。同時に、サーバーレスサービスの弾力性もさらに強化され、ユーザーのニーズに基づいた動的なリソース調整が可能になり、様々なビジネスシナリオにおける効率的な運用を実現しています。Alibaba CloudのMaxComputeプラットフォームは、高度なアーキテクチャ設計と最適化技術を備えており、多くの企業ユーザーに大幅なパフォーマンス向上とコスト最適化をもたらしてきました。既存のオープンソースHadoopシステムをMaxComputeに移行することで、企業はより安定的で効率的なデータ処理能力を享受できるだけでなく、コスト管理の飛躍的な向上も実現できます。

そのため、今日のビッグデータとAIに関するあらゆる試みを議論する際には、必ず3つの指標に注目する必要があります。第一に、拒否権を持つ安定性、第二に費用対効果、そして第三にパフォーマンスです。パフォーマンスが低ければ、費用対効果が高くても私たちのニーズを満たすことはできません。MaxComputeはオフラインコンピューティングの分野で優れた実績を誇り、近年はAIを積極的に活用し、ビッグデータとAIの深い統合を推進し、独自のデータ処理・分析エコシステムを形成しています。

AI開発におけるインタラクティブなプログラミング環境への需要に応えるため、MaxComputeはビッグデータ処理とAI開発をシームレスに統合するノートブック開発環境を導入しました。このイノベーションは、開発者に使い慣れたPythonプログラミング環境を提供するだけでなく、ビッグデータエンジニアがデータの探索とモデル構築をより容易に行えるようにし、ビッグデータとAIの協働作業を促進します。MaxFrameコンピューティングフレームワークのリリースは、ビッグデータとAIの統合におけるMaxComputeの新たな進歩を表しています。

MaxFrameを使用すると、ユーザーはMaxComputeプラットフォーム上で直接分散Pythonコンピューティングタスクを実行でき、購入したMaxComputeコンピューティングリソースを最大限に活用できます。この設計により、煩雑なシステム切り替えプロセスが不要になるだけでなく、ユーザーコストも効果的に削減され、ビッグデータやAIコンピューティングにおけるリソースの共有と最適化が可能になります。MaxComputeはディープラーニングと統計学習アルゴリズムも統合しており、ユーザーにワンストップのアルゴリズム呼び出しサービスを提供します。つまり、ユーザーはMaxComputeプラットフォーム上で複雑なデータ分析やモデルトレーニングを実行するために外部のアルゴリズム開発リソースを探す必要がなくなり、ワークフローが大幅に簡素化され、効率が向上します。

MaxComputeはビッグデータとAIの間に小さな閉ループを実装しており、後述する製品のほとんども同様の機能を備えています。まとめると、MaxComputeはノートブック環境、MaxFrameコンピューティングフレームワーク、そして組み込みアルゴリズムライブラリを導入することで、ビッグデータとAIを統合した完全なエコシステムを構築しました。このエコシステムは、MaxComputeの先進的な技術統合アプローチを示すだけでなく、ユーザーに、より柔軟で効率的、そして経済的なデータ処理ソリューションを提供します。Alibaba Cloudの製品ラインの強みは、ビッグデータとAIの融合、レイクウェアハウス、統合メタデータ管理といった高度なコンセプトを各製品に統合していることにあります。MaxComputeの成功事例は、まさにこのベストプラクティスの好例です。

（2）データワークス

DataWorksはMaxComputeの相棒として捉えることができます。MaxComputeをベースとした単一エンジンのクローズドループだった初期から、DataWorksは複数のエンジンをサポートするように進化し、今日のDataWorksは完全に異なります。まず、基盤となるエンジンとストレージにDataWorksを介して直接アクセスできます。中間データ統合、データガバナンス、データ開発を含むシステム全体が非常に充実しており、現在ではCopilot、Natural Language to SQL、Natural Language Analyticsといった人気のテクノロジーも組み込まれています。DataWorksを通じて、ユーザーはすべてのエンジンにアクセスできるだけでなく、開発モードで大規模モデルのメリットを享受できます。

（３）ホログレス

Hologresは、統合型でリアルタイム、弾力性があり、使いやすいワンストップリアルタイムデータウェアハウスエンジンを提供します。単一のデータセットで、OLAPクエリ、アドホック分析、オンラインサービス、ベクトルコンピューティングなど、複数のシナリオをサポートします。OLAPエンジン（Greenplum/Presto/Impala/ClickHouseなど）やキーバリューデータベース（HBase/Redisなど）を同時に置き換えることができます。TPC-H 30,000GB標準テスト結果では、Hologresは2位の競合他社に23%の差をつけ、世界1位を獲得しました。1秒あたり10億件以上のレコード書き込みと更新という高スループットのリアルタイム処理をサポートし、ペタバイト規模のデータの第2レベル分析を可能にします。Alibaba Cloudが自社開発した3つの柱、MaxCompute、Hologres、DataWorksは、基本的に現在の重要なシナリオの90%をカバーしています。残りの領域は、Flinkを活用したスト​​リームコンピューティングです。

（4）典型的なケース

ここにいくつかの例を挙げます。

まず、Eコマースの事例を見てみましょう。世界をリードするEコマース企業として、アリババはこの分野で豊富な経験を有しており、Alibaba Cloud製品ポートフォリオには豊富な応用シナリオが用意されています。Eコマースのシナリオにおいて、Alibaba Cloudの製品ポートフォリオは強力なデータ処理・分析機能を発揮します。AIプラットフォームPAI（Platform AI）、Search（Search Service）、Hologres（Interactive Query）、リアルタイムコンピューティング技術Flinkを軸に、生データ（ODS）からデータウェアハウス（DWD）、そしてデータサービス（ADS）まで、包括的なデータウェアハウスモデルを構築しています。これらは、Alibaba Cloudの全製品ポートフォリオにおいて、実際に成功を収めた事例があります。これは、アリババ社内のEコマース事業の効率的な運営を支えるだけでなく、外部企業にも成熟したEコマースソリューションを提供しています。Alibaba CloudのEコマース分野における実践では、特にデータセキュリティと災害復旧機能を重視しています。金融顧客やその他のシナリオにおける極めて高いデータセキュリティ要件を考慮して、Alibaba Cloud は、初期の製品設計段階からセキュリティと災害復旧メカニズムを中核的な考慮事項とし、どのような状況でもデータの整合性とシステムの安定性を確保しています。

もう一つの例は、デジタルメディアのケーススタディです。デジタル関連のあらゆる移行、コンピューティング、ガバナンス、そしてAIは、当社の製品ポートフォリオを通じて対応可能です。上図は、データの収集・処理から分析・適用まで、エンドツーエンドのソリューションを明確に示しています。このアーキテクチャは、データライフサイクル管理だけでなく、インテリジェントなレコメンデーションやコンテンツ分析といったAI技術も統合し、デジタルメディアにおけるパーソナライズされたサービスやコンテンツイノベーションのための技術サポートを提供します。

3. Alibaba Cloud オープンソース ビッグデータ製品

次のセクションでは、Alibaba Cloud のオープンソース ビッグデータ製品を紹介します。

先に紹介した自社開発製品は、パフォーマンス、安定性、機能性に重点を置いていますが、オープンソース製品は、レイクストレージエコシステムとのシームレスな統合と、オープンエコシステムによる幅広い互換性と柔軟性の提供に重点を置いています。Alibaba Cloudのオープンソース製品は、パフォーマンスと安定性だけでなく、レイクストレージとの緊密な統合、複数のテーブル形式との互換性、効率的なメタデータ管理も重視しており、オープンソース本来のオープン性とエコシステム互換性を反映しています。Alibaba Cloudのオープンソース製品のハイライトであるJindoFSは、HDFSファイルシステムをサポートしながらOSSインターフェースを巧みにカプセル化することで、OSSインターフェースとHDFS間の相互運用性を実現しています。この設計は、前世代のデータウェアハウスソリューションとの互換性を維持し、スムーズなデータ移行と利用を保証し、両者のギャップを埋める上で重要な役割を果たしています。また、ファイルキャッシュもサポートしており、さらに、前述の主流のレイクストレージフォーマットに加え、今年のApacheオープンソースプロジェクトのトップであるPaimonもサポートしています。これらすべては、最終的にDLFレイクメタデータリポジトリによって一元管理されます。 DLFメタデータ管理サービスは、Alibaba Cloudのレイクストレージエコシステムにおいて重要な役割を果たしています。あらゆるレイクストレージ形式のメタデータを一元管理し、統一されたデータアクセスおよび管理インターフェースを提供することで、ユーザーは異なる形式のデータを処理する際に一貫したエクスペリエンスを得ることができます。DLFの登場により、レイクストレージエコシステムにおけるメタデータ管理が大幅に簡素化され、データ処理の効率と柔軟性が向上しました。これを基盤として、EMR、Spark、Flink、そしてMilvusベクトル検索機能も加わったオープンソースシステム全体が構築されています。Alibaba Cloudのオープンソースシステムにおいて、ECS（Elastic Compute Service）とEMR（Elastic MapReduce）は、かつてユーザーがカスタムビッグデータ処理フレームワークを構築する際の好ましい選択肢でした。ユーザーはECSサーバーをレンタルし、そこにEMRフレームワークをデプロイすることで、カスタマイズされたデータ処理環境を構築できました。このモデルの人気は、システム制御とカスタマイズ機能に対するユーザーの需要を反映しています。ユーザーは、基盤となるシステムを完全に制御しながら、いつでもデバッグして問題を修正したいと考えていました。しかし、継続的な技術進歩とクラウドコンピューティングサービスの成熟に伴い、業界のトレンドは徐々に断片化から統合へと移行し、サーバーレスが新たな開発方向性となりつつあります。サーバーレスが主流となる鍵は、運用・保守、コスト管理、システム管理におけるユーザーの課題を真に解決できるかどうかにあります。サーバーレスモードでは、ユーザーは基盤となるリソースの購入、更新、保守を気にする必要がなく、ビジネスロジックの実装に専念できます。システムのセキュリティ、保守性、その他の技術的な詳細は、クラウドサービスプロバイダーによって一元的に管理されます。ユーザーは必要なときに利用し、支払いを行うだけで済むため、運用プロセスが大幅に簡素化され、保守コストも削減されます。アリババクラウドはこのトレンドに沿って、EMRおよびSpark製品ラインの重要な開発方向性としてサーバーレスを位置付けています。サーバーレスを通じて、アリババクラウドは、より柔軟で効率的、かつ低コストのデータ処理サービスをユーザーに提供し、基盤となる技術的な詳細をあまり気にすることなく、ビジネスイノベーションに集中できるように努めています。同時に、アリババクラウドのオープンソースシステムは、高いオープン性と柔軟性を維持しています。ベアメタル、ECS、エラスティックコンテナなど、あらゆる形態のコンピューティングリソースにおいて、Alibaba Cloudは、さまざまなユーザーのニーズとシナリオに応えるサポートを提供します。自社開発システムと比較して、オープンソースシステムは高度なカスタマイズ機能を提供するだけでなく、業界標準との互換性とユーザーニーズへの柔軟性を重視しているため、ユーザーはクラウドサービスの利便性を享受しながら、自社のビジネス特性に基づいて最適な導入方法を選択できます。

(1) サーバーレスSpark

オープンソースコミュニティはサーバーレスSparkを推進しています。サーバーレスSparkのシナリオでは、ApacheのトップレベルプロジェクトであるCelebornがリモートメカニズムを導入し、データ処理アーキテクチャに革命的な変化をもたらします。多数のコンピューティングノードが分散されている場合、従来のSparkジョブはシャッフル操作中にこれらのノードのローカルストレージに依存します。これは、シャッフルされたデータのスケールを制限するだけでなく、ストレージリソースの不均一な分散につながり、ストレージ容量不足によるコンピューティングノードのボトルネックを引き起こす可能性があります。この問題は特に大規模な分散コンピューティング環境で顕著であり、システムの運用と保守の複雑さとコストを増大させます。

Celebornは、シャッフル操作をコンピューティングノードのローカルストレージからリモートシャッフルサービスに移行することで、ストレージとコンピューティングの分離を実現しました。現在、必要なのはシャッフルプールのみであり、これは大きな進歩です。次に、ネイティブエンジンの概念は、ビッグデータ処理分野でますます注目を集めています。その主な利点は、データアクセスのための中間層やフレームワークを必要とせず、基盤となるストレージシステム上で直接実行できることです。これにより、データ処理のパフォーマンスと効率が大幅に向上します。今年はYunqiカンファレンスでFlinkネイティブエンジンを発表する予定ですので、ご注目ください。

（2）サーバーレスStarRocks

もう一つご紹介する製品は、Serverless StarRocksです。Alibaba Cloudの高性能分析エンジンであるServerless StarRocksは、当初からレイクネイティブアーキテクチャを採用しており、レイクストレージエコシステムへの深い統合を念頭に置いて設計されています。Serverless StarRocksは、Hive、Iceberg、Hudiなどのさまざまなレイクストレージ形式にシームレスに接続するだけでなく、レイクストレージ向けに最適化されているため、データ処理性能と分析効率が向上します。サーバーレスという性質により、StarRocksは柔軟なリソーススケーリングを実現し、運用負荷を増やすことなく、さまざまな規模のデータ処理ニーズに合わせてコンピューティングリソースを自動的に調整します。

（３）パイモン

次に、Paimonを紹介します。現在、バッチ処理の標準的なレイクテーブル形式としてはIcebergがよく使用されていますが、なぜPaimonを開発したのでしょうか？Paimonは、Alibaba Cloudがリアルタイムデータ処理とストリームコンピューティングのシナリオを解決するために設計したレイクストレージ形式です。業界で一般的に使用されているDelta、Iceberg、Hudiなどの形式と比較して、Paimonはリアルタイム性能において大きな利点を持っています。当初、PaimonはFlinkなどのリアルタイムコンピューティングフレームワークとの緊密な統合を目的として開発されたため、ストリーム処理のシナリオにおいて優れた性能を発揮します。Paimonは継続的な開発により、バッチ処理とストリーム処理の両方をサポートできるようになり、包括的なレイクストレージ形式になりました。将来的にはPaimonも主流の形式になることを期待しており、現在エンジンの統合が進められています。

（4）リアルタイムコンピューティングFlinkバージョン

Alibaba Cloudのリアルタイムコンピューティングにおける中核製品であるFlinkは、特定のシナリオに最適化されたネイティブオペレーターやネイティブFlinkバージョンなど、一連の革新的なリリースをまもなく開始します。これらの技術革新は、リアルタイムデータ処理、ストリームコンピューティング、その他のシナリオにおけるFlinkのパフォーマンスと柔軟性を向上させ、企業のリアルタイムデータ処理に対する高まる需要に応えることを目的としています。Alibaba Cloudは、9月に開催されるYunqi Conferenceでこれらの革新的な成果の詳細を発表する予定です。このトピックに関する専用セッションへのご参加をお待ちしております。

4. Alibaba Cloud 検索製品

Alibaba Cloudの検索製品は、主に2つの部分で構成されています。1つ目はElasticsearchです。ElasticsearchはAlibaba Cloud向けに広範囲に適応しており、ログなどの軽量なシナリオでも容易に使用できます。さらに、Taobao検索を支える強力な技術基盤であるAlibabaのメイン検索フレームワークをベースとしたOpenSearchという独自製品も提供しています。メイン検索フレームワークのオープンソース版であるHeavennaskは、検索技術分野におけるAlibaba Cloudのオープン性と共有性を体現しています。

では、検索分野における私たちの最大の違いは何でしょうか？今日、Bing、Baidu、Taobaoなど、かつての大規模検索エンジンを構築したプラットフォームは、構造化データの問題（マーチャントが構造化テーブルを直接入力するため）に対応していないにもかかわらず、依然として非常に複雑な基盤システムを抱えています。Alibaba Cloudの優位性は、数百人、あるいは数千人のアルゴリズムエンジニアの共同作業をサポートするプラットフォームを構築していることにあります。このプラットフォームの構築は、大規模検索プラットフォームの運用・保守、そしてアルゴリズムの反復開発にとって極めて重要であり、検索エンジンが検索結果の関連性とユーザーエクスペリエンスを継続的に最適化・向上することを可能にします。

Elasticsearchのようなより多くの検索エンジンとプラットフォームを統合することは、今後のトレンドです。大規模モデリング技術の発展に伴い、再帰アグリゲーター（RAG）技術は、検索の精度と関連性を向上させる重要な手段となっています。検索結果を大規模モデルと組み合わせることで、RAG技術はより正確で一貫性のある検索結果を提供できます。RAGベースの検索強化は大規模モデルに関連していますが、これらのモデルは精度を保証するものではなく、同じ質問に対して異なる答えを返す可能性があります。したがって、入力を変更することで、この不確実性を確実性に変換することを目指しています。つまり、最初に検索を実行し、次に検索結果を大規模モデルに送信して答えを得ることで、精度が向上します。ただし、これを実現するのは非常に困難です。改善を実現するには、検索ベクトル部分全体を最適化する必要があります。

もちろん、理論上は無制限のトークンを受け入れることができればRAGは不要になりますが、コストの観点から現実的ではありません。そのため、私たちは常に安定性、費用対効果、そしてパフォーマンスという3つの点を重視しています。LLMのインテリジェント質問応答バージョンがオンラインになりましたので、ぜひご覧ください。1分でRAGシステムを構築する方法をご覧いただけます。

5. アリババクラウドAIプラットフォームPAI

次にAIシナリオを紹介します。

左の画像はPAI-DSWギャラリーです。PAI-DSWはノートブックプログラミングモードの略で、ギャラリーはあらかじめ用意されたテンプレートを指します。付属のモデルトレーニングシナリオは、テンプレートをクリックするだけで直接利用できます。現在、AIユーザーにとって、PAI-DSWには2つのシナリオがあります。1つは誰でも利用・開発できるシナリオ、もう1つは購入・管理・利用できるシナリオです。

上の図に示すように、今日のAIエンジニアリングのインフラストラクチャは、過去のものとは大きく異なります。以前は、多くの学習タスクは、8基のGPUを搭載した単一のマシンで、GPUの1つ、あるいは半分しか使用していませんでした。しかし現在では、数十バイトから数百バイトのデータを持つモデルには、多数のGPUが必要になります。これは、特にクラスターサイズの変化やタスク数の増加時にいくつかの問題を引き起こし、さらに深刻なのは、GPUが同一ではない可能性があることです。そのため、異なるリソースにタスクを合理的に割り当てることができる、非常に複雑なエンジニアリングシステムが必要になります。次に、GPUに障害が発生した場合（例えば、8基のGPUのうち1基が故障し、残りの7基は正常に動作している場合）、通常の監視方法ではそれを検出できません。この場合、損失からの回復、つまりタスクを他のGPUに再配置するために、大規模なエンジニアリング適応作業が必要になります。さらに、他のGPUへの再配置には、その間の状態を保存する必要があり、これが全体的なパフォーマンスに影響を与えます。したがって、全体的なパフォーマンスに影響を与えることなく迅速なタスクスケジューリングを保証するために、十分に短い間隔を確保することが不可欠です。これらは、PAIがトレーニングで提供する機能の一部です。

（1）PAI-DSW

上の画像は対話型開発ノートブックを示していますが、ここでは詳細には説明しません。

（２）PAI-EAS

次に推論サービスです。大規模モデルの推論サービスでは、プロファイリングとデコード処理の要件が異なります。前者は計算集約型であり、後者はメモリ集約型です。モデルが大規模で多くの並列処理が必要な場合、適切な最適化を行うには堅牢なエンジニアリングフレームワークも必要であり、PAIはこの点において優れた機能を提供します。

（3）PAI-DLC

もう一つの構成要素はモデルトレーニングサービスPAI-DLCです。これは、インタラクティブ開発ノートブックPAI-DSW、モデル推論サービスPAI-EASとともにPAI AIプラットフォームの三本柱を形成し、AIインフラストラクチャの問題に包括的に取り組んでいます。現在、百川知能、Zero1500、vivo、復旦大学、Giant Interactiveなど、数多くの企業や機関がAlibaba Cloud上で大規模モデルのトレーニングを行い、Alibaba Cloudを通じて外部にサービスを提供しています。

三、Solution - 阿里云智能大数据产品解决方案

前面介绍的每个产品都形成了一些自己的小闭环，但是其实我们更希望提供更加统一的解决方案，在今年九月份的云栖大会上将推出一个新的解决方案。

如图，Meta管理、存储管理上面是跨引擎的复用，最上面是开发平台，可以跨引擎调度。我们希望通过这种一体化的方式，不仅仅在产品内部做大数据和AI和湖的这种生态的闭环，也在整体的解决方案上面做闭环。

这里想大家展示了之前提到的阿里云大数据AI产品组合的整体大数据AI融合的产品整体架构。

四、Future - 未来展望

最后是对未来的一些展望。历史上，我们走过很多的阶段，搜索、大数据、AI依次成为业界焦点。然而今天是有史以来第一次，大数据、搜索和AI同台演出。所以今天这个时代跟原来是不一样的，对系统的要求，对产品要求，对知识结构的要求，以及对整个方向的要求都是不一样的。所以，阿里云希望能做出更多更好的产品，来助力业务的创新与发展。如果大家对于上面的阿里云与AI产品感兴趣，也可以在官网体验我们产品的免费试用与各类入门教程，谢谢大家。

以上就是本次分享的内容，谢谢大家。