出典: Big Fishのデータライフ

9月1日午前、「文心易言」が正式に一般公開されました。ユーザーはApp StoreおよびAndroidアプリストアから「文心易言アプリ」をダウンロードするか、「文心易言公式サイト」にログインして体験できます。以前はベータテストの資格を得るために、ユーザーは順番待ちをする必要がありました。公式発表によると、「文心易言」は百度の新世代知識強化言語モデルであり、対話やインタラクション、質問への回答、創作支援などが可能で、人々が効率的かつ便利に情報、知識、インスピレーションを得るのに役立ちます。

データガバナンス分野におけるWenxin Yiyanのレベルを理解することに非常に興味があります。同じデータガバナンス問題において、Wenxin YiyanとChatGPT4のどちらが優れているのでしょうか？ そこから、他の専門分野におけるWenxin Yiyanのレベルも容易に推測できます。ここでは、ChatGPT4のベンチマークスコアを100と仮定します。

質問 1:メタデータとは何を意味しますか?

• 「心からの言葉」からの答え:

• ChatGPT4の回答:

結果を見ると、 ChatGPT4の回答は論理的に構成されており、非常に具体的で、比較的理解しやすいことがわかります。「Wenxin Yiyan」はインターネットから定義をコピーしてまとめたようです。「Wenxin Yiyan」はこのラウンドで50ポイントを獲得しました。

質問 2:メタデータの概念を 5 歳の子供に説明するにはどうすればよいですか?

• 「心からの言葉」からの答え:

• ChatGPT4の回答:  

結果は、 「Wenxin Yiyan」とChatGPT4の両方の回答が許容範囲内であることを示しています。ChatGPT4はおもちゃの数などの抽象的なメタデータも追加しており、進化しているようです。「Wenxin Yiyan」はこのラウンドで80ポイントを獲得しました。

質問3:メタデータとタグの違いは何ですか？例を挙げてください。

• 「心からの言葉」からの答え:

• ChatGPT4の回答:

結果を見ると、 ChatGPT4の回答と比較して、「Wenxin Yiyan」は両者の本質的な違いを直接指摘していることがわかります。メタデータはデータ固有の属性であるのに対し、タグはオブジェクトをマークするためにユーザー定義の要素として使用されるということです。「Wenxin Yiyan」はこのラウンドで120ポイントを獲得しました。ChatGPT4は以前は非常に良い回答をしていたのを覚えていますが、今回はパフ​​ォーマンスが低かったです。

質問4:メタデータとデータディクショナリの違いは何ですか？例を挙げてください。

• 「心からの言葉」からの答え:

• ChatGPT4の回答:

結果を見ると、 ChatGPT4はメタデータとデータ辞書の目的と適用範囲の違いを明確に指摘しているのに対し、「Wenxin Yiyan」は違いを抽象的にまとめることなく、単に定義を繰り返しているだけであることが分かります。「Wenxin Yiyan」はこのラウンドで70ポイントを獲得しました。

質問5:メタデータとデータ標準の違いは何ですか? 例を挙げてください。

• 「心からの言葉」からの答え:

• ChatGPT4の回答:

結果を見ると、 「Wenxin Yiyan」は定義は大体理解しているものの、「標準」の概念を明らかに理解していないことがわかります。基本指標や計算指標を規範的な制約として扱っていますが、指標はあくまでも表現方法であり、標準かどうかとは関係がありません。標準は実際には非常に一般的な知識です。「Wenxin Yiyan」は関連性や推論能力に欠けていますが、ChatGPT4は示した例からもわかるように、それを十分に理解しています。「Wenxin Yiyan」はこのラウンドで50点を獲得しました。

質問6:メタデータとメタモデルの違いは何ですか? 例を挙げてください。

• 「心からの言葉」からの答え:

• ChatGPT4の回答:

結果を見ると、 「Wenxin Yiyan」は定義を提示しただけで、それをコピーしただけだったことがわかります。ChatGPT4は明らかに独自の解釈を持っており、「Wenxin Yiyan」はこのラウンドで50ポイントを獲得しました。

質問 7:メタデータとデータ ウィービングの関係は何ですか?

• 「心からの言葉」からの答え:

• ChatGPT4の回答:

結果によると、 ChatGPT4はデータウィービングの概念が比較的遅く登場したため、質問に答えることができませんでした。「Wenxin Yiyan」は無理やり推論した後、時間的に優位に立ち、許容できる定義を提示しました。「Wenxin Yiyan」はこのラウンドで130ポイントを獲得しました。

質問8:メタデータとプロアクティブメタデータの違いは何ですか? 例を挙げてください。

• 「心からの言葉」からの答え:

• ChatGPT4の回答:

結果を見ると、私は完全に満足していないようです。誰もが表面的な部分ばかり触れ、本質的な違いを指摘しなかったため、わずかな食い違いが生じました。アクティブメタデータとは、データ生成プロセスにおいて能動的に収集・記録されるメタデータのことです。一方、パッシブメタデータとは、データ利用時に自動的に生成されるメタデータのことです。 「Wenxin Yiyan」はこのラウンドで90点を獲得しました。

質問 9:データ ガバナンスとデータ管理の本質的な違いは何ですか?

• 「心からの言葉」からの答え:

• ChatGPT4の回答:

このような質問に直面したら、 「Wenxin Yiyan」は間違いなく困惑するだろう。なぜ言葉を分解したり、論理的に説明したりしないのか、ずっと不思議に思っていた。ChatGPT4が「データガバナンスとは『何をすべきかを規定すること』であり、データ管理とは『実際にどのように行うか』である。データガバナンスはデータ管理のための枠組み、ガイダンス、そして標準を提供する」といった典型的なことを言うとき、他に何を批判できるだろうか？「Wenxin Yiyan」はこのラウンドで20ポイントを獲得した。

質問 10:マスター データとは何ですか?

• 「心からの言葉」からの答え:

• ChatGPT4の回答:

結果を見ると、どちらも定義と例を提供しているため、同点です。 「Wenxin Yiyan」は比較的簡単で、このラウンドで80ポイントを獲得しました。

質問11:マスターデータの特徴は何ですか?

• 「心からの言葉」からの答え:

• ChatGPT4の回答:

結果は、どちらもマスターデータの3つの中核特性、すなわち重要性、共有性、耐久性を備えていることを示しています。 「Wenxin Yiyan」は、このラウンドで90ポイントを獲得しました。

質問 12:マスターデータ管理とは何ですか?

• 「心からの言葉」からの答え:

• ChatGPT4の回答:

結果は、 「Wenxin Yiyan」が言葉に詰まっていることを如実に示していました。マスターデータ管理の目標は大まかに理解していましたが、具体的な対策については明確ではありませんでした。ChatGPT4は、データガバナンスやパラメトリックデータ管理など、考えられるすべての項目を挙げ、期待を上回る結果を残しました。 「Wenxin Yiyan」はこのラウンドで60点を獲得しました。

質問13:マスターデータ管理システムとODSの本質的な違いは何ですか?

• 「心からの言葉」からの答え:

• ChatGPT4の回答:

結果から、 ChatGPT4は質問への回答に非常にピラミッド型の構造を持つ方法論的なアプローチを採用しており、可能な限り多くのことを網羅するために複数の視点から説明することに長けていることがわかりました。「Wenxin Yiyan」は、頭に浮かんだことをそのまま述べるなど、やや場当たり的に質問に答えており、ODSの目的を完全に理解していませんでした。「Wenxin Yiyan」はこのラウンドで50ポイントを獲得しました。

質問14:データ要素とは何ですか? 例を挙げてください。

• 「心からの言葉」からの答え:

• ChatGPT4の回答:

結果を見ると、 ChatGPT4は非常に詳細で分かりやすい例を提供していることがわかります。「Wenxin Yiyan」も定義を提供していますが、その例は間違っています。「Wenxin Yiyan」はこのラウンドで30ポイントを獲得しました。

質問15:データ要素とメタデータの違いは何ですか？例を挙げてください。

• 「心からの言葉」からの答え:

• ChatGPT4の回答:

この質問は「文心一言」の能力を超えているとしか言えず、「文心一言」はこのラウンドで10ポイントを獲得しました。

質問16:データアーキテクチャとは何ですか? 例を挙げてください。

• 「心からの言葉」からの答え:

• ChatGPT4の回答:

データアーキテクチャはそれほど難解な概念ではありませんが、 「Wenxin Yiyan」の解答能力を完全に超えており、「Wenxin Yiyan」はこのラウンドで0ポイントを獲得しました。

質問 17:企業がデータ ガバナンスを開始するのが適切な時期はいつですか?

• 「心からの言葉」からの答え:

• ChatGPT4の回答:

この問題は「文鑫易言」の能力を超えているとしか言いようがありません。S2やS4といった不可解な用語が唐突に登場しただけでなく、文章の構成も不十分でした。このラウンドで「文鑫易言」は0点でした。

質問18:データウェアハウス、ビッグデータプラットフォーム、データレイク、データミドルプラットフォームの本質的な違いについて論じてください。簡潔に、可能であれば例を挙げてください。

• 「心からの言葉」からの答え:

• ChatGPT4の回答:

結果を見ると、 「Wenxin Yiyan」は実際には違いを説明しておらず、概念を羅列しているだけで、その中には矛盾するものも含まれていました。ChatGPT4も概念について議論していましたが、各概念を一貫した視点から提示している点が重要です。これらの概念の説明から、それらの微妙な違いを理解することができます。最後に、データウェアハウスは集中処理、ビッグデータプラットフォームは多様なデータの処理、データレイクは集中ストレージ、データミドルウェアはデータサービスに重点を置いているという、非常に興味深い要約がありました。「Wenxin Yiyan」はこのラウンドで30ポイントを獲得しました。

質問 19:データ、データ リソース、データ アセット、およびデータ要素の関係と違いを区別してください。

• 「心からの言葉」からの答え:

• ChatGPT4の回答:

ChatGPT4さんの回答から、 4つの関連性と相違点が容易に分かります。データ要素はデータリソースを構成し、重要なデータリソースはデータ資産を構成し、利用可能なすべてのデータはデータリソースを構成します。データはこのシステムの基盤であり、データ要素はその構成要素であり、データリソースとデータ資産は粒度の異なる集合体です。 「Wenxin Yiyan」さんはデータ要素の概念を明確に説明しておらず、データ要素とデータ資産の違いさえも混同していました。「Wenxin Yiyan」さんはこのラウンドで30点を獲得しました。

質問 20:データ メトリックとデータ ラベルの基本的な違いは何ですか?

• 「心からの言葉」からの答え:

• ChatGPT4の回答:

結果はどちらも的を射ていましたが、ChatGPT4の方がより詳細で具体的でした。「Wenxin Yiyan」はこのラウンドで80ポイントを獲得しました。

20問すべてに回答した後、「Wenxin Yiyan」の平均スコアは56点でした。これはChatGPT4と比較した場合です。専門知識に関する「Wenxin Yiyan」の回答は、明らかに平凡で、少なくとも90%は私にとって全く価値がありませんでした。一方、ChatGPT4の回答は、豊富な回答と要約できます。30%はある程度価値があり、10%は漸進的な改善、5%は真に洞察に富んだものでした。10% + 5% = 15%は学習の黄金比です。

具体的な例からより広範な観察まで、専門分野においては「文心易言」はChatGPT4に依然として大きく遅れをとっていることが推測できます。もちろん、文学、芸術、歴史といった分野では「文心易言」の方がはるかに優れた成績を収める可能性が高く、これは主に中国語コーパスによるものです。

専門分野において、英語圏のコーパスは中国語をはるかに上回っています。中国語の質問に答える際、ChatGPT4は中国語を英語に翻訳し、より高品質な結果をもたらします。これは理にかなっています。ZhihuとCSDN以外に、中国で専門知識への無料アクセスを提供しているウェブサイトは他にいくつあるでしょうか？

いずれにしても、「文鑫易言」はもっと頑張らなければなりません!