HUOXIU

iFlytekのChatGPTが突如社内テストを開始!一夜かけて直接テストを実施しました。

ミンミン・シャオシャオがQbitAIの奥飛寺からレポート | WeChat公式アカウント QbitAI

iFlytek の ChatGPT 製品が予定より早く提出されました。

ちょうど昨夜、iFlytek は突然開発者向けに社内テスト チャネルを開設し、 iFlytek Spark Cognitive Big Modelと呼ばれるものの内部テストを開始しました。

また、Spark Deskという独特な英語名も付いており、これは「スパークデスクトップインテリジェントアシスタント」を意味すると言われています。

iFlytekの今回の動きは、いわば「逆遅延」と言える。というのも、iFlytekは今年2月初旬に、ChatGPTの中国版開発を加速させていると報じられていたからだ。その後、中国国内で大規模モデルへの注目が高まると、iFlytekは先手を打って期限を公表し、5月6日に製品を発売するとした。

誰もが驚いたことに、正式リリースのわずか 10 日前に、突然ベータ テストの招待が開始されました。

ベータテストにすでに参加したユーザーからのフィードバックによると、結果が「期待を上回った」という意見もあれば、「平均的」だったという意見もあります。全体として、大多数のフィードバックは、伝えられたメッセージが好意的に受け止められたことを示しています。

ベータ テストのアクセス権を取得する方法も非常に興味深いものでした。資格を確認するために AI からの電話がかかってくるというものでした。

もちろん、最終的な判断を下す前に、iFlytek の大規模モデル機能を実際のシナリオでテストすることが最善です。

そのため、ベータテストへの招待をすぐに受け取り、一晩でテストを完了しました。詳細は以下の通りです。

iFlytek大型モデルの予備テスト

ログイン後、最初に表示されるのは、iFlytek Spark Cognitive Big Model の自己紹介です。

私は人間の言語を学習して理解し、多ターンの会話に参加し、質問に答え、人々が知識とインスピレーションを得るのを効果的に支援することができます。

いつものように、言語、数学、コーディング、ロジックの観点から、iFlytek Spark 認知ビッグデータ モデルの総合的な能力をテストします。

まずは言語スキルをテストしてみましょう。

「Idiot Bar」がChatGPT時代のベンチマークになったことを考慮して、まずは誰もが見たい部分をテストします。

iFlytek の特性を考慮して、iFlytek Spark に地獄のジョークを添えました。

意外にも、安徽省の人々のことを理解しています。

画像IDの透かしを削除しましたので、スクリーンショットの文字が不明瞭になる場合がございます(ご理解のほどよろしくお願いいたします)。

別のなぞなぞに挑戦してみましょう。

iFlytekの回答は非常に深刻でした。まず、「玉皇大帝が存在するかどうかは、私のAIでは判断できません」と述べました。この質問は全く的外れであり、玉皇大帝の居住地の設定は現代科学とは全く関係がありません。

しかし、どうしても私に何かを言わせたいのなら、玉皇大帝は地球の上空にいるかもしれないとしか言​​えません。

しかし、この答えには小さな欠陥があります。東アジアの宗教的信念では、天界には天国と神の領域の両方が含まれます(?)。

実は、いくつかのばかげた質問に対して、Xunfei Xinghuo のパフォーマンスは、理解しているが完全には理解していないことがよくあります。

たとえば、本を燃やしたり学者を生き埋めにしたりすることは知っていますが、その結果生じる地獄のようなジョークを説明することはできません。

しかし、Xunfei Xinghuo の基本的な中国語スキルのパフォーマンスは依然として注目に値します。

たとえば、最初の文が与えられた場合、魯迅風の詩を書いてください。

基本的には要件をすべて満たしていましたが、なぜかつてわかめスープが漁師たちの希望だったのでしょうか? AIの深い意味が理解できません。

ジェイ・チョウのスタイルに変えたらどうなるでしょうか?

パフォーマンスはなかなか良かった。最後の3行はすぐに差し替えられた。幼少期へのノスタルジアは、ジェイ・チョウの曲に繰り返し登場するテーマだ。

中国の古典テキストにおける対句は通常、よく調和しており、意味を正確に表現しています。

連句の最初の行は、「祝福と知恵の両方を養うには、それをすべてのものに広げる必要があります。」です。

慣用句連鎖ゲームをもう一度試してみましょう。

間違った答えをした場合、注意を受けた後に自ら訂正することができ、一定レベルの多ターン会話能力を発揮します。

私が作成したオニオンニュースの記事は、まさにその気持ちを捉えています〜

ホラーストーリーの続編もなかなかよかったです。

それでは彼らの数学のスキルを見てみましょう。

基本的な足し算と引き算の問題、そして鶏とウサギの問題はすべて簡単に扱えます。

しかし、高度な数学では、まだ少し難しいです。f(x) = x(x-1)(x-2)(x-3)、f'(0) = ? を解いてみましょう。

計算ミスを指摘されても訂正が難しい(正解は-6)。

さて、今度はコーディングスキルについてお話しましょう。

私たちのリクエストは、計算機プログラムの作成を手伝ってほしいということです。

確かに、四則演算用のシンプルな計算機が完成しており、コマンドライン インターフェイスも備えています。

小さなバグ (関数の外部から戻ることができない) を除けば、簡単な変更を加えるだけで実行できます。

Python のインデントにおけるスペースとタブの議論に関しては、この AI はスペース支持者です。

試してみるためのコード スニペットを次に示します。

 #coding=utf-8
#量子位注:AI没生成这句,根据不同运行环境可能需要加一下

# 定义函数,实现加法运算

def add (x, y) :

return x + y

# 定义函数,实现减法运算

def subtract (x, y) :

return x - y

# 定义函数,实现乘法运算

def multiply (x, y) :

return x * y

# 定义函数,实现除法运算

def divide (x, y) :

if y == 0 :
print( "除数不能为零!" )
return
else :
return x / y

# 主程序

print( "欢迎使用计算器!请选择需要进行的操作:" )

print( "1. 加法" )

print( "2. 减法" )

print( "3. 乘法" )

print( "4. 除法" )

choice = input( "请输入操作编号(1/2/3/4):" )

num1 = float(input( "请输入第一个数字:" ))

num2 = float(input( "请输入第二个数字:" ))

if choice == '1' :

print(num1, "+" , num2, "=" , add(num1, num2))
elif choice == '2' :

print(num1, "-" , num2, "=" , subtract(num1, num2))
elif choice == '3' :

print(num1, "*" , num2, "=" , multiply(num1, num2))
elif choice == '4' :

if num2 == 0 :
print( "除数不能为零!" )
# return (量子位注:这里有bug,注释掉就可)
else :
print(num1, "/" , num2, "=" , divide(num1, num2))
else :

print( "非法输入!" )

また、テーブルを生成する機能もあり、要件に応じてテーブルを変更することもできます。

基本的な論理的問題を分析することもOKです。

さらに、Xunfei Xinghuo 氏の回答は常に非常に真剣であり、最も想像力豊かな質問に対しても冷静に「一般-専門-一般」の回答を与えていると感じます。

もちろん、彼らも惑わされて、「賈おばあちゃんは機械を動かす人を探していた」という嘘をついた。

上記は、Xunfei Xinghuo に対して実施した簡単なテストです。

能力レベルはすでに実証されていますが、大型モデル自体の本当に興味深いのはその技術的な詳細です。

「モデル詳細」を詳しく見てみましょう。

iFlytek の大型モデルはまだ正式にリリースされていないため、まずは同社に問い合わせて「様子見」してみることにします。

関連する質問をすることで、事前にそれに関する情報を入手できるかどうか見てみましょう。

まず、名前の由来を見てみましょう。iFlytek Spark Cognitive Modelは、テクノロジー、企業、文化という3つの視点から回答を提示し、まるで論説文のような印象を与えます。

「スターファイア」と「アンタレス」がなぜ関連しているのかをさらに探っていくと、会話は徐々に占星術に移っていきます。

ここで、大型モデルを少しだけ紹介して、iFlytek の CEO に占星術が好きかどうか尋ねてみました。

さて、本題に戻りましょう。iFlytek Spark Cognitive Big Data Modelのトレーニングデータのソース、モデルパラメータの数、そしてネットワーク接続性はどうなっているのでしょうか?

まず、モデルトレーニングデータのソースについてですが、リソースは非常に豊富で、継続的に更新されています。

では、iFlytekの大規模モデルはChatGPTのようにRLHFを使用しているのでしょうか?驚くべきことに、その答えは「ノー」です。

次に、モデルパラメータの数の問題に移りますが、この点でも iFlytek の大規模モデルはかなり曖昧な答えを出しました。

さらに、与えられたモデルパラメータはわずか数億個でしょうか?(GPT-2モデルには15億個のパラメータがあることに留意してください)

最後に、モデルをインターネットに接続できるかどうかという疑問があります。

リアルタイムでインターネットに接続されることはないようで、NetEase と Blizzard に関するニュースは数年前に遡ります。

ユーザーは Web サイトに直接アクセスしたり、コマンドを使用して特定の情報を照会したりすることができず、何らかの制限が課されていることを示します。

しかし興味深いことに、動作して特定の情報やデータにアクセスするには、依然としてインターネット接続が必要だと主張しています。

iFlytek の Spark Cognitive Big Data Model によると、そのトレーニング データはまだ更新中です。

つまり、まだ反復作業が続けられており、正式リリースまでにモデルの別のバージョンが更新されると予想されます。

現状から判断すると、iFlytek の Spark Cognitive Big Data Model は非常にうまく機能しています。

さらに注目すべきは、iFlytekは当初5月6日にテストを提出する予定だったが、ここにきて突如として社内テストを公開したということであり、これは期限を延期したどころか、「期限を逆に延期した」に等しい。

この観点から見ると、iFlytek の NLP と認知インテリジェンスに関する深い技術的専門知識に加えて、iFlytek の技術およびエンジニアリング チームが優れた実践能力を備えていることも示しています。つまり、困難な課題に対処できるだけでなく、「約束を果たす」こともできるのです。

正式リリースまで残り10日となりましたが、iFlytekの大規模モデル反復によってどのような新たな効果が期待できますか?

-以上-