OpenAIの同規模モデルの96%の性能を達成し、リリースと同時にオープンソース化！国内チームがCEO自らコードを執筆し、新たな大規模モデルをリリースしました。

ミンミンが奥飛寺からQbitAIに報告 | WeChat公式アカウント QbitAI

国産開発の大型新モデルが登場、リリースと同時にオープンソース化！

速報：マルチモーダル大規模言語モデルである TigerBot が正式にリリースされました。これには 70 億と 1800 億のパラメータを持つ 2 つのバージョンが含まれており、どちらもオープンソースです。

このモデルがサポートする会話型AIも同時にリリースされました。

広告スローガンの作成、表の作成、文法エラーの修正に適しています。また、マルチモーダル処理をサポートし、画像を生成することもできます。

評価結果によると、 TigerBot-7Bは同規模のOpenAIモデルの総合パフォーマンスの96%を達成しました。

△ OpenAI-instruct GPT-6B-SFT をベンチマークとして使用し、各モデルのスコアを正規化して平均化し、公開 NLP データセットで自動評価します。

さらに大型の TigerBot-180B は現在、業界で最大のオープンソース言語モデルです。

さらに、チームは100Gの事前トレーニング済みデータと1G（100万）の教師あり微調整データポイントもオープンソース化しました。

TigerBot を使用すると、開発者は半日で独自のカスタム大規模モデルを作成できます。

TigerBotの会話型AIは現在ベータテスト中で、オープンソースのコードとデータはGitHubにアップロードされている（詳細は記事末尾のリンクを参照）。

これらの画期的な成果は、当初はわずか 5 人で構成され、チーフプログラマー兼科学者が CEO 自身だった小さなチームから生まれました。

しかし、このチームには決して正当な理由がないわけではない。

同社は2017年にNLP分野で事業を開始し、垂直ドメイン検索を専門としています。データ集約型の金融セクターに最も精通しており、Founder SecuritiesやGuoxin Securitiesといった企業と幅広く提携しています。

創設者兼 CEO は 20 年以上の業界経験を持ち、カリフォルニア大学バークレー校の客員教授を務め、トップクラスの会議論文 3 本と技術特許 10 件を保有しています。

現在、彼らは専門分野から一般の大規模モデルへと移行することを決意しています。

さらに、彼らは最も基本的なモデルから始めて、 3 か月以内に 3,000 回の実験反復を完了し、段階的な結果をオープンソース化する自信も持っていました。

当然、次のような疑問が湧いてきます。彼らは一体誰なのか？何を達成したいのか？そして、これまでにどんなマイルストーンを達成したのか？

TigerBotとは何ですか?

具体的には、TigerBot は国産の多言語タスクモデルです。

生成、自由形式の質問への回答、プログラミング、描画、翻訳、ブレインストーミングなど、15 の主要なカテゴリの機能をカバーし、60 を超えるサブタスクをサポートします。

さらに、プラグイン機能をサポートしており、モデルをインターネットに接続して、より最新のデータや情報を取得できます。

その位置付けは、オフィスのシナリオに重点を置き、人々のワークフローを改善し、効率性を高めることを目的としています。

たとえば、Apple Vision Pro のニュース概要を書くのに使用でき、その結果は非常に印象的です。

あるいは、明確で整理され、論理的に構成された論文のアウトラインを作成することもできます。

プログラミングも問題なく、英会話にも対応しております。

描画させると、毎回 3 つの異なる画像が生成され、その中から自分で 1 つを選択できます。

このリリースでは、TigerBot には 70 億パラメータ (TigerBot-7B) と 1800 億パラメータ (TigerBot-180B) の 2 つのサイズがあります。

チームは、現在の成果（モデル、コード、データ）をすべてオープンソース化しています。

オープンソースモデルには、次の 3 つのバージョンがあります。

タイガーボット-7B-sft
TigerBot-7Bベース
TigerBot-180B-研究

TigerBot-7B-baseは、OpenAIの同等のモデルやBLOOMよりも優れた性能を発揮します。TigerBot-180B-researchは現在、業界最大のオープンソースモデルです（MetaオープンソースOPTは1,750億個のパラメータを持ち、BLOOMは1,760億個のパラメータを持ちます）。

オープンソースコードには、基本的なトレーニングおよび推論コードに加えて、デュアルカード推論 180B モデルの量子化および推論コードが含まれています。

データには、100G の事前トレーニング済みデータと、教師あり微調整用の 1G または 100 万のデータポイントが含まれています。

公開 NLP データセットに対する OpenAI InstructGPT 論文の自動評価によると、TigerBot-7B は同じサイズの OpenAI モデルの全体的なパフォーマンスの 96% を達成しました。

このバージョンは MVP (Minimum Viable Model)のみです。

これらの成果は、主にチームによるGPTとBLOOMに基づくモデルアーキテクチャとアルゴリズムのさらなる最適化によるものです。これはTigerBotチームが過去数ヶ月間に行った主要な革新的取り組みでもあり、モデルの学習能力、創造性、そして生成の制御性を大幅に向上させました。

これは具体的にどのように実現されるのでしょうか？詳しくは続きをお読みください。

コストを削減しながらパフォーマンスを向上

TigerBot がもたらした革新には、主に次の側面が含まれます。

教師あり微調整を完了するための指示を提案する革新的なアルゴリズムにより、モデルの学習可能性が向上します。
アンサンブルおよび確率モデリング手法を使用して制御可能な事実性と創造性を実現する
並列トレーニングでブレークスルーが達成され、Deep-Speed などの主流のフレームワークのメモリと通信の問題が克服され、1000 カロリーの環境下で数か月間中断のない動作が可能になりました。
中国語のより不規則な分布に対処するために、トークナイザーとトレーニングアルゴリズムの両方に、より適切な最適化が行われました。

まずは、指示完了監視と微調整の方法について見てみましょう。

これにより、モデルは人間がどのような質問をしたかを迅速に理解できるようになり、少数のパラメータを使用して回答の精度が向上します。

原則として、制御にはより強力な教師あり学習を使用します。

マークアップ言語を用いることで、確率的手法は大規模なモデルにおいて、より正確に命令のカテゴリーを区別することを可能にします。例えば、命令の問題は事実に基づくものか、それとも発散的なものか？コードなのか、それとも表なのか？

したがって、TigerBotは10の主要カテゴリと120のサブタスクをカバーし、モデルは判断に基づいて対応する方向に最適化します。

直接的な利点は、呼び出されるパラメータが少なくなり、モデルが新しいデータやタスクに適応しやすくなること、つまり学習能力が向上することです。

同じ 500,000 のデータポイントをトレーニングに使用した TigerBot は、スタンフォード大学の Alpaca よりも 5 倍速く収束し、公開データセットの評価ではパフォーマンスが 17% 向上しました。

第二に、モデルでは、生成されたコンテンツの創造性と事実の制御可能性のバランスをより良く取ることも重要です。

TigerBot は、複数のモデルを組み合わせて創造性と実際の制御可能性のバランスをとるアンサンブルアプローチを採用しています。

ユーザーのニーズに応じて、2 つのモデルのバランスを調整することもできます。

一方、AI分野では古典的な確率モデリング手法も採用しました。

これにより、モデルはコンテンツ生成プロセス中に、最後に生成されたトークンに基づいて2つの確率を提供できます。1つの確率はコンテンツの拡張を継続するかどうかを決定し、もう1つの確率は生成されたコンテンツが実際のコンテンツからどの程度逸脱しているかを示します。

2つの確率の値を組み合わせることで、モデルは創造性と制御性の間でトレードオフを行います。TigerBotでは、これらの2つの確率は特殊なデータを用いたトレーニングから導出されます。

モデルが次のトークンを生成する際にテキスト全体を確認できないことが多いため、TigerBotは回答が書き込まれた後に再度判断を行います。回答が不正確であると判断された場合、モデルは回答を書き直す必要があります。

私たちの経験では、TigerBot は ChatGPT のように逐語的に回答を生成するのではなく、「考えた」後に完全な回答を提供することもわかりました。

△ ChatGPTとTigerBotの応答方法の比較

さらに、TigerBot の推論速度は非常に速く、迅速なモデルの書き換えが可能になります。

これが、TigerBot のトレーニングと推論における革新につながります。

TigerBot チームは、モデルの基盤となるアーキテクチャの最適化を考慮するだけでなく、現在の大規模モデルの時代においてはエンジニアリングのレベルも非常に重要であると考えています。

一方では、運用効率を考慮する必要があります。大規模モデルのトレンドが続く中、誰がより速くモデルを反復できるかが重要になります。他方では、コンピューティング能力の経済性も考慮する必要があります。

そのため、並列トレーニングの点では、ディープスピードなどの主流のフレームワークにおけるメモリと通信に関するいくつかの問題を克服し、1000カロリーの環境で数か月間中断のないトレーニングを実現しました。

これにより、毎月数十万ドルのトレーニング費用を節約できます。

最後に、中国語の強い連続性と多数の曖昧な状況の問題に対応するため、TigerBot はトークナイザーとトレーニングアルゴリズムの両方に対応する最適化を行いました。

要約すると、TigerBot によって達成されたすべての技術革新は、現在の大規模モデル分野で最も人気のある分野で発生しました。

基盤となるアーキテクチャを最適化するだけでなく、実装レベルでユーザーのニーズとコストも考慮しました。さらに、イノベーションプロセス全体は非常に迅速に進められ、10人程度の小規模なチームによって数ヶ月で実現しました。

これにより、チームの開発能力、技術的洞察力、実装経験に対する要求が非常に高くなります。

それで、TigerBot を突然世間の注目を集めたのはいったい誰なのでしょうか?

Hubot Technology とは誰ですか?

TigerBot の背後にある開発チームは、実はTigerBot Technologyという名前に隠れています。

同社は、AI 成長の最後の波と言われる時期の 2017 年に設立されました。

Hubot Technology は、次世代のインテリジェントでシンプルな検索エクスペリエンスを創造するというビジョンを掲げ、NLP テクノロジーの応用に重点を置いた「AI テクノロジー主導型企業」として自らを位置づけています。

具体的な実行経路としては、データセンシティブな分野の一つである金融分野を選択しました。この垂直分野において、インテリジェント検索、インテリジェントレコメンデーション、機械読解、要約、翻訳といった技術を独自に開発し、「Hubo Search」をはじめとするインテリジェント金融検索・質問応答システムを立ち上げました。

同社の創設者兼CEOは、世界クラスのAI科学者であるChen Ye氏です。

ウィスコンシン大学マディソン校で博士号を取得し、カリフォルニア大学バークレー校の客員教授を務めました。この分野で20年以上研究を続けています。

彼は、Microsoft、eBay、Yahoo で主任科学者や研究開発ディレクターなどの要職を歴任し、Yahoo の行動ターゲティングシステム、eBay の推奨システム、Microsoft の検索広告オークション市場メカニズムの開発を主導しました。

2014年、陳燁氏は大衆点評（Dianping）に入社しました。美団と大衆点評の合併後、美団・大衆点評の上級副社長に就任し、グループの広告プラットフォームを統括し、グループの年間広告収入を1,000万人民元から40億人民元以上に増加させることに貢献しました。

学術面では、トップカンファレンス（KDD、SIGIR）で最優秀論文賞を3回受賞し、SIGKKD、SIGIR、IEEEなどのAI学術カンファレンスで20本の論文を発表し、10件の特許を保有しています。

2017年7月、陳葉氏はHubot Technologyを正式に設立しました。設立から1年足らずで、Hubotは1億元を超える資金調達を達成し、現在までに総額4億元を調達していることを明らかにしています。

7か月前、ChatGPTが登場し、AIは6年ぶりに再び世間の認識を覆しました。

長年AI分野で起業家として活動してきた技術者の陳葉氏でさえ、「この業界で働き始めて以来、前例のない衝撃」だったと評した。

衝撃を超えて、さらに興奮が起こりました。

Chen Ye 氏は、ChatGPT を見た後、ほとんど考えたり決断したりする必要はなく、内なる呼びかけに従ってトレンドに従おうと決心したと述べています。

そのため、TigerBot は 1 月から正式に初期開発チームを設立しました。

しかし、私の想像と違って、これは非常に独特なオタクスタイルを持つチームです。

彼ら自身の言葉によれば、これは 1990 年代のシリコンバレーの典型的な「ガレージスタートアップ」モデルへのオマージュだそうです。

当初のチームはわずか5名で構成され、Chen Yeがチーフプログラマー兼サイエンティストとして、最もコアとなるコーディング作業を担当していました。その後、チーム規模は拡大しましたが、10名程度にとどまり、各メンバーが基本的に特定の役割を担うようになりました。

なぜそうするのでしょうか?

陳葉の答えは次の通りでした。

何かをゼロから作り上げるのはとてもオタク的なことだと思いますが、オタクのチームには 10 人を超える人はいません。
純粋に技術的、科学的な問題に関しては、小規模なチームの方が効果的です。

実際、TigerBot の開発プロセスでは、あらゆる面で決断力と鋭い洞察力が明らかになりました。

陳野はこのサイクルを3つの段階に分けました。

最初のフェーズでは、ChatGPT が普及して間もなく、チームは過去 5 年間にわたる OpenAI などの機関の関連文献をすべて迅速にレビューし、ChatGPT の方法論とメカニズムを全体的に理解しました。

ChatGPT コード自体はオープンソースではなく、当時は関連するオープンソースの作業も比較的少なかったため、 Chen Ye は自ら TigerBot コードを作成し、すぐに実験を開始しました。

彼らの論理はシンプルです。まず、小さなデータセットでモデルを検証し、次に体系的な科学的レビューを実施して、安定したコードセットを作成します。

チームは1か月以内に、このモデルが70億規模のOpenAIの同規模のモデルの80%の性能を達成できることを確認した。

第2フェーズでは、オープンソースのモデルとコードの利点を継続的に吸収し、中国のデータに対する特別な最適化処理を施すことで、チームはモデルの動作バージョンを迅速に作成し、最初の社内ベータ版は2月にリリースされました。

また、パラメータの数が数百億レベルに達すると、モデルに新たな現象が発生することも判明した。

わずか1、2か月続いた第3フェーズでは、チームは基礎研究においていくつかの成果と画期的な進歩を達成しました。

上で述べた革新の多くはこの期間に完成しました。

同時に、このフェーズでは、より高速な反復処理速度を実現するために、より大規模な計算能力が統合されました。1～2週間で、TigerBot-7Bの性能はInstructGPTの80%から96%へと急速に向上しました。

陳葉氏は、チームがこの開発サイクル全体を通して非常に高い効率を維持したと述べました。TigerBot-7Bはわずか数か月で3,000回の反復を経ました。

小規模チームの利点は、対応時間の迅速さです。午前中にタスクが決まれば、午後にはコードを完成させることができます。データチームであれば、数時間以内に高品質なデータクリーニングを完了できます。

ただし、迅速な開発と反復は、TigerBot のオタク的なスタイルの 1 つの側面にすぎません。

わずか 10 名で数か月で達成した成果を、完全な API の形で業界にオープンソース化する予定です。

現在の傾向、特に商業分野では、オープンソースがこれほどまでに受け入れられることは比較的稀です。

結局のところ、激しい競争に直面して、技術的な障壁を構築することは、商業企業が対処しなければならない問題です。

では、なぜ Tigerbot Technology はオープンソース化を望んでいるのでしょうか?

陳葉氏は2つの理由を挙げた。

まず、AI分野の技術者として、彼はテクノロジーに対する本能的な信念から、少々情熱的で感傷的なところがあります。

私たちは、世界クラスの大規模モデルを通じて中国のイノベーションに貢献することを目指しています。産業界に、実用的で基礎がしっかりした汎用モデルを提供することで、より多くの人々が専門的な大規模モデルを迅速に学習できるようにし、産業クラスターのエコシステムを構築します。

第二に、TigerBotは今後も急速な進化を続け、Chen Ye氏はこの競争の激しい環境下でも競争優位性を維持できると確信しています。たとえ他社がTigerBotをベースにより高性能な製品を開発しても、それは業界にとって良いことではないでしょうか？

陳葉氏は、タイガーボットは今後も作業を急速に進め、データをさらに拡張してモデルのパフォーマンスを向上させていくと明らかにした。

「大規模モデリングのトレンドはゴールドラッシュのようなものです。」

ChatGPT のリリースから 6 か月が経過し、大規模モデルが登場し、業界の大手企業がすぐに追随するにつれて、AI 業界の状況は急速に変化しています。

現時点ではまだ比較的混沌としていますが、大まかにモデル層、中間層、アプリケーション層の 3 つの層に分けることができます。

モデルレイヤーは基礎となる機能を決定するため、非常に重要です。

革新性、安定性、オープン性のレベルが、アプリケーション層の豊かさを直接的に決定します。

アプリケーション層の発展は、ビッグモデルのトレンドの進化の外部的な現れであり、AIGC のビジョンにおける人類の社会生活の次の段階に影響を与える重要な要因でもあります。

したがって、大規模モデル化の潮流の出発点において、その基盤となるモデルの基盤をいかに強固にしていくかが、業界として考えなければならない点です。

陳葉氏の見解では、人類は今のところ大型モデルの潜在能力の10～20％しか開発しておらず、根本的なレベルでは革新と改善の余地がまだ大きく残されている。

西部のゴールドラッシュと同じように、当初の目的は金鉱がどこにあるかを見つけることでした。

そのため、このようなトレンドと業界の発展の要求の下で、Hubot Technology は国内分野のイノベーションの代表として、先頭に立ってオープンソースの旗を掲げ、世界の最先端技術にいち早く追いつき、業界に独特の雰囲気をもたらしました。

国内のAIイノベーションは急速に進展しています。近い将来、より革新的で有能なチームが出現し、新たな洞察を注入し、大規模モデルの分野に新たな変化をもたらすと確信しています。

そして、これがおそらく、トレンドの劇的な進化における最も魅力的な側面です。

ボーナスタイム:

TigerBotを試してみたい方は、以下のリンクまたは「原文を読む」からウェブサイトにアクセスしてください。「ベータテストに応募する」をクリックし、組織コード欄に「Quantum Bit」と入力すると、ベータテストに合格できます。

公式サイト: https://www.tigerbot.com/chat

GitHub オープンソースアドレス:
https://github.com/TigerResearch/TigerBot

HUOXIU