敖飛寺、QuantumBitからの恒宇レポート | WeChat公式アカウント QbitAI

ChatGPT で勃発した多くの激しい戦いを見ている一方で、水面下では他にどのような激しい戦いが繰り広げられているのでしょうか?

今日、私たちは「非営利」という使命から逸脱したOpenAIや、ビジネスモデルの破壊に直面しているGoogle検索に注目すべきではありません。企業レベルから目を離し、すでに最高潮に達している別の戦いに目を向けてみましょう。

ChatGPTの爆発的な成長の波に乗り、2月中旬の同日30分以内に、Google Brainのビッグデータモデル開発の才能豊かな2人がOpenAIへの参加を正式に発表しました。そのうちの1人、Jason Wei氏はChain-of-Thought（CoT）の初期の著者です。

大規模モデルの衝突の裏側では、GoogleとOpenAIが熾烈な人材争奪戦を繰り広げています。AI人材は、数億ドルに上る投資や資金と同じくらい重要であり、非常に切望される資産です。

しかし実際には、ChatGPT が騒動を巻き起こすずっと前から AI 人材の流出と引き抜きは始まっていました。

GPT シリーズ: 8 人の共同設立者が Google と ChatGPT の戦いで重要な動きを見せる。

急速な進歩を遂げた ChatGPT は、 GPT から InstructGPT への反復を通じてOpenAI の技術的経験と強みを蓄積してきました。

ChatGPTはOpenAIのGPT-3.5をベースにしています。OpenAIは2018年と2019年に、それぞれ1億1,700万パラメータのGPT-1と15億パラメータのGPT-2をリリースしました。2020年には、膨大な学習パラメータを用いて驚異的な成果を達成したGPT-3がリリースされ、人間の特異な能力を明らかにし、大きな話題を呼びました。そして2022年初頭には、わずか13億パラメータでGPT-3よりも優れた結果を達成する最新のInstructGPTモデルがリリースされました。

ニューヨークタイムズは、次世代のGPT-4がOpenAI内でリリースされる準備がほぼ整っていることを明らかにしました。昨年11月中旬、経営陣は突然、新しいタスクを発表しました。それは、2週間後に「Chat with GPT3.5」というコードネームの無料チャットボットアプリケーションをリリースすることであり、これが今日私たちが目にするChatGPTです。

著者は51名で、うち2名は論文執筆に3回参加しました。

GPT シリーズでは51 人の著者が関与した4 つの論文が発表されています。

著者リストで最も頻繁に登場する2人の著者は、アレック・ラドフォード氏とイリヤ・サツケヴァー氏です。両名ともGPT-1からGPT-3までの論文執筆に参加しました。前者はOpenAIの機械学習研究者であり、indico.ioの共同設立者でもあり、Google Scholarで最も引用されている研究はDC-GANです。後者はOpenAIの共同設立者の一人であり、OpenAIのチーフサイエンティストとしても知られ、GPTシリーズとDALLEシリーズモデルの開発を主導しました。

他の 5 名も GPT シリーズの論文に2 回寄稿しました。

51名の人材プロフィールには、名門大学出身者が多数含まれています。不完全な統計によると、 MITとスタンフォード大学が最も多く登場しますが、その他にもイェール大学、カリフォルニア大学バークレー校、ハーバード大学、オックスフォード大学などの大学で学位を取得している人が多くいます。中には、複数のトップ大学で学んだ経験を持つ人もいます。例えば、OpenAIの元研究担当副社長であるダリオ・アモデイ氏はプリンストン大学とスタンフォード大学に通っていました。また、InstructGPT論文の共著者の一人であるグレッチェン・クルーガー氏は、MIT、ハーバード大学、コロンビア大学などの大学出身です。

離脱したチームは ChatGPT に対抗する会話型 AI を作成しました。

GPTシリーズの背後にいた51人が、大規模言語モデルにおけるイノベーションの潮流を先導したことは疑いようがありません。GPTシリーズ終了後、多くの人がOpenAIを去りました。GPT-3の共著者であり、コロンビア大学の博士課程学生で、元々OpenAIに所属していなかったMelanie Subbiah氏を除くと、 50人のうち16人が同社を去りました。

最終的に8人がAIスタートアップ企業Anthropicに渡りました。より正確には、ダリオ・アモデイ氏やGPT-3論文の筆頭著者であるトム・B・ブラウン氏を含む中核人材グループは、OpenAIがMicrosoftの子会社になったことに不満を抱いていました。この投資により、OpenAIは研究にAzureスーパーコンピューティングを使用し、Microsoftに技術ライセンスを供与し、さらにはMicrosoftの投資活動のための資金を調達しなければならなくなり、OpenAIの当初の意図（高度なAIセキュリティへの注力）と矛盾する事態となりました。

最終的に、GPTシリーズの著者8人を含む11人の元OpenAI従業員が怒りのあまり同社を去り、生成AIに重点を置いた制御可能で説明可能なAIに取り組むために2021年にAnthropicを設立しました。

△ GPT所属作家がAnthropicを設立

1月下旬、Anthropicはチャットボット「Cladue」の社内テストを開始しました。生成型対話AIであるChatGPTとの競争は避けられませんでした。両者とも長所を持ち、最終的な評価結果では、Cladueが12のタスクのうち8つで優れた成績を収めました。

アンスロピックに関する最近のニュースにより、この「アベンジャーズ」コンビはより注目を集める存在となりました。今月初め、 Googleはアンスロピックに3億ドル（約20億3000万人民元）以上を投資し、株式の約10%を取得しました。この契約により、アンスロピックはGoogleのクラウドコンピューティング部門からコンピューティングリソースを購入することになります。これは、3年前にOpenAIがMicrosoftから受けた10億ドルの投資を彷彿とさせ、MicrosoftをOpenAIの独占クラウドプロバイダーとして位置付けました。

言い換えれば、ダリオ・アモデイ氏は、3年前に軽蔑されたOpenAIが大手投資家から提供されるコンピューティングパワーを技術開発に利用しているのと同じ道をアントロピック社を率いていると言えるでしょう。現在、アントロピックの評価額は50億ドルに達し、Googleのほか、Facebookの共同創業者であるダスティン・モスコヴィッツ氏や、元Google CEOで現在は技​​術顧問を務めるエリック・シュミット氏など、既存の投資家も名を連ねています。

Googleで働くことに切り替えた人もいます。

OpenAI GPTを去った16人のうち、主な行き先はAnthropicでした。残りの8人のうち3人はすぐにGoogleに入社しました。

1人目は、GPT-1の3人目の著者であるティム・サリマンス氏で、2018年7月にアムステルダムに拠点を置くGoogle Brainにシニアマネジメントサイエンティストとして入社しました。2人目は、GPT-2の4人目の著者であるデイビッド・ルアン氏で、2020年9月にマネージャーとしてGoogleに入社し、1年以上勤務した後、Transformer論文の著者であるアシシュ・ヴァスワニ氏とニキ・パーマー氏と共に、人間とコンピューターが協働できる汎用人工知能の開発を目標とするAdeptという会社を設立しました。3人目は「a」氏で、2021年3月にGoogle Brainに入社しました。

今日、AdeptとAnthropicは、新興勢力のOpenAIやその強力なライバルであるDeepMindほどの知名度はないかもしれませんが、それぞれAI業界に多大な貢献を果たしており、ChatGPTに匹敵するClaudeのような製品を生み出しています。この2社の業績は、GPTグループの創設者たちがまさに並外れた才能の持ち主であることを如実に示しています。

LaMDA: 会員の4分の1は学士号のみ

GPT関連論文の著者の現状を概観したところで、GoogleのLaMDA論文の著者チームに注目してみましょう。この論文には合計60名の著者がいます。GPTの著者と同様に、LaMDAの著者も素晴らしい学歴を誇っており、スタンフォード大学出身者が6名と最も多く、次いでコロンビア大学が3名、浙江大学、ビラーク工科大学、デューク大学、上海交通大学、イェール大学、国立台湾大学が続き、これら6大学は2名ずつ登場しています。

しかし、公平を期すために言うと、他のチームと比較すると、LaMDA チームは名門大学の出身者が少なく、メンバーの多くはアビリーン・クリスチャン大学、イベロアメリカン大学、ハーディング・シモンズ大学などの一流大学以外の大学から来ています。

15 人の著者は全員学士号しか持っておらず、そのほとんどがコンピューターサイエンスを専攻していました。

LaMDA の著者の経歴には、他の 3 つの特徴も明らかです。

まず、少なくとも17人が学業のどこかの段階でコンピュータ工学／科学を専攻しており、その他多くの人が学業を通してコンピュータサイエンスのバックグラウンドを持っていました。例えば、ホンレ・リーはソウル国立大学でコンピュータサイエンスの学士号と修士号を取得し、その後コロンビア大学でコンピュータサイエンスの博士号を取得しました。

第二に、不完全な統計によると、 LaMDA 論文の著者のうち少なくとも 15 人は学士号しか持っておらず、その半数はコンピューター工学/科学を専攻していました。

第三に、 LaMDA論文の著者のうち7人はGoogleで10年以上勤務しています。最年長はイゴール・クリヴォコン氏で、今年2月の時点で19年5ヶ月Googleに勤務しています。ウィル・ルッシュ氏もGoogleで19年間勤務しています。彼は南カリフォルニア大学電気工学科を卒業後、Googleに入社し、それ以来ずっとGoogleに所属しています。

△イゴール・クリヴォコン

前述の通り、GPTグループの著者の5%がライバルのGoogleに移籍しました。一方、LaMDA論文の著者は誰もライバルのOpenAIに移籍せず、非常に安定した立場を維持しました。では、LaMDA論文の著者たちの注目を集める可能性のある企業はどのような企業なのでしょうか？

その答えは、Inflection AI と Character.AI という 2 つの AI スタートアップです。

退社後、AIスタートアップInflection AI & Character.AIの創設チームに加わる。

まずInflection AIについてお話しましょう。この機械学習スタートアップは、LaMDAの著者の一人であるジョー・フェントン氏と、 OpenAIを離れてGoogleに入社した3人のうちの一人であるレウォン・チャイルド氏によって共同設立されました。創業チームには、LinkedInの共同創業者であるリード・ホフマン氏、DeepMindの創業メンバーでGoogleのAI製品・ポリシー担当副社長であるムスタファ・スレイマン氏も含まれており、実に豪華な顔ぶれです。LaMDAの論文著者であり、元Googleの研究エンジニアであるマールテン・ボスマ氏も創業後に入社し、現在はInflection AIの技術スタッフとして活躍しています。

同社の最終目標は、人工知能を用いて人間とコンピューターの「対話」を支援することです。Inflection AIは昨年5月、シリーズAラウンドで2億2,500万ドルを調達しました。資金の出所は不明ですが、同社の評価額は12億ドルを超えています。

さらに、LaMDA 論文の著者 5 名がCharacter.AIに参加しました。

Character.AIの創設者であるNoam Shazeer氏は、元Googleの主任ソフトウェアエンジニアであり、LaMDAの研究に参加しただけでなく、Transformer論文の著者の一人でもあります。デューク大学を卒業後、Noam Shazeer氏は2000年後半にGoogleに入社し、Googleの初期の最も重要な従業員の一人となりました。彼は一時期Googleを離れていましたが、2021年10月に自身の会社を設立するためにGoogleを離れるまで、17年5ヶ月間そこで働きました。Character.AIの現社長であるDaniel De Freitas氏もLaMDA論文の著者です。Googleに入社する前は、MicrosoftのBingでソフトウェアエンジニアとして働いていました。

実際、LamDAの論文が発表された頃には、ノアム・シャジーアとダニエル・デ・フレイタスはすでにGoogleを退社し、Character.AIの準備を始めていました。Character.AIは、LaMDAニューラル言語モデルをベースにしたチャットボットウェブアプリケーションを開発したと報じられており、人間のようなテキスト応答を生成し、文脈に基づいた対話を行うことができます。

余談ですが、LaMDAの作者以外にも、Googleの大規模モデリングチームでは最近、人材の入れ替わりが頻繁に起こっています。BERTモデルの4人の作者の1人であり、「BERTの父」として知られるJacob Devlin氏は今年1月にGoogleを離れ、OpenAIに加わりましたが、昨年のChatGPTローンチページに掲載された謝辞を見てください。Barret Zoph氏を含む5人は、ChatGPTのリリース前にOpenAIに加わり、開発と準備において重要な役割を果たした元Google社員です。さらに、The Informationは、少なくとも4人のGoogle Brainメンバーが今年1月にOpenAIに加わったことを明らかにしました。

この生き残りの危機において、Googleは人材流出の危機を察知し、一連の対策を講じた。OpenAIを離れたチームが構築したAnthropicへの多額の投資に加え、大規模言語モデルに注力するBlueshiftチームは、 DeepMindに正式に加盟し、LLMの能力を共同で向上させることを目指している。まずはアレイ自体を調整し、OpenAIからの猛攻に対抗するために社内リソースを集中させる。

人材争奪戦に挑む中国人

今年初め、大規模モデリングの人材の転職が頻繁に行われるようになった。GoogleからOpenAIに移籍した4人のGoogle Brainメンバーの中には、中国系アメリカ人で、Google Brain Japanチームの元メンバー、ケンブリッジ大学の博士号を持ち、創設者3人のうちの1人であるヒントン氏の指導の下、トロント大学で学部生として学ぶシェーン・グーがいる。昨年5月には、 「一歩ずつ考えよう」というフレーズを追加すると、GPT-3が数学の問題を解く際の精度が61％向上するという発見があり、これはシェーン・グーが参加した研究成果である。

GoogleとOpenAIの人材争いにおいて、彼のような中国人は他に何人現れただろうか？ 不完全な統計によると、合計16人であり、そのうち14人がLaMDA論文の著者で、全体の87.5%を占めている。つまり、大規模モデルを構成する111人のうち、中国人は14.4%を占めていることになる。

ここで特に言及すべき人物が二人います。一人はエド・チー氏です。1973年生まれの中国系アメリカ人で、現在はGoogleの著名な科学者であり、若い頃は情報臭理論を用いてウェブサイトのユーザビリティを予測したことで知られていました。

エド・チーはミネソタ大学ツインシティ校で修士号を取得後、1997年から2011年までパロアルト研究所（PARC）で研究科学者として勤務しました。2011年、PARCのシニア研究科学者を退社し、Googleに入社しました。2012年には、ヒューマンコンピュータインタラクション分野で最も権威のある学術会議であるCHIにおいて、技術プログラムの共同議長を務めました。2017年、エド・チーはGoogleのチーフサイエンティストに昇進しました。

もう一人の注目すべき人物はLong Ouyang氏です。彼はChatGPTに関連する7つの主要な技術プロジェクトのうち、InstructGPT、webGPT、RLHF、ChatGPTを含む4つのプロジェクトに参加しました。彼はInstructGPT論文の第一著者であり、RLHF論文の第二著者でもあります。

科学技術の革命的な波の背後には、才能の頻繁な流れがあります。

ある調査によると、GoogleとOpenAIは大規模モデル開発の主要プレーヤーであるものの、人材の流動性は実際にはかなり一般的であることが明らかになりました。この記事で言及されている人物だけでも、GPT-2論文の4人目の著者、Transformer論文の第一著者、そしてAdeptの共同創設者は、6ヶ月足らずで新会社初の大規模モデルACT-1を発表しました。Anthropicは、会話型ロボットCluadeを開発し、GoogleとOpenAIの戦いにおいて強力な武器となっています。

△ OpenAIやGoogleを退社した大規模モデリング企業出身の人材が設立したAIスタートアップ。

全体的に、ChatGPT の爆発的な成功により、大物モデルの背後にいる才能にさらなる注目が集まり、これらの個人にとって、ChatGPT によってもたらされる機会は、彼らが直面しなければならない課題でもあります。

こうなると、ChatGPT のような製品を開発する上で中国が有利な点はどこにあるかという疑問が生じます。

大規模なモデルを構築し、パラメータとデータを積み重ねることで奇跡を起こすという戦略は、中国のチームが常に得意としてきたものです。しかし、中小企業が莫大なコストを負担することは不可能であり、大企業は全体的な戦略を包括的に検討する必要があります。これらの様々な要因が、異なる視点から見ると、ChatGPTの中国版の誕生を阻む外的制約となっています。

したがって、外部制約を突破するには、巧みな戦略が必要です。アルゴリズムとデータの格差が現状では、この熾烈なグローバル競争を勝ち抜く鍵は才能かもしれません。大規模モデルを支えるすべての参加者、アイデア、データ、そして技術は、同等の価値を持ちます。中国には人材不足はなく、特に才能不足はありません。GPTとLaMDAの論文を執筆した中国人の数は、中国のAI人材プールの強さを物語っています。才能の集積は、規模に基づく競争優位性を生み出す可能性があります。

AGIをめぐる戦いは終わらない！研究者が研究に没頭する一方で、同時に優秀な人材を奪い合うという現象は、中国ではすでに顕在化している。就職や転職を考えている人は、今から準備を始めるべきだ。