|
マシンハートレポート マシンハート編集部
出典: マシンハート Google でスタートし、OpenAI を通じて有名になるというのが、多くの GPT-4 貢献者のキャリアの軌跡です。
今週、OpenAIが大規模モデルGPT-4をリリースしたことで、世界のテクノロジー業界における技術競争が激化しました。数日のうちに、ChatGPT、Bing Search、Microsoft 365がすべてGPT-4と統合され、MicrosoftはAIアプリケーション分野で競合他社を大きくリードするに至りました。新たな産業革命の始まりだとさえ言う声もあります。 GPT-4 のパフォーマンスに驚いている一方で、その背後にあるテクノロジーを理解したいと思い、そのトレーニング方法や計算能力などに興味を持っています。残念ながら、OpenAIは真にオープンではありません。公開された論文（技術レポートに近いものです）の中で、OpenAIはGPT-4モデルの微調整にRLHFを使用する以外、技術的な詳細は公開しないと明確に述べています。 GPT-4 などの大規模モデルの競争性とセキュリティへの影響を考慮し、このレポートには、アーキテクチャ (モデル サイズを含む)、ハードウェア、トレーニング計算、データセット構築、トレーニング方法などに関する詳細は含まれていません。しかしながら、この報告書には貢献者とそれぞれの責任に関する詳細なリストが掲載されており、詳しく検討する価値があります。数百人の貢献者が適切に分類されたこのリストにより、GPT-4の成功の背後にある様々な部門や技術部門の努力を理解することができます。この記事では、読者にインスピレーションを与えることを願って、代表的な寄稿者のリストをまとめました。組織構造の観点から見ると、GPT-4 の研究開発チームは、事前トレーニング、ロングコンテキスト、ビジョン、強化学習とアライメント、評価と分析、展開、追加の貢献の 7 つの部分に大まかに分けられます。長いコンテキスト部分の作業は次のように分類されます。強化学習とアライメントに関する作業は、次のように分類されます。 評価と分析のセクションは、次の部分に分かれています。貢献者リストを詳しく読むと、GPT-4プロジェクトチームのメンバーは典型的に複数の役割を担っていることがわかります。ChatGPTに追いつこうとするテクノロジー企業にとって、OpenAIの部門構造テンプレートは貴重な洞察を提供してくれます。さらに、AI分野における将来の人材育成にもインスピレーションを与えるかもしれません。 ChatGPTのリリース後、OpenAIは人材採用にも調整を加え、AIチャットボットを作成するために元GoogleとMetaの従業員数十人を雇用しました。 Googleがシリコンバレーの「黄埔陸軍士官学校」と称されるのは、OpenAIにとって当然のことです。LeadGeniusとPunks & Pinstripesのデータによると、同社の300人以上の従業員（2023年1月時点）の多くは、GoogleとDeepMindの親会社であるAlphabet出身です。データによると、OpenAIは現在、約59人の元Google従業員と約34人の元Meta従業員、さらに数人の元AppleとAmazon従業員を雇用しています。 OpenAIがGPT-4のリリース直後に完全な貢献者リストを公開したことを受け、Syncedではこの研究に参加した中国の研究者の一部のリストをまとめました。不足している名前があれば、ぜひご追加ください。 Trevor Caiは、GPT-4プロジェクトのスループットチームのリーダーです。南カリフォルニア大学で学士号と修士号を取得し、2022年3月にOpenAIに入社しました。OpenAI入社前は、DeepMindで約5年間ソフトウェアエンジニアとして勤務していました。 Qiming Yuanは、GPT-4プロジェクトのデータセット調達および処理チームの責任者です。清華大学で学士号、テキサス大学オースティン校で修士号を取得しています。2018年にOpenAIに入社しました。それ以前は、Microsoftで約3年間勤務していました。 GPT-4の開発においてOpenAIの副法務顧問を務めたChe Chang氏は、ノースウェスタン大学で博士号を取得し、2021年にOpenAIに入社しました。以前はAWSでAI/機械学習およびマーケットプレイス事業の法務チームを率いていました。OpenAIの法務チームは最近、AI製品コンサルタントの採用も開始しました。ロン・オウヤンは2019年にOpenAIに研究科学者として加わりました。ハーバード大学で学士号、スタンフォード大学で博士号を取得しており、同大学ではポスドク研究員を務めました。また、ChatGPT関連の技術プロジェクトの開発にも携わり、InstructGPT論文の筆頭著者でもあります。リリアン・ウェンはOpenAIのAI応用研究責任者です。2018年にOpenAIに入社し、GPT-4プロジェクトにおいて主に事前学習、強化学習とアライメント、モデルの安全性に関する研究に携わりました。タオ・シューは2019年にOpenAIに入社しました。北京大学とコーネル大学を卒業し、以前はマイクロソフトのBing機械学習研究グループに4年間所属していました。ジー・タンは、カリフォルニア大学バークレー校でコンピュータサイエンスの博士号を取得しました。在学中はピーター・アビール氏の指導を受けていました。OpenAI入社前は、スタートアップ企業とDropboxで約4年間勤務しました。ジー・タンは2008年にハーバード大学でコンピュータサイエンスと経済学の理学士号を取得しました。Ben Wang は現在ペンシルバニア大学の学部生で、2021 年に OpenAI に入社しました。Ben Wang は、GPT-4 プロジェクトの事前トレーニングとロングコンテキストの側面に参加しました。マーク・チェンは2018年にOpenAIに研究科学者として入社しました。彼はMITを卒業し、GPT-4プロジェクトの視覚関連の研究に参加しました。ケーシー・チューは2020年にOpenAIに入社しました。スタンフォード大学で計算数学の学位を取得しています。主な研究分野はマルチモーダルAIシステムで、GPT-4プロジェクトの視覚関連に主に携わっていました。 Shengli Huは2022年にOpenAIに入社しました。復旦大学で修士号、コーネル大学で博士号を取得しています。彼女の研究分野は、社会科学、計算言語学、コンピュータービジョン、音声認識といった分野にまたがる学際研究です。Huは、CVPR、ACL、EMNLP、ECCVなど、自然言語処理、コンピュータービジョン、音声認識、応用統計学の分野におけるトップクラスの会議やジャーナルに多数の論文を発表しており、最優秀論文賞にもノミネートされています。Tianhao Zhengは2022年にOpenAIに入社しました。清華大学で学士号、テキサス大学オースティン校で博士号を取得しています。OpenAI入社前は、NVIDIA、Google、Twitterで勤務していました。Tianhao Zhengは主にGPT-4プロジェクトのビジョン関連の作業に携わっていました。 Jiayi Wengは、2020年に清華大学でコンピュータサイエンスとテクノロジーの学士号を取得しました。学部生時代はZhu Jun教授の研究室に所属し、主に強化学習アルゴリズムライブラリTianshouの開発に携わりました。このライブラリはGitHubで5,900個のスターを獲得しています。カーネギーメロン大学で修士号を取得後、OpenAIにリサーチエンジニアとして入社しました。チョン・チャンは2010年に浙江大学コンピュータサイエンス学部に入学し、2014年にカナダのサイモンフレーザー大学で学士号を取得しました。その後、GoogleとAppleでエンジニアとして勤務しました。2019年にUCLAに入学し、2021年にコンピュータサイエンスの修士号を取得しました。それ以来、OpenAIで勤務しています。趙盛佳は2016年に清華大学で学士号を取得し、2022年にスタンフォード大学でコンピュータサイエンスの博士号を取得しました。スタンフォード大学ではステファノ・エルモン氏の指導の下、博士号を取得しました。その後、OpenAIに入社しました。ステファニー・リンは、MIT（マサチューセッツ工科大学）で学士号、ジョージア工科大学で修士号を取得しました。OpenAIに入社する前は、オックスフォード大学で研究員を務めていました。トン・ムーはUCLAで学士号を取得し、スタンフォード大学で博士号を取得しました。2022年にOpenAIに入社しました。ジェフ・ウーはMITで学士号と修士号を取得しました。スタートアップ企業Terminal.comの2番目の従業員であり、同社が買収された後、約2年間Googleで勤務しました。2018年にOpenAIに入社しました。カイ・シャオはMITで学士号と博士号を取得し、MicrosoftやDeepMindなどの企業でインターンシップを経験しました。2022年9月にOpenAIに入社しました。ケビン・ユーは、カリフォルニア大学バークレー校で物理学の理学士号と神経科学の博士号を取得しています。2022年にOpenAIに入社しました。 Haozhun Jinは2013年に清華大学コンピュータサイエンス学部を卒業し、学士号を取得、2015年にスタンフォード大学で修士号を取得しました。2015年から2018年までMetaでソフトウェアエンジニアとして勤務し、2023年1月にOpenAIに入社しました。シーシャン・グーは、日本生まれの中国系カナダ人です。以前はGoogle Researchのリサーチサイエンティストとして、ディープラーニング、強化学習、確率的機械学習、ロボティクスを専門としていました。ケンブリッジ大学とマックス・プランク知能システム研究所で機械学習の博士号を取得し、トロント大学で工学の理学士号を取得しました。トロント大学では、ジェフリー・ヒントン氏が博士論文指導教員でした。 Alvin Wangは、2022年8月にOpenAIの評価・分析チームのコアコントリビューターとして入社しました。以前は、VMwareやTeslaなどの企業で数年間勤務していました。2013年に南カリフォルニア大学を卒業しています。アンジェラ・ジャンは2021年11月にOpenAIに入社しました。彼女はMicrosoftとGoogleで短期間勤務していました。ノースウェスタン大学で学士号、CMUで博士号を取得しています。 Jason Weiは今年2月にOpenAIに加わり、主にChatGPTの研究に携わっています。以前はGoogle Brainのシニアリサーチサイエンティストとして、マインドチェーンキューの普及と、学習指示の調整に関する取り組みを共同で主導しました。また、GoogleのJeff Dean氏らと共に、大規模モデルの創発能力に関する論文を共同執筆しました。ジュンタン・チュアンは、Googleでの4ヶ月間のインターンシップを経て、2022年4月にOpenAIに入社しました。清華大学で学士号、イェール大学で修士号、イェール大学で博士号を取得しています。彼の研究は、生物医学分野への応用を目的とした新たな機械学習技術の開発に重点を置いています。デレク・チェンは2021年にOpenAIにテクニカルセキュリティアナリストとして入社しました。ノースイースタン大学を卒業し、以前はGoogleで1年未満勤務していました。 Yang Song氏は現在OpenAIの研究員であり、2024年1月にカリフォルニア工科大学の電気工学部と計算科学・数理科学部に助教として着任する予定です。Song氏は清華大学で数学・物理科学の学士号を取得し、2022年にはStefano Ermon氏の指導の下、スタンフォード大学でコンピュータサイエンスの博士号を取得しました。彼の主な研究分野は、深層生成モデル、確率的推論、AIの安全性、科学のためのAIを含む機械学習です。彼は拡散モデルとスコアベースの生成モデルの主要な創始者の一人です。NeurIPS 2019で発表された彼の研究は、画像生成品質において敵対的生成ネットワーク（GAN）を上回った最初の研究でした。博士課程在籍中、彼の筆頭著者論文がICLR 2021 Outstanding Paper Awardを受賞し、関連研究はApple Scholarship、JPMorgan Scholarship、WAIC Yunfan Awardを受賞しました。マイケル・ウーは2021年にOpenAIに入社し、人工知能の応用研究を主な業務としています。MIT卒業生で、GPT-4プロジェクトの推論担当主任研究者を務めました。 Andrew Pengは、2年間Microsoftに勤務した後、2022年末にOpenAIに入社しました。カリフォルニア大学バークレー校出身のPengは、主にGPT-4 APIとChatMLの導入に携わっていました。シャーウィン・ウーは2022年にOpenAIに入社し、AIアプリケーションとAPI開発を主な業務としています。MIT卒業生のウーは、GPT-4プロジェクトにおいて主にAPI開発とChatMLの導入に携わってきました。ジェイソン・チェンはMITで学士号を取得し、2007年から2014年までGoogleでソフトウェアエンジニアとして働き、2014年から2019年までスタートアップのApptimizeで働き、2019年から2023年2月までArgo AIで働き、2023年2月にOpenAIに入社しました。 Xin Hu は 2022 年 6 月に OpenAI に入社し、クラウド セキュリティ、Kubernetes セキュリティ、認証/承認、アクセス制御のためのセキュリティ サービスとプラットフォームの開発を主に担当していました。さらに、OpenAIは、GPT-4の開発への貢献、特にモデルトレーニングのためのインフラストラクチャ設計と管理においてMicrosoft Azureサービスから提供されたサポートに対して、Microsoftに感謝の意を表しました。MicrosoftのBingチームとセキュリティチームもGPT-4の展開に貢献しました。 https://openai.com/contributions/gpt-4?continueFlag=ee0eebd278339fc5ba428add63b4b4fd https://cdn.openai.com/papers/gpt-4-system-card.pdf |
ベクトル化コードの実践と考察：ベクトル化技術を用いたコードの高速化方法
2026-01-09