HUOXIU

OpenAI創設者:GPT-4の研究の起源と構築原理

ソース:   ワンフロー

OneFlowコンパイル
翻訳:Yang Ting、Jia Chuan、Xu Jiayu
 
30年前、インターネット(Web 1.0)の時代が始まりました。当時は、大型のコンピュータ上でマウスを使ってHTMLテキストをクリックすることしかできませんでした。その後、画像の挿入や動画のアップロードが可能になり、オンラインニュース、検索、メール、テキストメッセージ、オンラインゲームなど、様々なサービスが誕生しました。インターネットは全く新しいビジネスモデルを生み出し、人々の生活と仕事に大きな変化をもたらしました。
 
30年後、ChatGPTのような大規模モデルが登場しました。当初はおもちゃのように扱われていましたが、ChatGPTの創造は驚くべき人間とのインタラクションを生み出し、テキスト情報を自動生成しました。最近リリースされたGPT-4はさらに進化し、テキストと画像をサポートし、画像とコードを理解できるマルチモーダルな大規模モデルとなり、現在ではMicrosoft Officeスイートに統合されています…
 
両者の共通点がわかりますか?
 
ビル・ゲイツ氏は、ChatGPTはインターネットの誕生に劣らず重要な意義を持つと述べました。OpenAIの社長兼共同創設者であるグレッグ・ブロックマン氏は、さらに率直にこう語りました。「私たちはWeb 4.0を制覇します」。彼は昨年のChatGPTローンチ前に、ScaleAIのCEOであるアレクサンダー・ワン氏との会話の中でこの発言をしました。また、3月10日に開催されたSXSW 23カンファレンスでの別の会話では、 「私たちは新しいインターネット、あるいはそれに似たものを創り上げているのです」と述べました。

マルチモーダルGPT-4は、この方向へ進化を遂げているプロトタイプのようなものです。ChatGPTがリリースされてからわずか4ヶ月で約5回の反復を経て、このアップグレードされたモデルはより印象的な効果とより大きな影響力を示しました。

これには、人間の脳の働きを研究してきた「ディープラーニングのゴッドファーザー」、ジェフリー・ヒントン氏興奮した「青虫は栄養分を吸収し、繭から蝶となって羽化します。人間は何十億もの理解のエッセンスを抽出しており、GPT-4は人類の『蝶』なのです。 」また、彼はChatGPTをこれほど成功させた秘密兵器についてもコメントしたそれは、人間によるフィードバックによる強化学習(RLHF)は、超自然的に早熟な子供を教育するようなものだ、というものだ。

これにより、人間と機械の動的な相互作用が可能になり、従来のインターネットと人間が静的に相互作用するのとは異なり、機械の知的な特性がより顕著になります。ブロックマン氏の見解では、私たちはAIが人々と情報との相互作用の方法を変える、動的な世界へと移行しつつあります。AIは人々を理解し、支援してくれるのです。言い換えれば、 GPTモデルは人間と機械の相互作用の方法を真に変えつつあるのです
 


GPT モデルの成果は羨ましいものですが、それは OpenAI の長年の技術的探求と揺るぎない信念の上に築かれたものです。

GPT モデルの開発に最初から深く関わり、GPT の研究とエンジニアリングの実装を推進する重要な「舞台裏の推進者」であるブロックマン氏は、このことを深く理解しています。「一時的な財産のようにすぐに金持ちになることを目指すのではなく、ゆっくりと価値を蓄積し、指数関数的な成長から大きな利益を得ることです。

GPT-4やChatGPTのようなモデルが爆発的な成長を遂げるまでの休眠状態と粘り強さは、人々の関心を集めています。GPTのようなモデルの作成を目指す研究者たちは、特にOpenAIによる初期のアイデアからGPTモデルがどのように育まれてきたのかを知りたがっています。この未熟児はどのようにしてAGIへと成長するのでしょうか?近い将来、世界にどのような変化をもたらすのでしょうか?

これらの疑問に対する完璧な答えは、ブロックマン氏に尋ねることです。 彼は以前、SXSW 23とアレキサンダー・ワン氏との2回の対談でこれらの点について詳しく説明しており、OneFlowはそれらをQA形式でまとめ、編集しました。 (このコンテンツの転載許可については、OneFlowまでお問い合わせください。
 

1
ChatGPTの爆発的な人気

 
Q: ChatGPTはどのようにして誕生したのでしょうか?GPTモデルは当初リリースされた当初は直感に反する印象を受けましたが、近年のAIの潮流をある程度巻き起こしました。これは、これらの技術を構築した当初の期待と一致しているのでしょうか?
 
A: ChatGPT、GPT-3、DALL·E 2 などのモデルは一夜にして有名になったように見えるかもしれませんが、実際にはこれらのモデルの構築には丸々 5 年かかり、長年の努力の成果です。
 
GPTモデルの構築は、2017年の論文「Neural Sentiment Neuron:アスペクトベースの感情分析のための新しいニューラルアーキテクチャ」に遡ります。この論文のアイデアは非常に斬新でしたが、多くの人が忘れてしまったかもしれません。
 
OpenAIの研究者であるアレック・ラドフォードは言語に非常に興味があり、チャットボットの研究に熱心に取り組んでいます。私たちはアレックを心から尊敬しており、私たちが真剣なプロジェクトの研究に取り組む間も、彼がやりたいことを何でも全面的にサポートしています。
 
当時、彼はAmazonの商品レビューで次の文字を予測するLSTMモデルを学習させるプロジェクトを率いていました。このモデルは次の文字を予測し、レビューの種類を理解し、ロボットのように学習できましたが、全知全能というわけではありませんでした。
 
LSTMモデルの単一ニューロンが、テキストの感情(肯定的または否定的)を判別できる最先端の感情分析分類器の開発に役立つことを発見しました。この発見は目新しいものではないように聞こえるかもしれませんが、私たちは今こそ文法の域を超え、意味論へと踏み出す時だと確信しています。
 
私たちは前進を続けなければなりませんでした。2017年後半にTransformerがリリースされると、 OpenAIの共同創設者であるイリヤ・スツケバーは、それがOpenAIが待ち望んでいたモデルだとすぐに認識しました。そのため、当時のTransformerは完璧ではありませんでしたが、それを基にGPTモデルを開発しました。このモデルは、良い事実と悪い事実の両方を学習し、与えられた単語列の次の単語を予測します。その後、強化学習を用いて、人間がモデルを誘導して正しい答えを見つけられるようにしました。
 
内部で実行されるアルゴリズムは、これらの小さな手法を用いて生命の兆候を取得します。特定のデータセットにおいては、真の生命の兆候を見分けるために細心の注意を払う必要があります。そうでなければ、進展は困難になります。しかし、あなたの直感が正しければ、モデルをスケールさせるために計算能力と研究者のインプットを増やすべき時が来たと分かるでしょう。
 
GPT-2の登場は明らかに新風を吹き込んだ。関数曲線は、モデルが大きくなるほど計算能力とデータ量が増える一方で、エンジニアリングの詳細がより多く得られるため、曲線がより良くなることを示しています。私たちの目標は、既存のパラダイムを打ち破り、曲線が安定するまでモデルを継続的に改良することです。
 
ChatGPT の開発まで、私たちが行った追加作業は、モデルをより「生き生きとした」ものにし、誰でも無料で利用できる非常にシンプルで使いやすいインターフェースを作成することでした。
 
Q: ChatGPTは昨年11月末にリリースされましたが、なぜこの時期にリリースされたのですか?
 
A: ChatGPTのローンチ準備中、私はチームに、少し性急に見えるようなことは避けるなど、非常に保守的になれると繰り返し伝えていました。そして何よりも重要なのは、世論の混乱を理由にローンチから3日以内にChatGPTを閉鎖することはできなかったということです。
 
当社には、何か月もかけてテストを行ってきた何百人ものテスターがいますが、これは、多様性と敵対的な使用法に満ちた実際のユーザー環境に完全に公開することとは大きく異なります。
 
2020年6月から、私たちは長きにわたりイテレーションとデプロイを繰り返してきました。初めて製品のAPIを一般ユーザーに公開するのは、大変なご苦労があったと思いますが、チームならきっと乗り越えられると確信しています。
 
Q: ChatGPTは正式リリースから2ヶ月でユーザー数1億人を突破し、史上最速で成長したアプリとなりました。Facebookは4年半、TikTokは9ヶ月で同様の成果を上げました。今、誰もがChatGPTに注目していますが、なぜキラーアプリになるのでしょうか?
 
A:実は、このことについてはよく考えています。ChatGPTの基盤となるモデルは約1年前に開発されたので、新しい技術ではありません。しかし、他の技術と違うのは、会話がより一貫性があるということです。実際に話しかけると、期待通りに動いてくれます。また、ユーザーがChatGPTの機能を体験しやすいように工夫しました。
 
本当に興味深いのは、ChatGPTが本格的に人気を集め始めると、テクノロジーの潜在的可能性と実際の可能性の間にギャップがあることが、かなり長い間、人々に認識されていたことです。物事がどこへ向かっているのかを人々に確実に理解してもらうことは非常に重要です。私にとって、それがおそらく最大の収穫です。

Q: 生成 AI の最も興味深く破壊的な使用例は何だと思いますか?

A: 個人的なエピソードをお話ししたいと思います。医療診断と治療は、間違いなくハイリスクな分野です。数年前、妻が原因不明の病気にかかりました。右下腹部に痛みを感じたのです。虫垂炎ではないかと心配していました。二人の医師に診てもらいましたが、どちらも細菌感染だと考え、それぞれ異なる抗生物質を処方されましたが、効果はありませんでした。4人目の医師が超音波検査を行ったことで、ようやく原因が判明したのです。

ChatGPTにこれらの症状を入力すると、返ってきた答えは「まず虫垂炎ではないか確認すること」、そして「卵巣嚢胞破裂の可能性もあるが、これは確定診断によるものだった」でした。しかし、私はChatGPTに医師の代わりをさせたくはありませんし、この極めて稀な抗生物質を服用するように指示されたくもありません。

Q: ChatGPT は時々、酔った狂人のように真顔で意味不明なことを話します。
 
A:まさにその通りです。だからこそ、ChatGPTを使う際に情報を見分ける能力を持つことが、より重要になるのです。実際、ChatGPTは非常に正確です。ただ、学習プロセス中に一部の情報が損なわれてしまっただけです。常に利用可能な認知補助として捉え、思考を明確にするためにChatGPTを使っていただいているのは、大変喜ばしいことです。
 
Q: GPTモデルの将来のバージョンについて、ご意見をお聞かせいただけますか?より慎重かつ創造的なものになるでしょうか?
 
A:まず、これらのシステムの構築方法を説明します。最初のステップは、次の単語を予測することのみを目的とするベースモデルをトレーニングすることです。このモデルには大量のテキストデータを提供しますが、どの情報が正しいかは教えません。モデルはこのテキストデータから学習する必要があり、その過程で、次の単語を予測するためにあらゆる文脈情報を考慮する必要があります。そのため、このモデルはバイアス、イデオロギー、アイデアといった情報も学習します。
 
2つ目のステップは、人間からのフィードバックによる強化学習(RFHL)です。これは事後学習とも呼ばれます。この段階では、大量のテキストデータから有用なデータを選択し、そのデータを正しく処理する方法を学習させます。

しかし、非常に重要かつ非常に厄介な問題が残っています。AIは何をすべきか?そして、誰がその決定を下すべきか?これは全く異なる問題であり、私たちはそれを正当化するために精力的に取り組んでいます。ベースモデル自体は実際には不確実性に基づいて調整されていることが分かりましたが、これは後の学習で解決すべきエンジニアリング上の課題です。
 
昨年12月以降、ChatGPTの4~5つのバージョンをリリースし、事実の正確性や錯覚問題などの側面を改善してきました。これは、その後の学習による継続的な改善のおかげです。

将来的には、作業品質を自己チェックし、いつ拒否し、いつ支援を提供すべきかを判断し、さらに困難なタスクの達成を人間に支援できる、より正確な GPT システムが登場するだろうと私は信じています。
 

2
GPTモデル構築への信念

 
Q: GPT-3を初めて使用する際、多くの人が深い感銘を受けます。特に、既存のタスクにおける優れたパフォーマンスだけでなく、モデルの質的に新しい動作に感銘を受けます。モデルの初期結果を見て、驚きましたか?
 
A:当時の結果は非常に刺激的でした。関数名とdocstringを書くだけで、実際に関数を記述できました。それほど複雑な関数ではありませんでしたが、要件に沿ったコードを書くことができ、わずかな変更を加えるだけでニーズを満たすことができました。
 
興味深いことに、これまでモデルは特定のデータ分布でのみ良好なパフォーマンスを示し、それ以外の分布では性能が低下すると考えられていました。しかし、GPT-3パラダイムは様々なデータ分布に適用できます。このモデルには汎化能力があり、既知のデータに対してはその汎化能力がさらに強力であることがわかります。
 
このモデルは未知のデータに対してどの程度一般化できるのでしょうか?人間は未知の領域を探索するのがあまり得意ではありませんが、このモデルは膨大な数の異なる構成から学習し、有用な情報を抽出できるという点が素晴らしいです。
 
Q: GPT-3の開発には多大な計算リソースの投資が必要であり、実験が必ずしも成功するとは限らないため、相当の自信と決意が求められます。開発プロセス全体を通して、自分自身を疑ったり、粘り強い努力によって成功がもたらされると信じたりしたことはありますか?
 
A:モデルの拡張は当然のことではありません。最適な解を見つけるには、継続的な実験が必要です。興味深いことに、最初の拡張結果が得られれば、それが正しいアプローチであると確信し、最良の結果が得られるまで前進し続けることができます。
 
私たちは3年間、DOTAというゲームを研究しました。当初はゲームについて何も知りませんでしたが、不断の努力を重ね、ゲーム開発会社の社内チームを破り、最終的にはプロチームにも勝利しました。この間、モデルを拡張し、すべてのバグを修正し、あらゆる次元で継続的に反復処理を行い、より良い結果を達成しました。GPT-2モデルの拡張にも同じことが当てはまり、その反復処理は非常に複雑で、膨大な計算リソースと揺るぎないコミットメントを必要とします。
 
一方、モデルの拡張は反復的なプロセスであるため、各ステップで現実からのフィードバックが得られるため、取り返しのつかない決定を下す心配はありません。これにより、「このソリューションが成功したらどうなるか」という大きな視点で考えることができます。また、成功への準備も万全です。

しかし、望んだ結果が得られないかもしれないことに、盲目的に1年を費やすのはやめましょう。重要なのは、両者のバランスを取ることです。
 
Q: DOTAと感情ニューロンから学んだことが、あなたの成功の鍵でしたね。断片的な知識は外から見ると直感的に分かりにくいかもしれませんが、それらを統合することでGPT-3の拡張と構築への道筋が見えてきました。様々な実験結果を統合することで、新しいものを生み出す、というのがイノベーションのあり方なのでしょう。
 
A:これは第一原理の実践です。

3
なぜ私たちは AI の発展に楽観的なのでしょうか?

 
Q: 2017年頃、AIアルゴリズムはまだ非常に弱かったにもかかわらず、あなたはAIの能力は徐々に向上し、将来性も非常に高いと確信していました。なぜAIに対してそれほど楽観的だったのですか?
 
A:ある程度、それは実は直感です。学生時代、NLPにとても興味を持っていて、その分野の専門家を見つけて一緒にNLP研究をしたいと申し出たところ、彼は同意してくれました。彼はNLP分野の関連コンテンツをいくつか説明してくれたのですが、話を聞いてみると、NLPは自分が求めているものではないと感じました。なぜなら、NLPには適切な特性が欠けているからです。まるで、NLPシステムに多大な労力と労力を費やしてきたにもかかわらず、言語が実際にどのように機能するのかを明確に説明できず、本質的な何かが欠けているように感じました。それとは対照的に、ニューラルネットワークの動作は非常に明確です。ニューラルネットワークシステムはスポンジのように大量のデータと計算能力を吸収し、適切なフォームファクターを備えています。
 
しかし、私たちは 1 つのことを見落としていました。このニューラル ネットワークをトレーニングできるかどうかは、十分なデータ、計算能力、および十分な機能があるかどうかによって決まるということです。

2012年、アレックスの論文によってニューラルネットワークが再び脚光を浴びました。これはこの分野における最初の大きなブレークスルーだったと私は考えています。コンピュータービジョン研究は数十年を経ていましたが、CNNの登場は質的な飛躍を意味しました。
 
あたかも、もともと別々だった部門間の孤立が日々解消されつつあるかのようで、何かが起こりつつあり、巨大な可能性が活用されるのを待っていることを明確に示しています。
 
Q: テクノロジーの選択に疑問を持ったことはありますか? それとも常に自信を持っていて、迷うことはなかったのですか?
 
A:このプロセスでは、私たちは必然的に自らの選択に疑問を抱き、戦略が正しいのか、そして行動が正しいのかを疑うことになります。例えば、モデルのサイズを決定するために複数の計算を実行するのは、間違いは避けられないからです。そして、AIが間違いの原因を見つけてくれるとは期待できないため、間違いの背後にある原因を自ら見つけ出す必要があります。
 
スケーリング則は良い例です。この研究は、モデルが様々な関数軸上でどのようにスケールアップするかをより深く理解するために実施しました。モデルに計算能力とデータを継続的に投入しましたが、最終的にはリソースが限られていました。数年後、私たちは突然、この関数曲線に対する私たちの理解に欠陥があったことに気づきました。そのため、モデルの学習に大量のトークンとデータを投入しました。

下流の結論から言うと、トレーニングデータがあまりにも限られていたため、導き出された結論は必ずしも正確ではありませんでした。 後になって、ある時点で、問題は基本的な前提にあったことに突然気づき、すべてが納得できるのです。

最も刺激的な瞬間は、粘り強く努力を続け、探求を続け、仕事において卓越性を追求している時だと、私は常々感じています。それは、テクノロジー分野の限界に到達し、真に何かを成し遂げ、そしてついに次のステップへの方向性を見出した時を意味します。
 
Q: これはStripeの経営理念の一つを思い出させます。「マクロレベルでは楽観的、ミクロレベルでは悲観的」。この言葉は私たちにも共感できます。技術的な問題に直面した時は最悪の事態に備えなければなりませんが、あなたは長期的な視点で常に自分の仕事に強い自信を持っていることは明らかです。
 
A:はい、これは情熱と活力に満ちた分野であり、私たちは畏敬の念を持って取り組むべきです。

これらのモデルは当初、単なる乱数の集まりでした。人々はこれらの数値に基づいてスーパーコンピュータと膨大なデータセットを開発しました。私たちはアルゴリズム開発など、多くのエンジニアリング作業を行い、それらを統合しました。
 
ニューラルネットワークは独特な技術分野です。基本的にスポンジのような存在で、データを入力するだけで、再利用でき、クロスドメインタスクも処理できるモデルを学習できます。一方、従来のソフトウェアでは、すべてのルールとそれらのルールからのフィードバックを手作業で記述する必要があります。Sparkクラスターを使って一部のタスクを処理できる人もいるかもしれませんが、私はそうしたいとは思っていません。むしろニューラルネットワークに興味があります。
 
Q: OpenAIを設立する前は、StripeのCTOを務めていました。両社は業界のベンチマークと言えるでしょうが、両者の類似点と相違点は何でしょうか?
 
A:興味深いのは、この 2 つの企業が問題に直面したとき、どちらも第一原理の考え方を採用したことです。
 
Stripeは、早期に顧客基盤を築いたことが大きな要因となり、発売前の製品リリースで大きな反響を呼びました。当時、ベンチャーキャピタルで働いていた友人が、この製品の成功の秘訣を知りたがっていました。単に決済方法を改良しただけだと説明すると、彼は信じられないといった様子でしたが、実はそれが秘密兵器だったのです。
 
私たちは、物事の本質である第一原理から出発し、他者を盲目的に模倣するのではなく、自分たちのやり方を再考します。「どうすればいいのか?何が困難なのか?本当にこれを行う必要があるのか​​?」と自問します。
 
OpenAIのAIへのアプローチは、これまでのものと同様です。AI分野への参入にあたり、多くの経験を持つ社員を採用しましたが、AI分野での実務経験が全くない、いわば初心者として入社する社員もいます。このように未知の分野に参入することで、従来の慣習の制約を回避し、ゼロからスタートし、外部からの影響を排除できると私は考えています。
 
両社には違いもあります。Stripeは従来型のPlaybookを開発し、革新的なアイデアを考案した後、初日からターゲット顧客を定めて製品を構築・改良しました。一方、OpenAIは顧客を調査する必要があり、2015年後半、ようやく真に機能する最初の製品が完成するまで、その調査は行われていませんでした。

したがって、何をすべきか、何をうまく行うべきかを把握する必要があり、これらのことについての考えは、組織の外部からではなく内部から出てくる必要があります。

 

4
AIの潜在的なリスクについては楽観的

 
Q: OpenAIの研究、特にその技術がもたらす潜在的な悪影響について、多くの懸念が寄せられています。AIが私たちの仕事を奪うと言われていますが、最もリスクが高い職業は何でしょうか?
 
A:かつては、AIはまず肉体労働を伴う仕事を置き換えるだろうと考えられていましたが、そうではありません。AIは認知領域(詩作など)では驚異的な進歩を遂げていますが、身体的な側面ではそれほど進歩していません。

これは、AIの発展が人々の期待をはるかに超えていることを示しています。さらに、自動化できない仕事もまだ存在しており、人間の能力が想像以上に強力であることを示しています。
 
プログラマーとして、ツールの力を借りて作業効率を向上させることを期待しています。現在、私たちが使用しているAIコードアシスタント「Copilot」は、コードを自動補完してくれるので、プログラミング言語や特定のライブラリ関数にあまり詳しくない人にとって非常に便利です。ChatGPTはさらに強力で、関数全体を記述したり、ニーズに合わせてチャットボットフレームワークを構築したりするのに役立ちます。

将来、コーディングプロセスははるかにシンプルになるでしょう。すべてのコードを自分で書くのではなく、設計上の決定だけを行えばよくなるため、作業効率が大幅に向上し、キャリアアップにも役立つでしょう。
 
Q: 認知能力が AI にアウトソーシングされると、人間の知能が低下するリスクはありますか?
 
A:これも私が夜眠れない理由です。かつてはこのトレンドは刺激的だったかもしれませんが、人々は徐々に読書や思考への興味を失っていることに気づきました。ですから、この新しいテクノロジーが登場する前に、それが人類にとって「知識を減らすもの」ではなく「知識を増やすもの」となるようにする必要があります。
 
人類が真に必要としているのは、私たちの代わりに問題を解決してくれる「メンター」であり、AIが全てを解決することではありません。諺にもあるように、「人に魚を与えれば一日は食べられるが、人に魚の釣り方を教えれば一生食べられる」のです。こうして初めて、私たちは前進できるのです。
 
Q: データ、アルゴリズム、そして計算能力が増大し続けるにつれ、大企業はより大規模で強力なスーパーコンピュータの構築を競うようになるでしょう。より大規模なスーパーコンピュータを保有することは、他社に対して優位に立つことを意味します。これは将来のトレンドになるでしょうか?大企業間の競争ツールとなるのを防ぐ、よりオープンで有用な方法はあるでしょうか?
 
A:今後の発展の傾向は、コンピューティング技術がより多くの分野で復活を遂げるのと似ています。将来的には、ごく少数の人間が操作する超大型スーパーコンピュータがますます増え、一般の人間では構築できないような超大型モデルを作成できるようになるでしょう。しかし、それによって人々がこれらのモデルを使って行うことの価値が損なわれることはありません。
 
風力タービンのような極めて強力で、二重目的かつ高度に複雑なシステムにおいては、分散型システムとより制御しやすいシステムのバランスをとることが重要だと考えています。非常に強力な新興技術には、二重のソリューションが不可欠です。
 
テクノロジーの進歩に伴い、人々のAIに対する認識は変化し、その真の有用性に気づき始めています。さあ、AIの構築を始めましょう。
 
Q: 一部の研究では、科学技術の発展のペース全体が鈍化している一方で、AIは徐々に加速し、復活の兆しを見せていると示唆されています。今後、AIの発展も鈍化するのではないかと懸念されていますか?
 
A:物事は常にS字カーブを描いて発展し、パラダイムシフトも起こります。レイ・カーツワイルの著書『シンギュラリティは近い』では、コンピュータ業界の様々な分野の発展曲線が描かれ、様々なパフォーマンス指標の経時的な変化が示されています。過去100年間で、私たちは約5つの異なるパラダイムシフトを経験し、今日のコンピュータが誕生しました。私たちが今行っていることもS字カーブを描き、パラダイムシフトを経験し、人間の創造性を示すことになるでしょう。
 
一方で、パラダイムシフトが起こったかどうかは重要ではありません。AIの現在の焦点は、その応用にあります。私たちは、AIを活用してコンピューターの能力を高め、より大きな役割を果たせるようにしたいと考えています。もちろん、AIは新たな問題もいくつかもたらしましたが、全体として、AIは生み出す問題よりもはるかに多くの問題を解決し、人間の交流方法を変えました。
 
AI分野では、いくつかの新たなブレークスルーを達成しました。例えば、GitHub Copilotは非常に低いレイテンシでコードを自動生成できますが、レイテンシが1500ミリ秒を超えると、誰もこのツールを使用しなくなります。
 
人間には今できないことがあるが、機械はそれを手助けしてくれる。それが重要な点だ。たとえ人間の活動の発展が停滞したとしても、機械が生み出せる価値が減るわけではない。
 
Q: AIの発展に関して最も懸念していることは何ですか?
 
A: AIに対する人々の見方は常に興味深いものです。10年前を振り返ってみると、どんな記事を読んだり、街で誰かにAIについての意見を聞いたりしても、答えはほぼ間違いなく否定的なものだったでしょう。人々のAIに対する見方は常に複雑で、不安も入り混じっています。AIの可能性を感じられる人もいれば、そうでない人もいますが、誰もが常にAIを理解しようと努めています。
 
AIの良い面と悪い面の両方を見るべきだという意見に全く同感です。盲目的に楽観的になるべきではありませんし、人類が絶滅の危機に瀕しているかのように完全に悲観的になるべきでもありません。どちらの見方も問題があります。
 
AIの発展は様々な段階を経るでしょう。現在私たちが直面している最大の課題は、誤用の問題です。システム自体はまだ十分な力を持っていませんが、問題の根本は人間の行動にあります。言葉には大きな力がありますが、それが世界に直接影響を与えるわけではありません。問題は人間の行動にあります。社会レベルと技術レベルの両方で誤用を防ぎ、システムを監視する方法を見つけることが不可欠です。
 
さらに、将来的にはシステム自体が非常に強力になるでしょう。システムが監視なしに複数の人とやりとりした場合、どのような影響が出るでしょうか?OpenAIはすでにこの可能性を認識しており、特定の価値観を選択的に取り入れつつ、全人類の価値観に合致するシステムの構築を目指しています。もちろん、これを実現するのは容易ではありません。
 

5
AIの今後の発展方向

 
Q: AI が将来有望な応用が期待できる分野はどれですか?
 
A: AIが真にできることは、人間の既存の能力、特に執筆、プログラミング、エンターテインメントといった知識集約型の仕事における能力を強化することです。私が最も期待しているのは、技術的な障壁が低くなることです。創造的なアイデアを持ち、それを実現したい人にとって、AIは「完全なクリエイティブスタジオ」を提供します。プロフェッショナルは、アマチュアよりも優れたものを生み出す機会も得られるでしょう。
 
AIは人々のスキルを消滅させるだけでなく、生産性を何倍にも高めます。例えば、AIは人々の創造性を刺激します。絵が描けない人でも、模型を通して様々なイメージを描けるようになります。頭の中にあるイメージを紙の上で形にすることができるのです。例えば、3Dデザイナーは、制作を始める前に、まずDALL・Eを使って思い描いたものをレンダリングすることができます。
 
多くの人が『ゲーム・オブ・スローンズ』を観ていますが、結末は皆の期待を裏切ったと思います。AIがあれば、人は望む結末を自分で作り出すことができ、物語に没頭することさえできます。「必要ない」と言う人もいるかもしれませんが、ポケットの中の携帯電話のようなもので、使わないかもしれないけれど、必要な時に役に立つのです。
 
Q: AIの将来についてどうお考えですか?
 
A: AIは今後もダイナミックで変化し続ける分野であり、その発展は誰もが驚くようなものとなるでしょう。私たちの使命は、AIの発展を最大限に促進することです。
 
GPT-3サービスを利用した初期のクライアントは、現在数十億ドル規模の価値を誇ります。このモデルがこれほど多くの人々に計り知れない価値を生み出しているのを見るのは、大変やりがいを感じます。
 
今後10年間で、これらのモデルは急速に発展し、その応用はあらゆる場所で普及するでしょう。AIの発展はインターネットの発展に似ています。1990年代には、人々はインターネットについてほとんど知りませんでしたが、21世紀初頭には人々がインターネットに興味を持ち始め、機会と課題が共存する時代となりました。今や、インターネットはビジネス開発に不可欠な要素となっています。
 
私たちの使命は、汎用人工知能を開発し、あらゆるタスクを処理できる万能の機械を構築し、この技術を限界まで押し広げ、経済的に最も価値のある仕事において人間の能力を超えることです。これらのツールが創造的なレベルに達し、人間の能力を超え、自発的に動き始めるのは時間の問題です。
 
将来、AIの価値がどのように分配されるのか、また気候変動や大学教育など、現在人々が対処するのが難しい課題をAIがどのように解決するのかはまだわかっていません。
 
Q: これらの技術の登場時期も興味深いですね。昨年はWeb 3.0は暗号通貨だと誰もが言っていましたが、今ではAIこそが真のWeb 3.0と言えるのではないでしょうか。
 
A: Web 4.0 を引き継ぎます。
 
Q: 非常に興味深い2つの方向性についてお話いただきました。1つは、ビジネスでますます広く利用されつつあるGPTモデルなどの既存技術の発展、もう1つは、汎用人工知能アルゴリズムの継続的な改良です。AGIの今後の発展はどのようになるとお考えですか?
 
A:ニューラルネットワーク開発の歴史を見ればわかるように、人類は遥か昔から汎用人工知能の研究を始めました。2012年は世界を大きく変えた年でした。コンピューティング能力への需要は毎年10倍に増加し、今もなお成長を続けています。収益が予測可能になりつつあるため、大規模スーパーコンピュータの構築に投資額が増加しています。
 
より多くの計算能力を投入し、バックプロパゲーションニューラルネットワーク技術をより有効に活用することで、より強力なモデルを構築するプロセスは、かなり標準化されています。しかし、細部は異なる場合があります。例えば、GPTモデルを開発するのかWhisperを開発するのか、音声データを導入するのかインターネットからテキストデータを導入するのかなど、これらの細部は、何を行うのか、どのようなリソースをダウンロードするのかに関係するため、重要になる場合があります。しかし、テクノロジーをより広い視点で見ると、これらの細部はそれほど重要ではなくなります。
 
私たちは、拡張法則を用いてあらゆる科学的調整を行うことを学び、これらのモデルが知的であるだけでなく、人間の意図にも合致していることを保証しています。私たちの目標は、これまで不可能だったことを毎年実現することです。
 
私たちが作っているものは、コンピューターを作るのとよく似ています。ムーアの法則が全盛だった時代には、新しいチップが絶えず登場しました。最高のコンピューターを作るには、次なる最高のチップを作り続け、技術の各部分を継続的に改良していく必要があったからです。
 
関連リンク:
 
[1]. https://aibusiness.com/nlp/sxsw-23-openai-co-founder-shares-the-story-behind-chatgpt
[2]. https://www.youtube.com/watch?v=Rp3A5q9L_bg
[3]. https://www.youtube.com/watch?v=YNkxVDAiA1Q