chatGPTは最近、ものすごく人気になっています。実は昨年末にリリースされたのですが、ここ2ヶ月で一気に人気が爆発しました。「流浪の地球 2」の人気が高かったせいか、MOSSに似ていると思われているのかもしれません。

記事や動画、話題が氾濫する中、データ駆動型科学普及セルフメディアとして、一言も発しなければ、時代の流れに乗り遅れてしまう気がします。

実は、Microsoft Xiaoice では、かなり以前から比較的簡単な会話ができるようになりました。

Xiaoiceと少しチャットしてみたところ、そのコーパスはかなり新しく、chatGPTにも対応していることがわかりました。しかし、数文を読んだだけで、意味認識能力が比較的弱いことが明らかになりました。

なぜ、Xiaoice は何年も経った今でもあまり成長していないように見える一方で、chatGPT はどこからともなく現れ、会話型ロボットにおける世代を超えた壮大な飛躍を達成したように見えるのでしょうか。

実は、chatGPTは突如として現れたわけではありません。Open AIは6～7年かけてchatGPTを改良し、ついに量的変化から質的変化へと飛躍を遂げました。

AI開発の歴史を簡単に振り返ってみましょう。AIは分類の観点から、意思決定型AIと生成型AIに大きく分けられます。

いわゆる意思決定 AI は基本的に AI を使用して分類、判断、予測を行いますが、生成 AI は AI を使用してテキスト、画像、音声などのコンテンツを作成します。

2011年以前は、ほとんどのAI技術は意思決定AIに重点を置いていました。2012年以降、生成AIが定着し、発展し始めました。

特に、Google が 2017 年に Transformer フレームワークをリリースした後、大規模言語モデルの理論的基礎が最初に確立されました。

その後、生成AIは急速に発展し、2020年にGPT-3がリリースされると、業界で大きな話題となりました。OpenAIはその後、GPT-3.5に若干の改良を加えたchatGPTをリリースしました。

全体的に、chatGPT、あるいは AI は、過去 2 年間で爆発的な成長を遂げました。

主な理由は 2 つあります。

まず、ハードウェア サポートにより、コンピューティング能力が大幅に向上しました。

ストレージ価格の低下とクラウドコンピューティングなどの技術の漸進的な成熟により、大規模機械学習のためのハードウェア基盤が確保されました。同時に、データ量の増加は、大規模言語学習のためのより豊富な原材料を提供しています。

これまでは数十億単位のトレーニングパラメータは想像もできませんでした。データが足りず、このような大規模なモデルを実行することもできませんでした。

2 番目は、アルゴリズム、モデル、アーキテクチャの改善です。

これまで、AIトレーニングの計算能力はムーアの法則に概ね従い、約20ヶ月ごとに倍増していました。しかし、ディープラーニングの登場とTransformerフレームワークのリリース、そして大規模モデルの利用可能化により、トレーニングの計算能力は指数関数的に増加しました。

したがって、chatGPT の出現は偶然ではなく、技術開発が一定の段階に達したことによる必然的な結果です。

その爆発的な人気は、その形状と、もちろんその技術の両方に関係しています。

形態の観点から

ここ数年、AIは様々な分野で目覚ましい進歩を遂げてきました。しかし、これらの分野は比較的ニッチであり、業界関係者にしか理解されていません。一般の人々にとって、人工知能は未だに遠い、漠然とした概念です。

もちろん、これはAI開発の現状にも関連しています。意思決定型AIは、人間の意思決定を支援するために、通常、特定の領域における大量のデータを用いた学習を必要とし、その応用分野は主にエンタープライズ分野です。一方、生成型AIは、テキスト、音声、マルチメディアなど、一般の人々が認識できる様々な種類のコンテンツを生成できます。

昨年、ミッドジャーニーの『スペースオペラ』はコロラド州フェアの「デジタルアート/デジタル写真レタッチ」部門で最優秀賞を受賞しました。

AIが生成するコンテンツは、社会階層や階級を超え、人種の壁を乗り越え、文化の違いをも溶かします。もはやニッチでエリート主義的なものではなく、あらゆる年齢層や嗜好の人々が楽しめるものになります。

ChatGPTは会話型のアプローチを採用することで、一般の人々にとってより身近なものとなり、人々が思い描く汎用人工知能に、より親しみやすい印象を与えます。これにより、多くの一般の人々が初めて人工知能の存在を真に認識することができました。

このインタラクティブな方法により、AIを誰もが活用できるようになります。社内では、上司が「今月の利益成長率と地域ランキングを教えてください」と言えば、AIが即座にデータを提示します。もちろん、これは社内のデータガバナンスとデータ品質に依存します。

汎用人工知能の理想は、人間に近づくことです。では、chatGPTはどのようにして人間のような動作を実現するのでしょうか？これには技術的な説明が必要です。

技術的な観点から

パフォーマンスの面では、chatGPT のコア機能は次の 3 つの側面にあります。

1. 人間の言語を理解することができます。
2. 人間が望む結果を生み出すことができます。
3. 人間からのフィードバックから継続的に学習し、自ら進化することができます。

これは、NLP テクノロジの発展と大規模言語モデル (LLM) の出現のおかげです。

2017 年に、Google は「Attention is all your need」という論文を発表し、Transformer フレームワークに注目の概念を導入しました。

簡単に言えば、これは情報を受け取るときに重要な点に限られた注意を集中するという人間の思考プロセスをシミュレートしたもので、長いテキスト内の離れた単語間のつながりを理解するのに役立ちます。

OpenAIはTransformerフレームワークをベースにしたGenerative Pre-trained Transformers（GPT）をリリースし、毎年改良を重ねています。GPT3がリリースされた当時、その機能は多くの人々の期待を上回りました。

chatGPT は GPT 3.5 をベースにしたマイナーな調整であり、会話機能がさらに強化されています。

データアナリストは、過去 2 日間の調査に基づいて、既存のテクノロジーを基にした chatGPT のコア アップグレードは、主に次の 2 つの側面に重点を置いていると考えています。

1. トレーニング方法: 生成的な事前トレーニング + プロンプト (ヒント) により、トレーニング プロセスが大幅に加速されます。
2. 学習戦略：学習は、人間のフィードバックに基づく強化学習によって行われます。つまり、強化学習はついにNLP分野に応用されました。

わかりにくいですね。次は中国語で話してみます。

AIのトレーニングは人間の子供を教育することに似ていることは周知の事実です。AIが間違いを犯した場合、何が正しいのかを思い出させる必要がありますが、このプロセスには大量の手作業による注釈付けが必要です。

従来の意思決定AIの学習では、膨大な量の手動でラベル付けされたデータがAI学習の基盤となっています。画像認識、自動運転、金融セクターにおける信用リスク管理といったアプリケーションは、いずれも大量のラベル付けされたサンプルデータに依存しています。ラベル付けには多大な人的投資が必要となるため、モデルの学習コストは非常に高くなります。

大規模言語モデル（LLM）の学習方法が変更されました。大量のテキストをAIに直接入力することで、AIが自律的に学習できるようになりました。一部の単語は削除され、穴埋めテスト（BERTモード）に使用されたり、文を与えて次の単語を推測したり（GPTモード）されます。

このようなトレーニングを経ると、AI は人間の言語のパターンを理解できるようになり、特定の単語の後にどのような単語が続く可能性があるかがわかるようになります。

さらに、AI は大量のテキストを学習することで「常識」を獲得します。これは汎用人工知能の大きな特徴であり、人間と AI の主な違いの 1 つです。

数学、物理学、化学を学び、文学、歴史、哲学にも精通しています。著名人の名前や、現在のアメリカ合衆国大統領の名前も知っています。まさに人間に近いと言えるでしょう。

さらに、エンジニアリングの観点から見ると、従来のトレーニング方法（微調整）では、パラメータが更新されるたびにモデルを更新する、つまり再度実行する必要があります。

一方、プロンプトモードではそのような介入は必要ありません。AIにいくつかの例を与え、AIが自ら学習するだけです。 ^[4]

これはさらにいくつかの状況に分けられます。

いくつか例を挙げます。

ワンショット、例を挙げます。

ゼロショット、例は提供されていません。

chatGPTはゼロショットモードを採用しています。もちろん、例を追加することで回答をより正確にすることができます。そのため、chatGPTにフォローアップの質問をすることができ、質問するにつれて、期待する結果にどんどん近づいていきます。

この質問方法はコーディングを必要とせず、対話を行うだけで済みます。これにより、chatGPTは数万人、あるいは数億人のユーザーと対話することで急速に成長することができ、まさに人間にとって理想的な汎用人工知能の姿と言えるでしょう。

強力な人工知能は、まさにそんなふうに到来したのでしょうか？心配しないで、読み続けてください。

非常に多くのユーザーが chatGPT とやり取りし、それぞれ独自の言語スタイルを持っている場合、回答が正しいか間違っているかをどのように判断するのでしょうか?

AIが人間の言語に基づいて回答の良し悪しを自動的に判断できれば、人間が回答にラベルを付ける必要がなくなり、ラベル付け作業を大幅に削減できます。これは「人間のフィードバックからの強化学習（RLHF）」と呼ばれています。

強化学習はトレーニング戦略です。他の戦略としては、教師あり学習（ラベル付きサンプルを使用）と教師なし学習（ラベル付きサンプルを使用せず、主に分類用）があります。

AlphaGo は強化学習を使用し、報酬/ペナルティ機能を使用して、特定の動きにおける勝利の確率を上げるか下げるかを AI に指示し、AI が自分自身と継続的に対戦できるようにします。

なぜこのアプローチはこれまでNLP分野で採用されなかったのでしょうか？主な理由は、報酬/ペナルティ関数の設計が難しすぎるからです。

人間は、ある答えに対して様々な反応を示すことができます。例えば、「悪くない」「まあまあ」「まあ良い」「とても良い」「素晴らしい」「まさに予想通り」といった具合です。あるいは、「これは私が望んでいたものとは違います」「違います」「それは正しくありません」「もっと良くできるはずです」「私の言っていることが理解できていないようです」といった具合です。

これらのフィードバックはほぼ無限です。AIが提示するN通りの回答の中から、どれが好きか嫌いかを定量的に選択できるグループを実際に見つけない限りは。

問題は人材と資金だけです。OpenAIには十分な資金があるので、人材が不足しているということはありません。

彼らは40人からなる専任のアウトソーシングチームを雇い、実際に一行ずつラベル付けを始めました。つまり、汎用的な人工知能のように見えますが、実際には人間の手によって構築されたのです。

具体的な手順は以下のとおりです。

最初のステップでは、「6歳の子供に月面着陸を説明しなさい」という質問に対する回答を人間の注釈者に提供し、それをGPT-3が教師ありトレーニングに使用します。

2 番目のステップでは、AI が上記のトピックに対して 4 つの回答を提供し、その後、報酬/ペナルティ モデルのトレーニングに使用するために、ラベル付け担当者が最良から最悪の順に並べ替えます。

3つ目のステップは強化学習です。AIは任意のトピックについてテキストを提供し、それを2つ目のステップで学習した報酬・罰モデルに入力してフィードバック値を取得します。AIは、回答スタイルごとに異なるフィードバック値を取得することで、人間がどのような回答を好むかを学習します。

現在、数億人のユーザーがchatGPTに継続的にデータとフィードバックを提供しています。これらのデータは間違いなくGPT-4の開発に活用されるでしょう。このデータ量により、特定の回答に対する人間の可能な反応はほぼ網羅されています。将来、chatGPTは真にチャットしながら学習できるプラットフォームとなるでしょう。

GPT-3 のパラメータ数は 1,750 億で、人間の脳のニューロン数 860 億を超えます。GPT-4 のパラメータ数は 100 兆で、人間の脳のニューロン間の接続数に匹敵します。

先ほどの質問に戻ると、AI が本当に人間に近づきたいのであれば、議論する価値のある別の点があります。それは、AI は常に正しいべきなのか、それとも人間のように時々間違いを犯すべきなのかということです。

現在の chatGPT は頻繁に間違いを犯し、それを認めていますが、主な理由は、まだ十分に強力ではないためです。

十分に強力になると、時には最善の答えを出す必要はなく、時には正しい答えを出す必要はなく、時には罪のない嘘の方が受け入れられる場合もあることを学ぶでしょう。

つまり、AIは感情的知性を備えているということです。

近い将来、AIは人間の言葉に隠された意味を読み取り、人間の言語に内在する意味を理解し、人間の声紋を分析して感情が反応に影響を与えているかどうか、またそこに隠された裏の意図があるかどうかを判断できるようになるでしょう。さらには、動画内の微細な表情を分析して、誰かが嘘をついているか、あるいは何かを暗示しているかを判断することさえできるようになるでしょう。SF映画のワンシーンが、ますます現実のものとなりつつあるようです。

chatGPTはどのような分野で活用されるのでしょうか？私たちは職を失うことになるのでしょうか？

昔からあるが、魂を問う質問に戻りましょう。私たちは AI に置き換えられるのでしょうか?

もっと具体的に言うと、chatGPT に置き換えられるのでしょうか?

間違いなくそうです。

コンテンツ作成

最初に影響を受けるのはコンテンツ作成分野です。私のような科学普及活動家にとって、概念や原理、あるいは既存の科学普及資料をコピー＆ペーストするだけしかできないのであれば、ChatGPTは私たちの代わりとなり、誰よりも速く、そしてより優れた成果を上げることができます。

文章以外では、やや直感に反するが、画家や作曲家などクリエイティブな職業はさらに早く置き換えられる可能性がある。

これは人々が通常考えるものとは少し違っているようです。

一般的には、人類の最大の強みは自己認識から生まれる創造性にあるとされていますが、これは AI には欠けているものです。

その日の劉潤氏の生放送を聞いて、私はいくつかの違った洞察を得ました。

いわゆるイノベーションや創造性とは、実際には、限られた順列や組み合わせの中で、人間が美しいと感じられるような独自の組み合わせを作り出すことです。

この限られたスペースは、音符、絵画の色、構成などを指します。

音符と色彩で構成される空間は、人間にとっては有限ではなく、ほぼ無限の空間と同等です。しかし、AI、特にスーパーコンピューティング能力を持つAIにとっては、それは尽きることのない有限の空間です。

AI は、比較的限られた空間内で、最適または次善の解決策を見つけようと絶えず試行錯誤することに優れています。

実際、多くの画家がインスピレーションを見つける作業を AI に委託しています。

まず、1つまたは複数のキーワードを使ってAIにコンテンツを作成させましょう。次に、AIが作成したシリーズからお気に入りの作品を選んでインスピレーションを得ます。最後に、AIが作成したアートワークを自分のスタイルで再現します。

つまり、画家や作曲家といった、人類が誇る創造的な職業は、すでにその最も核となる競争優位性である「インスピレーション」をAIに譲り渡しているのだ。

残りのいわゆる構図や絵画スタイルに関しては、AIにとって模倣はさらに容易になるでしょう。

確かに、巨匠の作品を超えるのは常に難しいが、あまり有名でないクリエイターの作品の何が AI の作品よりも感動的なのだろうか?

コンサルティング分野

他の専門職も同様の危機に直面しています。例えば、法律、金融、保険といった基本的なコンサルティング業務、そして特定の分野における具体的な質問への回答を提供するオンラインカスタマーサービスなどは、AIによって効果的に処理できます。実際、多くの人が既にこれらの分野における疑問の答えを見つけるために、同業他社に相談する代わりにAIを活用しています。

同様に、教師や科学の普及活動家などもいます。

プログラマー

さらに、プログラマー、特に Google 向けにプログラミングし、Ctrl+C と Ctrl+V の使い方しか知らないプログラマーは、自分たちが作成した AI によって革命を起こされようとしているようです。

特定の機能の基本コードは、chatGPT によってほぼ瞬時に適切に実現できます。

課題は、現実世界の問題をプログラミングの問題に変換し、明確に定義された複数のプログラミング モジュールに分解する方法にあります。

これが、将来のプログラマーが持つべき中核となる能力、つまりプログラミング思考です。

全体的に、AI に置き換えられる可能性が最も高いのは、この職業において依然として独立性の低い実践者たちです。

実際、別の視点から見ると、たとえ AI に置き換えられなかったとしても、より優れた同僚、あるいは AI の使い方を知っている同僚に置き換えられることになります。

したがって、これらの人々は AI について心配するのではなく、まず自分自身を吟味する必要があります。

しかし、あまり心配する必要はありません。人類の歴史を通して、新しいテクノロジーの出現は確かに一部の人々の仕事を奪ってきましたが、同時に新しい職業や地位も生み出してきました。

蒸気機関の出現により、小規模な工場は存続できなくなり、ラッダイト運動が起こりました。

しかし、蒸気機関の普及により、失業者はより自分に合った仕事を見つけることができました。全体として、技術の進歩に伴い、人間はより容易な仕事に従事する能力を高めています。

AIの出現は、AIアノテーションスペシャリストのような新しい専門職や職種を生み出しました。AIGC時代において、アノテーションスペシャリストはサンプルにラベルを付けるだけでなく、AIが学習するためのコンテンツを作成し、AIの回答を修正するよう導き、AIが作成した複数のコンテンツを分類する必要があります。将来のAIアノテーションのニーズは、より多様で複雑になるでしょう。

AI は新しい仕事を生み出すだけでなく、一部の仕事に力を与え、それによって一部の職業を変えるでしょう。

たとえば、プログラマーは大量の基本コードを書く必要がなくなり、代わりに AI を使用してより大規模で複雑なタスクを完了する必要があります。

一人当たりの生産性は以前に比べて大幅に向上しましたが、現在求められるスキルは論理的思考力や問題解決能力に重点が置かれるようになりました。

同様に、データ アナリストは、基本的なデータの整理、収集、統合などのタスクを実行する必要がなくなり、代わりにデータの理解とビジネス目標に関する洞察の獲得に重点を置くことができます。

データの整理、収集、統合、そして困難なモデリング作業さえも、AIによってすべて実現可能です。実際、多くのツールが既にこれらの機能をサポートしています。例えば、Altair RapidMinerは、予測、クラスタリング、外れ値検出という3つの主要なカテゴリの問題を解決し、モデル構築と検証プロセスを大幅に加速します。

chatGPTに関する隠れた懸念

chatGPT は間違いなく、検索エンジンなど多くの業界に混乱をもたらすでしょう。

ChatGPT を搭載したことで、新しい Bing は情報ソースとデータの即時性という 2 つの大きな問題を解決し、検索エンジンに比べて優れたユーザー エクスペリエンスを提供しています。

検索エンジンのビジネスモデルが崩壊すれば、Google の主力収入源である広告は競争力を失い、クリック課金型広告などのモデルも存在しなくなるでしょう。

Google にとって時間はなくなりつつあります。

ここで、2つの疑問が浮かびます。

1. 知的財産権に関する問題。ここでの引用は単なる索引ではなく、元のウェブサイトと著者の知的財産権に関する問題も当然考慮に入れ、再編成・要約されています。

ウェブクローラーへの対応にrobots.txtのような自主規制の慣例があるように、将来、AI学習教材にも自主規制の慣例が設けられるでしょうか？例えば、AIによる学習を望まない芸術作品、ウェブページ、テキストなどがある場合、AIによる学習や引用を禁止する適切なマークを付けるべきです。

1. 情報繭問題。Web 2.0レコメンデーションシステムの時代において、情報繭問題は既に顕在化しています。レコメンデーションアルゴリズムは、ユーザーが興味を持つ情報を常に「フィード」します。ChatGPTは、人間のフィードバックに基づく強化学習ハイライト（RLHF）を用いてトレーニングされ、人間を満足させることを学習し、ユーザーが好む回答を提示します。

情報が高度に要約され抽象化されるにつれて、人々は検索エンジンの時代に自ら情報をフィルタリングするという複雑なプロセスを徐々に放棄し、代わりにチャットGPTにすべてを信頼することを選択するようになります。

自分の理解がchatGPTと矛盾する場合でも、自分自身を完全に否定し、chatGPTを受け入れます。

このままでは、人々の認知能力は低下するでしょう。これはもはや情報の繭ではなく、アルゴリズムの覇権です。その権威は揺るぎなく、その地位は揺るぎないものです。

さらに、アルゴリズムは解釈不可能な性質を持っているため、規制の厳しい金融業界での意思決定支援に使用することは困難です。

トレーニング サンプルが大きすぎて、パラメーターが複雑すぎるため、トレーニング マテリアルの公平性を検証することも困難です。

さらに、RLHF トレーニングには人間の関与が含まれるため、これらの注釈者の政治的立場が chatGPT の立場に影響を及ぼす可能性があります。

実際、chatGPT はもはや完全に中立ではなく、左翼の環境保護団体となっています。

結論

さまざまな欠陥や懸念があるにもかかわらず、chatGPT は近年の AI 業界、さらにはテクノロジー業界において最も重要なブレークスルーの 1 つです。

AI は一部の仕事に取って代わり、一部の産業に混乱をもたらすでしょうが、これまでの技術革命と同様に、新しい仕事や産業も生み出すでしょう。

私たち一般人も、日々の仕事の中に単純作業や反復作業がないか見直し、その部分をAIで代替することを積極的に進め、より創造的でやりがいのある仕事に力を注ぐべきです。

参考文献