著者 | トーマス・A・ドーファー 編纂者：岳陽 目次
画像は著者によるものです。 過去10年間は、人工知能分野にとって刺激的な時期でした。ディープラーニングの可能性を探る初期の段階から、分野全体の爆発的な成長に至るまで、現在ではeコマース向けレコメンデーションシステム、自動運転車向け物体検出、生成モデル（リアルな画像や一貫性のあるテキストの作成など）といった分野への応用が進んでいます。 この記事では、記憶の川を辿りながら、今日の私たちを導いた重要な技術革新を振り返ります。AIの実践者であれ、この分野の最新動向に関心がある方であれ、この記事は人工知能（AI）を誰もが知る言葉にした技術革新の包括的な概要を提供します。 01 2013: AlexNet と変分オートエンコーダー2013年は、コンピュータービジョンの飛躍的な進歩により、ディープラーニングが成熟した年として広く認識されています。ジェフリー・ヒントン氏への最近のインタビュー[1]によると、2013年までに「ほぼすべてのコンピュータービジョン研究がニューラルネットワークに移行した」とのことです。この急成長は、主に前年（2012年）の画像認識における驚くべきブレークスルーによってもたらされました。 2012年9月、深層畳み込みニューラルネットワーク（CNN） AlexNet [2] は、ImageNet大規模画像認識コンテスト（ILSVRC）で記録破りの成績を収め、画像認識タスクにおける深層学習の可能性を実証しました。AlexNetのTop-5エラー率 [3] は15.3%で、最も近い競合相手よりも10.9%低い値でした。 画像は著者によるものです。 この成功の背後にある技術の進歩は、人工知能の発展を大きく加速させ、ディープラーニングに対する人々の認識を劇的に変えました。 まず、AlexNETの著者らは、5つの畳み込み層と3つの全結合線形層からなる深層CNNを採用しました。これは当時、多くの人が非実用的だと思っていたネットワークアーキテクチャでした。さらに、ネットワークの深度によって生成されるパラメータの数が多くなるため、2つのグラフィックス・プロセッシング・ユニット（GPU）で並列にトレーニングを実行し、大規模なデータセットを迅速にトレーニングできることを実証しました。より効率的なRectified Linear Unit（ReLU）[4]を使用することで、シグモイド関数やtanh関数といった従来の活性化関数が置き換えられ、トレーニング時間をさらに短縮しました。 画像は著者によるものです。 これらの技術革新は相まってAlexNetの成功を牽引し、人工知能の歴史における転換点となり、学術界とテクノロジー業界全体でディープラーニングへの関心が急上昇しました。そのため、 2013年はディープラーニングの真の飛躍の始まりを示す転換点の年と捉える人が多くいます。 2013年には、AlexNetの大成功に影を潜めながらも、変分オートエンコーダ（VAE[5]）の開発も行われました。これは、画像や音声などのデータを表現・生成することを学習できる生成モデルです。VAEは、入力データの圧縮表現を潜在空間と呼ばれる低次元空間に学習することで機能します。これにより、学習した潜在空間からサンプリングすることで新しいデータを生成することができます。VAEは後に、生成モデリングとデータ生成の新たな道を拓いたと考えられ、芸術、デザイン、ゲームなどの分野で応用されています。 2014年2月: 生成的敵対ネットワーク翌年の2014年6月、イアン・グッドフェローと彼の同僚は生成的敵対的ネットワーク（GAN）[6]を提唱し、これは深層学習分野におけるもう一つの大きな進歩となった。 GANは、トレーニングセットに類似した新しいデータサンプルを生成するニューラルネットワークの一種です。基本的に、2つのネットワークが同時にトレーニングされます。(1)生成ネットワークが偽造または合成サンプルを生成し、(2)識別ネットワークがそれらの真正性を評価します。このトレーニングは、生成ネットワークが識別ネットワークを欺くサンプルを作成しようとし、識別ネットワークが偽造サンプルを正しく識別しようと試みるという、ゲームのような設定で行われます。 当時、GANは画像や動画だけでなく、音楽や芸術にも応用できる強力かつ斬新なデータ生成ツールとして注目されていました。GANは明示的なラベルに頼ることなく高品質なデータサンプルを生成できることを実証し、それまで比較的未発達で困難と考えられていた教師なし学習の進歩に大きく貢献しました。 2015年3月: ResNetとNLPのブレークスルー2015 年、人工知能の分野では、コンピューター ビジョンと自然言語処理 (NLP) の両方で大きな進歩が遂げられました。 カイミン氏と彼の同僚は、「画像認識のための深層残差学習」 [7]と題した論文を発表し、残差ニューラルネットワーク（ResNet）の概念を紹介しました。このアーキテクチャは、ショートカットを追加することで、ネットワークを介した情報の流れを容易にします。各層が前の層の出力を入力として受け取る通常のニューラルネットワークとは異なり、ResNetは追加の残差接続を追加することで、1つ以上の層をスキップし、ネットワークのより深い層に直接接続します。 したがって、 ResNetは勾配消失問題[8]を解決でき、より深いニューラルネットワークの学習を可能にします。これは、画像分類や物体認識タスクの処理において大きな進歩をもたらします。 同じ頃、研究者たちはリカレントニューラルネットワーク（RNN） [9]と長短期記憶（LSTM） [10]モデルの開発においても大きな進歩を遂げました。これらのモデルは1990年代から存在していましたが、主に以下の要因により、2015年頃から注目を集めるようになりました。 （１）2015年には、訓練に利用できるデータセットはより大きく多様化していた。 （２）計算能力とハードウェアの向上により、より深く複雑なモデルのトレーニングが可能になる。 （３）これらのモデルの登場から2015年までの間に行われたモデルの改良（より複雑なゲーティングメカニズムなど）。 これらのアーキテクチャにより、言語モデルはテキストの文脈と意味をより深く理解できるようになり、言語翻訳、テキスト生成、感情分析といったタスクにおいて大幅な改善がもたらされました。当時のRNNとLSTMの成功は、今日見られる大規模言語モデル（LLM）の開発への道を開きました。 2016年4月: アルファ碁1997年にガルリ・カスパロフがIBMのディープ・ブルーに敗れた後、2016年には人間と機械の間でもう一つの大きな対決が行われました。GoogleのAlphaGoが世界囲碁チャンピオンのイ・セドルを破ったのです。 Unsplash の Elena Popova による写真。 イ・セドルの敗北は、人工知能の発展における新たな重要な節目となる。かつてはコンピュータには複雑すぎると考えられていたゲームにおいて、機械が最高レベルのスキルを持つ人間のプレイヤーにさえ勝利できるということを証明したのだ。AlphaGoは、深層強化学習[11]とモンテカルロ木探索[12]を組み合わせて、過去のゲームにおける数百万もの局面を分析し、可能な手を評価するという戦略を採用した。これは、この場合、人間の意思決定能力をはるかに超えるものだ。 2017年5月: Transformerアーキテクチャと言語モデル2017 年は、今日見られる生成型人工知能の画期的な進歩の基礎を築く上で最も重要な年であったと言えます。 2017年12月、Vaswaniらは「Attention is all you need（必要なのは注意だけ）」[13]と題した基礎論文を発表しました。この論文では、自己注意[14]の概念を用いてシーケンシャルな入力データを処理するTransformerアーキテクチャが紹介されています。これにより、従来のリカレントニューラルネットワークアーキテクチャでは課題となっていた長距離依存関係の処理がより効率的に行えます。 写真はUnsplashのJeffery Hoによるものです。 Transformerは、エンコーダーとデコーダーという2つの重要なコンポーネントで構成されています。エンコーダーは、単語のシーケンスなど、入力データをエンコードする役割を担います。次に、入力シーケンスに複数の自己注意層とフィードフォワードニューラルネットワークを適用し、文内に存在する関係性と特徴を捉え、意味のある表現を学習します。 本質的に、自己注意はモデルが文中の異なる単語間の関係性を理解することを可能にします。単語を固定された順序で処理する従来のモデルとは異なり、 Transformerはすべての単語を同時に考慮します。文中の各単語と他の単語との関連性に基づいて、各単語に「注意スコア」と呼ばれる指標を割り当てます。 一方、デコーダーはエンコーダーからエンコードされた表現を入力として受け取り、出力シーケンスを生成します。機械翻訳やテキスト生成などのタスクでは、デコーダーはエンコーダーから受け取った入力に基づいて翻訳シーケンスを生成します。エンコーダーと同様に、デコーダーにも複数層の自己注意層とフィードフォワードニューラルネットワークが含まれています。さらに、エンコーダーの出力に焦点を合わせることができる追加の注意機構も備えています。これにより、デコーダーは出力を生成する際に、入力シーケンスから関連情報を考慮に入れることができます。 Transformer アーキテクチャは、導入以来、LLM 開発の重要なコンポーネントとなり、機械翻訳、言語モデル、質問応答などの NLP 分野で画期的な進歩を遂げてきました。 2018年6月: GPT-1、BERT、グラフニューラルネットワークVaswaniらが論文を発表してから数か月後、OpenAIは2018年6月にGenerative Pretrained Transformer（GPT-1）[15]をリリースしました。これはTransformerアーキテクチャを用いてテキスト内の長距離依存性を効果的に捉えるものです。GPT-1は、教師なし事前学習後に特定のNLPタスクに対する微調整を実証した最初のモデルの一つです。 さらに、Googleは当時斬新だったTransformerアーキテクチャを用いて、2018年末に独自の事前学習手法「Bidirectional Encoder Representations from Transformers（BERT）」をオープンソース化しました[16]。従来のモデルが単方向的にテキストを処理していたのに対し（GPT-1を含む）、 BERTは各単語の文脈を双方向で同時に考慮します。これを説明するために、著者らは非常に直感的な例を挙げています。
強力な双方向性により、BERT はさまざまなベンチマーク タスクで既存の NLP システムを上回るパフォーマンスを発揮しました。 GPT-1とBERTに加え、グラフニューラルネットワーク（GNN） [17]もこの年に大きな話題を呼びました。GNNはグラフデータ向けに特別に設計されたニューラルネットワークの一種です。GNNはメッセージパッシングアルゴリズムを用いてグラフのノードとエッジ間で情報を伝播します。これにより、ネットワークはデータの構造と関係性をより直感的に学習することができます。 この研究により、研究者はデータからより深い情報を抽出できるようになり、ディープラーニングの応用範囲が拡大しました。GNNの活用により、AIはソーシャルネットワーク分析、レコメンデーションシステム、医薬品研究などの分野で大きな進歩を遂げています。 2019年7月: GPT-2と改良された生成モデル2019年、生成モデルは、特にGPT-2[18]のリリースによって大きな進歩を遂げました。このモデルは多くのNLPタスクにおいて最先端の性能を発揮し、競合製品を凌駕するだけでなく、非常にリアルなテキストコンテンツを生成することも可能にしました。振り返ってみると、これはこの分野にこれから起こる「ビッグバン」を予感させるものでした。 この年のこの分野におけるその他の進歩としては、実際の画像とほとんど区別がつかないほどの高品質の画像を生成するDeepMindのBigGAN[19]や、生成された画像の外観をより適切に制御できるNVIDIAのStyleGAN[20]などが挙げられます。 要約すると、現在では生成 AI として知られるこれらの進歩は、人工知能の限界をさらに押し広げており、... 2020年8月: GPT-3と自己教師学習...その後まもなく、技術分野以外でも知られるGPT-3[21]という新たなモデルが登場しました。このモデルはLLMの規模と機能を大幅に向上させました。GPT-1のパラメータ数はわずか117万でしたが、GPT-2では15億、GPT-3では1750億に達しました。 このような高いパラメータにより、GPT-3 はさまざまなプロンプトやタスクで非常に一貫性のあるテキストを生成することができ、テキスト補完、質問応答、さらにはクリエイティブ ライティングなどの NLP タスクで優れたパフォーマンスと優れた結果を示しました。 さらに、GPT-3は、大量のラベルなしデータを用いてモデルを学習できる自己教師学習の可能性を改めて浮き彫りにしています。自己教師学習の利点は、モデルがタスクに特化した大規模な学習を必要とせずに言語の一般的な理解を獲得できるため、コスト効率が向上することです。 Yann LeCun 氏は、自己教師学習に関するニューヨークタイムズの記事をツイートしました。 2021年9月: AlphaFold 2、DALL-E、GitHub Copilotタンパク質の折り畳みから画像生成、自動コーディングアシスタントまで、2021 年は AlphaFold 2、DALL·E、GitHub Copilot のリリースにより、驚きに満ちた年となりました。 AlphaFold 2 [22]は、タンパク質フォールディングという数十年来の課題に対する解決策です。DeepMindの研究者たちは、Transformerアーキテクチャを拡張し、進化戦略を用いたモデル最適化構造であるevoformerを開発しました。これにより、一次元アミノ酸配列からタンパク質の三次元構造を予測できるモデルを構築しました。この画期的な進歩は、創薬、バイオエンジニアリング、そして生物システムの理解に革命をもたらす大きな可能性を秘めています。 OpenAIは同年、DALL·E [23] をリリースしたことで再び注目を集めました。このモデルは本質的に、GPTスタイルの言語モデルと画像生成の概念を組み合わせ、テキスト記述を通じて高品質な画像を作成することを可能にしました。 このモデルの威力を示すために、プロンプト「空飛ぶ車のある未来の世界を描いた油絵」に基づいて生成された以下の画像をご覧ください。 画像はDALL·Eにより制作されました。 GitHubはついにCopilot [24]をリリースしました。これはOpenAIとの共同開発で、OpenAIは基盤となる言語モデルCodexを提供しました。Codexは大量の公開コードを用いて学習され、様々なプログラミング言語のコードを理解・生成する能力を身につけました。開発者は解決しようとしている問題を説明するコードコメントを入力するだけで、モデルは解決策を実装するためのコードを生成します。その他の機能としては、入力コードを自然言語で記述したり、様々なプログラミング言語間でコードを変換したりといったものがあります。 2022年10月: ChatGPTと安定した拡散過去10年間、人工知能の急速な発展は画期的な進歩によって頂点に達しました。OpenAIは2022年11月にChatGPTをリリースしました[25]。このツールは自然言語処理分野における最高の成果と考えられており、様々な質問やプロンプトに対して、一貫性があり文脈を考慮した回答を生成することができます。さらに、会話に参加したり、問題の説明を提供したり、創造的な提案を提供したり、問題解決を支援したり、コードを記述・解釈したり、さらには異なる性格や文体のシミュレーションまで行うことができます。 画像は著者によるものです。 シンプルで直感的なインターフェースを通じてロボットとインタラクションできるようになったことで、ユーザビリティも劇的に向上しました。かつては、最新のAI技術の探求は主にテクノロジー業界が中心でした。しかし今では、AIツールはソフトウェアエンジニアからライター、ミュージシャン、広告主まで、ほぼあらゆる専門分野に浸透しています。多くの企業もこのモデルを活用し、カスタマーサポート、言語翻訳、よくある質問への回答といったサービスを自動化しています。実際、現在私たちが目撃している自動化の波は、自動化に伴うリスクに関する懸念を再燃させ、議論を巻き起こしています。 ChatGPTは2022年に大きな注目を集めましたが、画像生成においても大きな進歩がありました。Stability AIは、テキスト記述からリアルな写真を生成できる可能性のあるテキストから画像への拡散モデルであるStable diffusion [26]をリリースしました。 安定拡散は、画像にノイズを反復的に追加し、その逆の処理を行ってデータを復元する従来の拡散モデルの拡張です。入力画像に直接作用するのではなく、低次元表現または潜在空間に作用するように設計されているため、処理が高速化されます。さらに、拡散プロセスは、ユーザーからのトランスフォーマー埋め込みテキストプロンプトをネットワークに追加することで変更され、各反復における画像生成プロセスをガイドします。 全体として、2022 年の ChatGPT と Stable diffusion のリリースにより、マルチモーダルな生成 AI の可能性が強調され、この分野でのさらなる開発と投資が促進されました。 11 2023: LLMとボット今年はLLMとチャットボットにとって間違いなく大きな成果の年でした。ますます多くの大規模モデルが登場し、急速に進化を続けています。 画像は著者によるものです。 例えば、Meta AIは2月24日にLLaMA [27] をリリースしました。これはGPT-3よりも性能が高く、パラメータ数がはるかに少ないLLMです。それから1ヶ月も経たない3月14日、OpenAIはGPT-3のより大規模で強力なマルチモーダル版であるGPT-4 [28] をリリースしました。GPT-4の正確なパラメータ数は不明ですが、数兆単位であると推測されています。 3月15日、スタンフォード大学の研究者らは、LLaMAを命令追従のデモンストレーションを通して微調整した軽量言語モデルAlpaca [29]をリリースしました。その数日後の3月21日、GoogleはChatGPTの競合であるBard [30]をリリースしました。また、Googleは今月初めの5月10日に最新のLLMであるPaLM-2をリリースしました [31]。この開発ペースを考えると、この記事を読んでいる頃には、さらに新しいモデルが登場している可能性も十分にあります。 これらのモデルを自社製品に統合する企業も増えています。例えば、DuolingoはGPT-4をベースとした新しいサブスクリプションサービス「Duolingo Max」 [32]を発表しました。これは、個人に合わせた言語レッスンを提供することを目的としています。SlackもSlack GPT [33]と呼ばれるAIアシスタントをリリースしました。これは、返信の作成や会話の要約などのタスクを実行できます。さらに、ShopifyはChatGPTを活用したアシスタントをストアアプリに導入し、さまざまなプロンプトを通じて顧客が必要な商品を見つけるのを支援します。 ShopifyはTwitterでChatGPTを搭載したAIアシスタントを発表しました。 興味深いことに、AIチャットボットは今や人間のセラピストの代替としてさえ見られています。例えば、米国のチャットボットアプリ「Replika」 [34]は、ユーザーに「あなたのことを気にかけ、常に耳を傾け、話しかけ、いつでもそばにいてくれるAIコンパニオン」を提供しています。創設者のユージニア・クイダ氏によると、このアプリのユーザーは「人と交流する前にウォーミングアップしたい」自閉症の子供から、ただ友達が必要な孤独な大人まで、非常に幅広いそうです。 最後に、過去10年間のAI開発のハイライトを強調したいと思います。それは、人々がBingを使用していることです。今年初め、マイクロソフトは検索向けにカスタマイズされており、長年にわたり検索ビジネスにおいてGoogleの強力な競合相手となってきたGPT-4をベースにした「copilot for the web」[35]を発表しました。 12過去を振り返り、未来を見据える過去10年間のAIの発展を振り返ると、私たちの働き方、ビジネスモデル、そして人間の相互作用に深く影響を与えた変革を目の当たりにしてきたことは明らかです。近年、生成モデル、特にLLMにおいて大きな進歩が遂げられています。生成モデルの開発は、「大きいほど良い」という共通の信念に基づいているように思われます。これはもちろん、モデル内の調整可能なパラメータの総数（モデルのパラメータ空間）を指しています。これは特にGPTシリーズに顕著で、117万個のパラメータ（GPT-1）から始まり、その後のバージョンごとに約1桁ずつ増加し、最終的には数兆個のパラメータを持つGPT-4に到達しました。 しかし、最近のインタビュー[36]で、OpenAIのCEOであるサム・アルトマン氏は、パラメータに関して「大きいほど良い」という時代は終わりを迎えたと主張しました。彼は今後もパラメータ数は増加し続けると考えていますが、今後のモデル改良では、モデルの機能性、有用性、安全性の向上に重点が置かれると考えています。 この最後の点は特に重要です。これらの強力なAIツールは、もはや研究室の管理された環境に限定されず、一般の人々にも利用されるようになりました。これらのツールが安全であり、人類にとって最善の利益となるよう、これまで以上に慎重に行動する必要があります。AIセキュリティが他の分野と同等のレベルの開発と投資を受けることを期待します。 終わり 参考文献 1.https://venturebeat.com/ai/10-years-on-ai-pioneers-hinton-lecun-li-say-deep-learning-revolution-will-continue/ 2.https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf 3.https://machinelearning.wtf/terms/top-5-error-rate/ 4.https://www.cs.toronto.edu/~fritz/absps/reluICML.pdf 5.https://arxiv.org/abs/1312.6114 6.https://proceedings.neurips.cc/paper_files/paper/2014/file/5ca3e9b122f61f8f06494c97b1afccf3-Paper.pdf 7.https://arxiv.org/abs/1512.03385 8.https://en.wikipedia.org/wiki/Vanishing_gradient_problem 9.https://en.wikipedia.org/wiki/Recurrent_neural_network 10.https://pubmed.ncbi.nlm.nih.gov/9377276/ 11.https://en.wikipedia.org/wiki/Deep_reinforcement_learning 12.https://en.wikipedia.org/wiki/Monte_Carlo_tree_search 13.https://arxiv.org/abs/1706.03762 14.https://en.wikipedia.org/wiki/Attendance_(machine_learning) 15.https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf 16.https://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html 17.https://en.wikipedia.org/wiki/グラフニューラルネットワーク 18.https://openai.com/research/gpt-2-1-5b-release 19.https://www.deepmind.com/open-source/big-gan 20.https://github.com/NVlabs/stylegan 21.https://arxiv.org/abs/2005.14165 22.https://www.nature.com/articles/s41586-021-03819-2 23.https://openai.com/dall-e-2/ 24.https://github.com/features/copilot 25.https://openai.com/blog/chatgpt 26.https://stability.ai/blog/stable-diffusion-public-release 27.https://ai.facebook.com/blog/large-language-model-llama-meta-ai/ 28.https://openai.com/product/gpt-4 29.https://crfm.stanford.edu/2023/03/13/alpaca.html 30.https://blog.google/technology/ai/bard-google-ai-search-updates/ 31.https://ai.google/discover/palm2 32.https://blog.duolingo.com/duolingo-max/ 33. https://slack.com/blog/news/introducing-slack-gpt 34. https://replika.com/ 35. https://blogs.microsoft.com/blog/2023/02/07/reinventing-search-with-a-new-ai-powered-microsoft-bing-and-edge-your-copilot-for-the-web/ 36. https://techcrunch.com/2023/04/14/sam-altman-size-of-llms-wont-matter-as-much-moving-forward/?guccounter=1&guce_referrer=aHR0cHM6Ly93d3cuZ29vZ2xlLmNvbS8&guce_referrer_sig=A QAAAANxF1G0qEgpUn-9mD7CxuZrc77IDr8t-QvyX3Do6Koa10eGy5DYiq3lzXDAJRakptl0Jy49OkuxXU8zD-3- 8l-h3YJxFgKRwk5HqIHdhG2BIXavq5Tfn1HHz6IKk8-y86xZbyHXZJwE_Q_OFXr4nrHygrl48-WxX7vdgTft_lhw この記事は、原著者の許可を得てBaihai IDPによって翻訳されました。翻訳の転載をご希望の場合は、お問い合わせください。 オリジナルリンク: https://towardsdatascience.com/ten-years-of-ai-in-review-85decdb2a540 |
AI研究の10年：AIの発展を振り返り、未来を見据える
関連するおすすめ記事
-
論文ダイジェスト | パーソナライズされたレコメンデーションにおけるデータスパース性の克服：ロングテール拡張のためのグラフコントラスト学習アルゴリズムの研究
-
言語モデルテキスト処理の基礎：トークナイザーの概要
-
シリコンバレーのリーダーたちがこぞって話題にする AI エージェントは、本当に注目されているのでしょうか、それとも単なる誇大宣伝なのでしょうか?
-
AIに新たな火花 | Googleのレイオフ計画が明らかに、3万人がAIに置き換えられる可能性、テクノロジー業界はどこへ向かうのか？
-
クラウドでの量子コンピューティングを覚えていますか?
-
中関村科技金融の張傑氏：会話型AIと大規模言語モデルが強力な機能を発揮 | 2023年の展望