|
Big Data Digest は DataPieTHU の許可を得て転載しています。 現在、AI は追加のトレーニングなしで任意の言語でコーディングできます。
2017年、研究者たちは「2040年までに人工知能がほとんどのコードを書けるようになるだろうか？」と問いかけました。現在、テスターはOpenAIのGPT-3を使用しています。これは既にあらゆる言語でコーディング可能です。機械主導のコーディングはほぼ確実です。
GPT-3 は数千億語、つまり基本的にインターネット全体でトレーニングされているため、CSS、JSX、Python など、あらゆる言語でコーディングできます。 さらに、GPT-3は学習データが包括的であるため、多様な言語タスクの「学習」を必要としません。逆に、些細な指示を与えると、ネットワークは手元のタスクに制限されてしまいます。
GPT-nの進化 GPTは、教師あり学習と教師なし事前学習を組み合わせる（あるいは教師なし学習ステップのパラメータを教師あり学習ステップの開始点として用いる）ことで、言語タスクにおいて最先端のパフォーマンスを実現します。次世代システムと比較すると、GPTは非常に小規模です。数千冊の書籍を用いて、わずか8CPUマシン1台で学習されました。
GPT-2は、パラメータが10倍、学習データも10倍以上と、コンテンツを大幅に拡張しています。しかしながら、データセットは「少なくとも3カルマを持つRedditのアウトバウンドリンク」を用いて特別に学習されているため、依然として比較的限定的です。GPT-2は「カメレオンのような」合成テキスト生成器と評されていますが、質問への回答、要約、翻訳といった下流タスクにおいては最先端の技術とは言えません。
(写真提供：ハンス・ユルゲン・マーガー)
GPT-3はAIの世界で最も最新かつ最も強力なツールであり、幅広いタスクにおいて最先端のパフォーマンスを実現しています。その最大のブレークスルーは、タスク固有の微調整が不要になったことです。モデルのサイズは劇的に拡大し、パラメータ数は1750億に達し、前モデルの116倍に相当します。 しかし、GPT-3 はトレーニングを一切必要としない (ゼロ学習の例) ため、単一学習や多重学習を行うと、本来の優れたパフォーマンスが失われてしまいます。
進化か死か 現状はこうです。テスターはGPT-3を用いて、ボタンからデータテーブルに至るまで、必要な複雑な知識を理解できる効率的なコードを生成し、Googleホームページを再現することさえ可能です。これらの例はすべてゼロショット学習によって実現されています。
AI の急速な発展に加えて、ノーコードと AutoML という 2 つの主要な技術トレンドが、プログラミング作業の不確実な未来をさらに困難なものにしています。
ノーコードとは、ウェブサイト、デザイン、データ分析、モデルなど、誰でも簡単に新しい製品を構築できるビジュアルツールを指します。WordPress、Wix、Shopifyはノーコードツールの代表的な例であり、開発者やデザイナーを雇わずに何百万人もの人々が自分で作業を行うことを可能にしています。
2 番目のトレンドは AutoML (自動機械学習) であり、これにより AI を本番環境に導入するまでの時間が大幅に短縮されます。
Apteo などのツールはこれらのトレンドを組み合わせて、コーディングスキルがなくても誰でも AI モデルを展開できるようにします。
GPT-3は、ノーコードおよびAutoMLツールの新たな波を引き起こすでしょう。多くの潜在的な雇用主は、高額なプログラマーを雇う代わりに、これらのツールを選択するでしょう。
当然のことながら、最もスキルの低いプログラマーが真っ先に辞めていく一方で、専門家はより長い雇用安定性を享受することになるだろう。これはどの分野でも同様である。
GPT-3 は単なるコードではなく、あらゆる言語タスクに適しています。 GPT-3に特定の言語タスクを指示するには、達成したい例を与えるだけです。つまり、GPT-3にコードを書くこと、詩、音楽、ソーシャルメディアのコメント、その他のテキストを書くことを指示できます。
たとえば、ニュース記事を生成したい場合は、「アメリカのメソジスト教会が歴史的な分裂に同意」などの見出しと、「同性婚に反対する派が独自の宗派を結成する」などの小見出しを入力できます。
これらを入力すると、GPT-3 は次の結果を生成します。
2日間にわたる白熱した議論の末、メソジスト連盟は歴史的な分裂に至った。ワシントン・ポスト紙によると、この分裂は「神学的にも社会的にも保守的」な新宗派の設立で終結する見込みだ。5月に開催された同教会の年次総会に出席した代表者の過半数は、LGBTQ聖職者のランキング付け禁止を強化し、同性婚を司式する聖職者を「懲戒」するための新たな規則を制定することに賛成票を投じた。しかし、これらの措置に反対する人々は新たな計画を立てている。彼らは2020年に別の宗派を結成し、自らの教会を「メソジスト教会」と名乗るというのだ…
これが AI によって書かれたものだと正しく認識した人はわずか 12% でした。88% は騙されました。
人間と同じように、GPT-3はたった1つの例から新しい単語を学習できます。例えば、次のような文脈が与えられます。
「Burringo」は加速が非常に速い車です。「Burringo」を使った例文は次のとおりです。 GPT-3出力:
我が家のガレージには、父親が毎日通勤に使うバリンゴが置いてあります。
これらの結果は大変興味深いものです。人工知能の発展は避けられないものであり、現在のパフォーマンスに対するいかなる批判も無意味になることを忘れないでください。
言語だけではない ― 画像に応用されたGPT GPT はコードなどで記述できますが、画像を生成することもできます。
それはどうして可能なのでしょうか?
同じモデルアーキテクチャを、テキストエンコーディングではなくピクセルシーケンスで学習させることで、新しいテキストではなく新しい画像を生成することができます。実際、このモデルアーキテクチャは非常に優れており、トップクラスのCNNと競合可能です。
私がこれについて言及する理由は、GPT (およびその次世代) が将来エンコーダーを置き換える可能性があるだけでなく、その汎用性を考慮すると、業界全体を置き換える可能性もあることを示しているからです。
結論は GPT-3の驚異的なパフォーマンスは、スーパーインテリジェンスが私たちが考えていたよりも近いこと、あるいは少なくともAI生成コードが私たちが考えていたよりも近いことを多くの人に確信させました。GPT-3は、創造的で洞察力に富み、深遠で、そして美しいコンテンツを生み出します。GPT-3のよりクリエイティブな例については（そして、そのパワーをさらに確信したい場合は、Gwernによるこちらの記事をご覧ください）、以下をご覧ください。 https://www.gwern.net/GPT-3#効果的なプロンプトプログラミング 関連レポート： |
