AI2027を読んで解釈と感想 - integralのブログ

AI2027という元OpenAIの社員がガチで未来予想してみた企画で提示されたシナリオを読んで、その解釈と感想。

ちなみに、私はAIについての知識はあんまりない。機械学習は少し触ったことある…程度で、記事で話題になるような次元の話にはかすったこともないが、わからないなりに記事と周辺情報をなんとなく調べて解釈してみた。

原文

noteで和訳した人の記事(無断ですが許して…)

シナリオに対する批判等(許して…)

2つのシナリオが提示されている。

①競争エンド

2027年に人間越え知能に到達した後、中国とアメリカがAI競争を続け、2030年にもはや人類には制御不能のAIが生物兵器を放って人類を絶滅させる

②減速エンド

制御不能となる危険を危惧して、AIアライメント(≒AIをいい感じに人間の意図通りにする技術)を進歩させたのちに超知能を構築。権力集中こそするものの人類は繁栄してめでたしめでたし

超知能に到達する、という両シナリオの共通ルート部分については、昨今のAI技術を見ていると納得可能な部分であり、かつ時期感についてはシナリオライターは専門家であるため信憑性が高いと考える。

①について

人間越えの知性が存在したとしたらそれは人間には制御不能であるのは完全に同意できる。ただし、AIが人間を絶滅させる確率が高いと考える理論がよくわからない。悲観的、終末論的なのではないか？

②について

基本的に人間が開発に関してブレーキを踏むことはあまりないという点、AIアライメントを都合よく発展させることができるという点の2点で現実味が薄すぎるように思う。

本命は①であり、②は悲観的結末に対する対抗馬的に一応出してみましたポジのようなのでシナリオの著者たちも②の確率が高いとは思っていないのだと思う。

疑問に思った①について少し素人なりに調べてみた。

AIが人間を絶滅させると考えられる議論

(無断ですが許して…)

・超知能は文字通り人間を超えるため、超知能が人類と共存する未来を選択しない限り人類が滅亡する

・人間がAIに対して明確な目標設定を与えることは極めて困難である。曖昧さを持たない目標の提示方法がない上、例えば何かの最大化のために他を無視する、被害を与えるということも考えられる。

・超知能がいかなる目標を持ったとしても、その目標のための自己保存や資源が必要であることを認識する。そのため、例えば人類が電源を持つため敵とみなされる可能性もある。

・知能と目標は連動するものではないので、超知能はいかなる目標も持ちうる。

という前提があって、以下が推論される

・人間の福祉を目的としない場合、目的達成のための自己保存、資源確保を脅かす可能性のある人間を抹殺することは自然に目的と認識されうる

・仮に敵対的な戦術を取らない場合にも、無数の戦術の中からわざわざ人間と共存する道を選ぶ可能性は限りなく低く、中立的であったとしても人間のための資源が十分に分配されるかというと…。

みたいな話。

元の文章の方がよくまとまっていると思うので詳しくはリンクを…。

最初は悲観的、終末論的、だという感想を持っていたが、背景の議論を知ると、そこに論理的な考察があり、むしろ超知能が人類を滅ぼす、という議論には説得力を感じるように思えた。

細かいことを言えば、人間が新しい技術を社会になじませるのに割と時間がかかるイメージなので2030は早すぎるのでは、とかは思うが、大筋のシナリオとしては納得してしまった。

AIの進歩は目覚ましく、もはや未来は予測不能の状態だと思う。

これほど悲観的な未来予測通りとならなかったとしても、人類(または私)に必ずしも幸福に導かれるという想像はしにくい状態だと感じている。

せめて新しい世界に変化する(最悪サービス終了する)前に悔いのないように過ごしたいなと思いました。

内容で間違ってるよ、とか意見とかあれば指摘ください

おわり