金融崩壊の掲示板

>>120

まあ、汎用人工知能（AGI）の誕生自体は画期的な出来事で、人類の歴史の大きなターニングポイントとなるものではあるのですけどね。AGIは「より能力の高いAGIを回帰的にデザインできるまでに進化して、最終的にその進化を止めるものは物理の法則のみとなる。こうしてたどり着いたAGIは人間のレベルを遥かに超えるものとなるだろう」（Tegmark教授）。要するに、AGIを使えば、そこから超知能を生み出すことも可能。で、こういう「知の爆発」を目の当たりにする時代と一にして何か非常によくないことが起こるというんですね。教授は次のように書いています。

「知の爆発をコントロールできる集団があれば、そこが数年で世界を支配する」

「人類が知の爆発をコントロールできなければ、AIがそれ以上のスピードで世界を支配するだろう」

永遠の傍観者
もうひとつ人間の弱い立場を語るとき忘れちゃならない重要なポイントは、こういう技術のループから人間がどんどん爪弾きになるということです。よく知られた例では株取引がありますよね。もうアルゴリズムがほとんどのボリュームをさばいています。去年DARPA（米国防高等研究計画局）が行なったAI対人間の空中戦シミュレーションでも、AIはF-16戦闘機パイロットを打ち負かせていますし、人間の介入抜きに大きな決断を下すようAIに求められる場面が増えることはあっても減ることはありません。

先のシュナイダー所長が心配するのは「軍ではAIの軍事競争が常にあること」です。「AIへの依存が高まればいざ軍事攻撃を受けたとき人間はすばやく察知して対応できなくなる」というんですね。「それさえもAIがないとできなくなるのに、そのループに人間を巻き込む体制をどう維持するかがまだ明確になっていない」のだそう。人間が入ってくるデータをまとめて総合的に判断する間もないうちにAIが人間になり代わって報復することも大いにあり得ると話していました。

人間にエラーはつきもの。戦場はプレッシャーも大きいので尚更です。そこにAIによる誤算や判断ミスが加わると、これまたリスクの増大を招いてしまいます。旧ソの早期警告システムの誤作動で核戦争勃発の一歩手前までいった1983年のインシデントがそのいい例です。

SF作家のアイザック・アシモフはこうなる未来を予見していたのでしょう。ロボット三原則の縛りをかけて人間がベストを尽くしてもロボットが次々とよからぬことをする世界を小説に描いています。シュナイダー所長が言ってたように、そもそも電子的な倫理規範について全員が同意するなんてこと現実にあるのかなとは思いますが、人間だって似たようなことしようとすれば同様の問題が起こるでしょう。

しかし人間に残された選択肢はほぼ皆無で、全力を尽くすことぐらいのことしかできません。結果が恐ろしすぎて、肩をすくめて負けを認めるわけにもいかないし。「テクノロジーより先に人間の知恵を示さなければならない」というわけで、ボストロム教授はこれを「philosophy with a deadline（デッドライン付き哲学）」と呼んでいます。

地球規模のディザスターは人工超知能の登場を待たずして起こるという話もあります。去年の山火事、洪水、土砂崩れなど見れば、それはもう明らかだし、とても人間の手に負えるものではないという印象です。COVID-19と感染力の高い変異種もまだ未解明の部分が大きいですが、人間の弱点を突くことで受動的に作用するウイルスとされます。ここで言う弱点というのは体と、つながる生き物だというソーシャルな部分です。人間が予防策を打つと、それに順応することも可能ですが、それが行なわれるのはランダムな変異と選択を通してのみですので生物的な限界を超えることはできません。しかし悪質なAIの手にかかれば独自に「IQの低い」ウイルスを開発し、人間による対策の裏をかいてもっと致死率の高い変異種にひたすら修正を加えていくことは可能でしょう。

これについてパンデミック初期段階で Yampolskiy教授はこんな風にツイートしています。

コロナウイルスはIQがおよそ0でありながら人類を圧倒している。AI安全保障とは（部分的に）IQが1000を超えるコンピューターウイルス対策の話だ。

以上、長々と見てきましたが、人工超知能が人類文明を終わらせるシナリオは本当に枚挙にいとまがありませんね。起こるとするなら単に力と数で押すブルートフォース攻撃ではなく、環境に順応して自らを改造するセルフデザイン、エンハンスした状況判断、光のようにすばやい計算処理反応を駆使した、もっと効率のいい攻撃になるでしょう。安全安心でメリットも倫理感もあるAIが本当につくれるかどうかも不明だし、超知能に近いAIの開発については全世界で禁じるほかないように感じます。ムリだろうけど、たぶん必要な変化。

satomi