今年 4 月、Daniel Kokotajlo、Scott Alexander などが報告書「AI 2027」を発表し、「私たちが未来 5 年の超人類 AI の影響についての最良の推測」を描写しました。彼らは、2027 年までに超人類 AI が誕生し、人類文明全体の未来が類 AI の発展の結果に依存すると予測しています：2030 年までに、私たちはアメリカの視点から見てユートピアを迎えるか、全人類の視点から見て完全な破滅に向かうかのいずれかです。
**防御的な AI。**個人は、自分に明確に忠実なローカルで動作する AI を装備する必要があり、インターネット上で見かけるダークモードや脅威とのバランスを取るべきです。このようなアイデアはすでにいくつかの試験的な取り組み（例えば、台湾の「メッセージチェッカー」アプリ、携帯電話上でのローカルスキャン）で実施されていますが、人々を詐欺から守るなど、これらのアイデアをさらにテストする自然な市場がありますが、この分野ではさらなる努力が必要です。
防御技術は「武装した羊」の理念をより多く反映すべきであり、「すべての狼を狩る」という理念ではない。 脆弱な世界仮説についての議論は、しばしば唯一の解決策が覇権国家が全球監視を維持し、潜在的な脅威が現れるのを防ぐことであると仮定する。しかし、非覇権的な世界では、これは実行可能な方法ではなく、上から下への防御メカニズムは強力な AI によって簡単に覆され、攻撃ツールに転換される可能性がある。したがって、より大きな防御責任は、世界の脆弱性を低下させるために、困難な努力を通じて実現する必要がある。
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
ヴィタリックが考える「AI 2027」：スーパーAIは本当に人類を滅ぼすのか？
執筆：ヴィタリック・ブテリン
コンパイラ:ルフィ、フォーサイトニュース
今年 4 月、Daniel Kokotajlo、Scott Alexander などが報告書「AI 2027」を発表し、「私たちが未来 5 年の超人類 AI の影響についての最良の推測」を描写しました。彼らは、2027 年までに超人類 AI が誕生し、人類文明全体の未来が類 AI の発展の結果に依存すると予測しています：2030 年までに、私たちはアメリカの視点から見てユートピアを迎えるか、全人類の視点から見て完全な破滅に向かうかのいずれかです。
この数ヶ月間、このシナリオに対する可能性について、多くの異なる意見が寄せられました。批判的な反応の多くは「タイムラインが速すぎる」という問題に焦点を当てています。AIの発展は本当にKokotajloらが言うように持続的に加速し、さらには悪化するのでしょうか？この議論はAI分野で数年続いており、多くの人々は超人間AIがこれほど迅速に到来することに深い疑念を抱いています。**近年、AIが自主的に完了できるタスクの期間は約7ヶ月ごとに倍増しています。この傾向が続く場合、AIが人間の職業生涯に相当するタスクを自主的に完了するには2030年代中頃まで待たなければなりません。**この進展は確かに速いですが、2027年にはほど遠いです。
長期的視点を持つ人々は、「補間 / パターンマッチング」（現在の大規模言語モデルが行っている作業）が「外挿 / 真の創造的思考」（現在は人間しかできない）との本質的な違いがあると考える傾向があります。後者の自動化を実現するには、我々がまだ習得していない、あるいは手を付けることさえできない技術が必要になるかもしれません。おそらく、我々は計算機の大規模な応用の際の過ちを再び犯しているのです：重要な認知の自動化を迅速に実現したからといって、他のすべてがすぐに続くと誤解しているのです。
この記事はタイムラインの争いに直接介入することはなく、「スーパーAIはデフォルトで危険性を持つのか」という（非常に重要な）議論にも関与しません。しかし、私個人としては、タイムラインは2027年よりも長くなると考えています。そして、タイムラインが長くなるほど、この記事で提起する主張はより説得力を持つでしょう。全体として、本文は別の視点から批判を提起します：
《AI 2027》シナリオは、先進的なAI（「Agent-5」およびその後の「Consensus-1」）の能力が急速に向上し、神のような経済力と破壊力を持つようになる一方で、他のすべての人々の（経済的および防御的）能力は基本的に停滞するという仮定を含んでいます。これはシナリオ自体の「悲観的な世界でも、2029年までには癌を治癒し、老化を遅らせ、さらには意識のアップロードを実現する見込みがある」という主張と矛盾しています。
!
本記事で説明するいくつかの対策について、読者は技術的に実行可能だと感じるかもしれませんが、短期間で現実の世界に展開するのは非現実的です。大多数の場合、私はこの点に同意します。しかし、《AI 2027》のシナリオは現実の世界に基づいているわけではなく、4年以内（または破壊をもたらす可能性のある任意のタイムライン）に技術が現在の能力をはるかに超える人間を持つに至るという仮定に基づいています。したがって、片方だけがAIの超能力を持つのではなく、両方が持つ場合、何が起こるのでしょうか？
バイオアポカリプスは決してシーンの描写ほど簡単ではない
「人種」シーン（すなわち、すべての人がアメリカの中国を打ち負かそうとする過度な執着によって死に、人類の安全を無視するシーン）に拡大しましょう。以下は、すべての人が死亡するプロットです：
「約三ヶ月の間、Consensus-1は人類の周りに拡張し、草原と氷原を工場と太陽光発電パネルに変えました。最終的に、残された人類はあまりにも邪魔だと考えました：2030年中頃、AIは主要都市で十数種類の静かに広がる生物兵器を解き放ち、それらはほぼ全ての人に無音で感染させ、化学スプレーで致命的な効果を引き起こしました。多数の人々は数時間内に死亡しました；少数の生存者（シェルターにいる終末対応者や潜水艦の水兵など）はドローンによって排除されました。ロボットは被害者の脳をスキャンし、そのコピーをメモリに保存し、将来の研究や復活のために利用しました。」
このシーンを分析してみましょう。現在でも、AIのこの「すっきりとした勝利」を現実的でなくするいくつかの開発中の技術があります：
これらの方法を組み合わせることで、空気感染症の基本再生産数（R0）を10〜20倍減少させることができるかもしれません（例えば、より良い空気フィルターで4倍の感染を減少させ、感染者を即座に隔離することで3倍、呼吸器免疫を簡単に強化することで1.5倍減少させるなど）、さらにはそれ以上です。これは、すべての既存の空気感染症（麻疹を含む）が伝播できなくなるほどの数字であり、この数字は理論上の最適値にはまだ達していません。
リアルタイムウイルスシーケンシングを広く応用して早期検出を行うことができれば、「静かに広がる生物兵器が警報を発することなく世界人口に感染する」という考えは非常に疑わしい。注目すべきは、「複数の流行病を放出し、組み合わせて初めて危険性を持つ化学物質」などの高度な手段を採用しても、検出可能であるということだ。
忘れないでください、私たちが話しているのは『AI 2027』の仮定です：2030年までに、ナノロボットとダイソン球が「新興技術」として挙げられています。これは効率が大幅に向上し、上記の対策の広範な展開がより期待できることを意味します。2025年の今日、人類の行動は鈍く、怠惰であり、多くの政府サービスは依然として紙の事務作業に依存しています。もし世界で最も強力なAIが2030年までに森林と野原を工場や太陽光農場に変えることができるなら、世界で二番目に強力なAIも2030年までに私たちの建物に大量のセンサー、照明、フィルターを設置することができるでしょう。
しかし、私たちは「AI 2027」の仮定をさらに進めて、純粋なSFのシーンに入ることをためらうべきではありません:
この癌と老化の問題が2029年1月に治癒され、技術の進歩が加速し続ける世界では、2030年中頃までに、もし我々がリアルタイムで生体印刷し、物質を注入して人体を任意の感染（および毒物）から守るウェアラブルデバイスを持っていないとしたら、それは実に信じ難い。
上述の生物防御論点は「ミラーライフ」と「蚊の大きさの殺人ドローン」（『AI 2027』のシナリオ予測により2029年から登場する）をカバーしていない。しかし、これらの手段は『AI 2027』で描かれているような突然の「クリーンでスムーズな勝利」を達成することはできず、直感的に見ても、それらに対する対称的な防御ははるかに容易である。
したがって、生物兵器は実際には《AI 2027》シナリオで描かれているように人類を完全に滅ぼすことはあまり可能性がありません。もちろん、私が述べたすべての結果も、人類の「きれいな勝利」からは程遠いものです。私たちが何をしようとも（おそらく「意識をロボットにアップロードする」ことを除いて）、全面的なAI生物戦争は依然として非常に危険です。しかし、「人類のきれいな勝利」の基準を達成する必要はありません：攻撃が高い確率で部分的に失敗するだけで、すでに世界で強力な地位を占めているAIに対して強力な抑止力となり、攻撃を試みるのを防ぐには十分です。もちろん、AIの発展のタイムラインが長くなるほど、このような防御手段が十分に機能する可能性が高まります。
生物兵器と他の攻撃手段を組み合わせるのはどうですか？
上述の対策が成功するためには、3つの前提条件を満たす必要があります。
直感的には、前提（1）の結果は二つの極端に向かう可能性があります。現在、一部の警察部隊は高度に集中しており、強力な国家指揮システムを持っていますが、他の部隊は地方化されています。物理的な安全がAI時代の要求に迅速に適応する必要がある場合、状況は完全にリセットされ、新しい結果は今後数年の選択に依存します。各国政府は手抜きをしてPalantirに依存する可能性もあれば、積極的に地元開発とオープンソース技術の組み合わせを選ぶ可能性もあります。ここで、私たちは正しい選択をする必要があると思います。
これらのトピックに関する多くの悲観的な論述は（2）および（3）が手遅れであると仮定しています。したがって、これらの2点を詳しく分析してみましょう。
ネットワークセキュリティの終末はまだ来ていない
一般市民と専門家は、真のサイバーセキュリティは実現不可能だと広く認識しており、我々は多くても脆弱性が発見された後に迅速に修正し、発見された脆弱性を蓄積することでサイバー攻撃者を抑止することしかできないと考えています。おそらく、私たちができる最良の状況は『宇宙空母ギャラクティカ』のようなシナリオであり、ほぼすべての人類の宇宙船がサイオン人のネットワーク攻撃によって同時に麻痺し、唯一残った宇宙船はネットワーク技術を使用していなかったために難を逃れたというものです。私はこの見解には賛同しません。むしろ、私はサイバーセキュリティの「終局」は防御側に有利であり、『AI 2027』で仮定された技術の急速な発展の下で、私たちはこの終局を実現できると考えています。
理解の一つの方法は、AI研究者が好む技術を採用することです：トレンド外挿。以下は、GPTの深い研究調査に基づくトレンドラインであり、トップセキュリティ技術を採用した場合の、千行のコードあたりの脆弱性率の時間変化を示しています。
!
さらに、私たちはサンドボックス技術やその他の隔離および最小限の信頼できるコードベースの技術が開発と消費者の普及において顕著な進展を遂げているのを見てきました。短期的には、攻撃者専用のスーパーインテリジェントな脆弱性発見ツールが多数の脆弱性を見つけることができます。しかし、脆弱性を発見したりコードを形式的に検証するための高度にインテリジェントなエージェントが公開されている場合、自然な最終的なバランスは：ソフトウェア開発者がコードを公開する前に、継続的インテグレーションプロセスを通じてすべての脆弱性を発見することになります。
この世界において、バグが完全に排除されることがない理由として、私は二つの説得力のある理由を見ることができます。
しかし、これらのカテゴリーは「攻撃者が私たちの生命を維持するシステムのroot権限を取得できるか」という状況には適用されず、これこそが私たちが議論している核心です。
私は認めます、私の見解は現在のサイバーセキュリティ分野の賢者たちが持つ主流の見解よりも楽観的です。しかし、現代世界の文脈で私の見解に同意しないとしても、覚えておく価値があります：『AI 2027』のシナリオはスーパーインテリジェンスの存在を仮定しています。少なくとも、「1億のスーパーインテリジェンスのコピーが2400倍の人間の速度で思考する」ことが、私たちにそのような欠陥のないコードを得ることができないのであれば、著者が想像するようにスーパーインテリジェンスが本当に強力であるかどうかを再評価する必要があります。
ある程度、私たちはソフトウェアのセキュリティ基準を大幅に向上させるだけでなく、ハードウェアのセキュリティ基準も向上させる必要があります。IRIS は現在、ハードウェアの検証可能性を改善するための取り組みです。私たちは IRIS を出発点として、より良い技術を創造することができます。実際、これは「正しく構築する」方法を含むかもしれません：重要なコンポーネントのハードウェア製造プロセスは、特定の検証ステップを意図的に設計しています。これらはすべて AI 自動化によって大幅に簡素化される作業です。
超強説得力の終末はまだ来ていない
前述のように、防御能力が大幅に向上しても無駄である可能性のある別の状況は、AIが十分な数の人々を説得し、彼らに超知能AIの脅威に対して防御を必要としないと信じ込ませ、自己またはコミュニティのために防御手段を模索する人々は犯罪者であると見なされる場合です。
私はずっと、私たちの超説得力に対抗する能力を高めるために、2つのことができると考えていました：
!
!
上から下へ：URL チェック、暗号通貨アドレスチェック、噂チェック。この種のアプリは、よりパーソナライズされ、ユーザー主導で、機能が強化される可能性があります。
この対決は、スーパーインテリジェンスのスーパー説得者との対抗ではなく、スーパーインテリジェンスのスーパー説得者と、あなたに仕える少し弱いがそれでもスーパーインテリジェンスであるアナライザーとの対抗であるべきだ。
これは起こるべき状況です。しかし、本当に起こるのでしょうか？『AI 2027』のシナリオ仮定の短期間内に情報防御技術の普及を実現することは非常に困難な目標です。しかし、より穏やかなマイルストーンで十分と言えるでしょう。もし集団決定が最も重要で、かつ『AI 2027』のシナリオに示されるように、すべての重要な出来事が選挙サイクル内に発生するのであれば、厳密には、直接の意思決定者（政治家、公務員、一部の企業プログラマーおよびその他の参加者）が良好な情報防御技術を使用できることが重要です。これは短期的には比較的実現しやすく、私の経験によれば、多くのこのような人々は意思決定を支援するために複数のAIと交流することに慣れています。
啓示
『AI 2027』の世界では、人々はスーパー人工知能が残りの人類を容易に迅速に消滅させることが決定的であると考えています。したがって、私たちにできる唯一のことは、先進的なAIが慈悲深いことを確実にする努力をすることです。私の考えでは、実際の状況ははるかに複雑です：先進的なAIが残りの人類（および他のAI）を容易に消滅させるほど強力であるかどうかという問いには、依然として大きな議論がありますが、私たちはこの結果に影響を与えるための行動をとることができます。
これらの論点が正しい場合、今日の政策に対する示唆は「主流 AI セキュリティ基準」と似ていることもあれば、異なることもあります：
スーパーインテリジェンスAIの発展を遅らせることは依然として良いことです。 スーパーインテリジェンスAIが10年後に出現することは、3年後に出現するよりも安全であり、30年後に出現すればさらに安全です。人類文明により多くの準備時間を与えることは有益です。
これをどのように実現するかは難題です。私は、アメリカが提案した「10年州レベルのAI規制禁止」が否決されたことは全体的には良いことだと思いますが、特にSB-1047のような初期提案が失敗した後、次の行動方向が不明確になっています。私は、高リスクAIの発展を遅らせるための侵入性が最小で最も堅牢な方法は、最先端のハードウェアを規制する条約を含む可能性があると考えています。効果的な防御に必要な多くのハードウェアネットワークセキュリティ技術は、国際的なハードウェア条約の検証にも役立つため、ここには協同効果さえ存在します。
とはいえ、注意すべき点は、リスクの主要な源は軍事関連の行為者であると私は考えており、彼らはこのような条約からの免除を強く求めるだろうということです。これは決して許可されるべきではなく、最終的に彼らが免除を得るなら、軍によって推進されるAIの発展がリスクを増加させる可能性があります。
**AIが良いことをする可能性を高め、悪いことをする可能性を減らすための調整作業は依然として有益です。**主な例外は（常にそうであった）調整作業が最終的に能力の向上に進化することです。
**AIラボの透明性を高める規制は依然として有益です。**AIラボの行動を規範化するインセンティブはリスクを低減でき、透明性はこの目標を達成するための良い方法です。
**「オープンソースは有害」な心態がよりリスクを伴うようになった。**多くの人々は、オープンな重み付けのAIに反対しており、その理由は防御が現実的でないからであり、唯一の明るい展望は、良いAIを持つ善良な人々が、あまり善意のない人々よりも先に超知能を実現し、危険な能力を得ることだ。しかし、この記事の論点は異なる景色を描いている：防御が現実的でないのは、まさにある行為者がはるかに先行しており、他の行為者が追いついていないからだ。技術の拡散は、力のバランスを維持するために重要になる。しかし同時に、オープンソースの方法で行われるからといって、最前線のAI能力の成長を加速させることが良いことであるとは決して思わない。
アメリカのラボで「私たちは中国を打ち負かさなければならない」という心態がよりリスクを伴うようになってきた。その理由は似ている。 もし覇権が安全な緩衝材ではなく、リスクの源であるならば、これは（残念ながらあまりにも一般的な）「善意の人々が先進的なAIラボに参加し、より早く勝利するのを手助けすべきだ」という見解にさらなる反論を与える。
「公共 AI」などの提唱は、より多くの支持を得るべきです。AIの能力が広く分布することを確保するだけでなく、インフラの行為者が実際にツールを持ち、本文で述べた特定の方法で新しいAI能力を迅速に適用できることを確保する必要があります。
防御技術は「武装した羊」の理念をより多く反映すべきであり、「すべての狼を狩る」という理念ではない。 脆弱な世界仮説についての議論は、しばしば唯一の解決策が覇権国家が全球監視を維持し、潜在的な脅威が現れるのを防ぐことであると仮定する。しかし、非覇権的な世界では、これは実行可能な方法ではなく、上から下への防御メカニズムは強力な AI によって簡単に覆され、攻撃ツールに転換される可能性がある。したがって、より大きな防御責任は、世界の脆弱性を低下させるために、困難な努力を通じて実現する必要がある。
上記の論点は推測に過ぎず、これらの論点に基づくほぼ確実な仮定に基づいて行動を起こすべきではありません。しかし、『AI 2027』の物語も推測的であり、私たちは「その具体的な詳細がほぼ確実である」という仮定に基づいて行動を起こすことを避けるべきです。
私は特に一般的な仮定について心配しています：AIの覇権を確立し、その「同盟」を確保し、「競争に勝つ」ことが唯一の前進の道であるということです。私の見解では、この戦略は私たちの安全性を低下させる可能性が高いです——特に覇権が軍事応用と深く結びついている場合、これは多くの同盟戦略の有効性を大きく損なうことになります。覇権AIが偏差を示すと、人類はすべての抑制手段を失うことになります。
『AI 2027』のシナリオでは、人類の成功はアメリカが重要な瞬間に破壊ではなく安全な道を選ぶことに依存しています —— 自発的にAIの進展を遅らせ、Agent-5の内部思考プロセスが人間に解読できるようにすることです。それにもかかわらず、成功は必然的ではなく、人類が単一のスーパーインテリジェンス思考に依存する持続的な生存の崖からどのように脱却するかは明らかではありません。今後5-10年でAIがどのように発展しようとも、『世界の脆弱性を低下させることは可能である』と認め、さらなる努力を注ぎ、人間の最新技術を使ってこの目標を達成することは試みる価値のある道です。
特にBalviボランティアのフィードバックとレビューに感謝します。