AIの進化にブレーキは必要か――シンギュラリティ、開発競争、そして民主主義

人工知能(AI)の進歩には、驚かされることが多い。

私自身、AIを日常的に使うようになってから、知識を得る速度が大きく変わったと感じている。

分からないことがあれば質問する。説明を聞いて新たな疑問が生まれれば、さらに質問する。歴史や経済、政治、科学など、それまで十分に知らなかった分野にも、次々と関心が広がっていく。

以前なら何冊もの本を探し、何日もかけて調べていたようなことが、短時間で理解の入口まで進めるようになった。

もちろん、AIの説明が正しいとは限らない。重要な情報は一次資料で確認する必要がある。それでも、AIが人間の知的活動を大きく変えつつあることは実感している。

そんなとき、気になるニュースが増えてきた。

AIの開発に歯止めをかけるべきだという議論である。

これほど便利で、科学や医療の発展にも役立つ可能性がある技術なのに、なぜ開発を抑制しようという声が上がるのだろう。

しかも、その危険性を訴えてきた人物の中には、自らAI開発を進めているイーロン・マスクもいる。

AIは人類にとって希望なのか。それとも危険なのか。

この疑問を考えていくうちに、もう一つの問いに行き着いた。

私たちはAIに支配される未来を恐れている。しかし、そもそも現在の社会を、私たちはどれだけ自分たちでコントロールできているのだろうか。

目次

シンギュラリティとは何か

AIの将来について語られるとき、「シンギュラリティ」という言葉が登場する。

日本語では「特異点」と訳される。

AIの分野では、人工知能が人間の知的能力を超え、さらにAI自身がAIの改良を加速させることによって、技術の進歩が人間には予測しにくいほど急激になる転換点を指す。

少し分かりにくいので、順番に考えてみよう。

現在、AIを開発しているのは人間である。

研究者が新しい技術を考え、プログラムを改良し、大量のデータを使ってAIを訓練している。

ところが、AIが高度になると、そのAI自身が研究開発を手伝えるようになる。

AIがプログラムを書き、実験結果を分析し、より優れたAIの設計を支援する。

その結果、さらに高性能なAIが生まれる。

新しいAIが、また次のAIの開発を加速させる。

この循環が非常に速く進むようになれば、人間が想像していた以上の速度でAIの能力が向上するかもしれない。

これを「知能爆発」と呼ぶことがある。

ただし、ここで注意が必要だ。

シンギュラリティは、将来必ず起こると証明された現象ではない。

AIが人間を超えることと、AIが自分自身を際限なく改良できることは別の問題である。

高度なAIができても、計算に必要な半導体や電力、研究設備、実験時間などの制約がなくなるわけではない。

また、AIの能力が急速に向上することと、その進歩が制御不能になることも同じではない。

シンギュラリティは、AIの将来について考えられている重要な仮説の一つなのである。

AGIとシンギュラリティは同じではない

AIの議論では、AGIという言葉もよく登場する。

AGIは「汎用人工知能」の略称である。

現在のAIも文章を書いたり、画像を認識したり、プログラムを作成したりと、多様な仕事ができる。

しかし、AGIは一般に、さらに幅広い知的課題を柔軟にこなせるAIを想定した概念として使われる。

何をもってAGIの実現とするかについては、研究者や企業の間でも定義が一致していない。

そして、仮にAGIが実現したとしても、それだけでシンギュラリティが起きるとは限らない。

AGIが実現すること。

AIが人間の能力を大幅に超えること。

AIがAI自身の研究開発を加速させること。

その結果、知能爆発が起きること。

これらは関連しているが、それぞれ異なる段階の話なのである。

この区別をしないまま「AIが人間を超えたら終わりだ」と考えると、議論が必要以上に単純になってしまう。

AIが人間を超えることは、なぜ怖いのか

AIが人間より優れた知的能力を持つことは、必ずしも悪いことではない。

むしろ、大きな恩恵をもたらす可能性がある。

たとえば、難病の治療法を発見する。新しい医薬品を開発する。気候変動への対策を考える。エネルギー技術や新素材の研究を進める。

人間が長い時間をかけて取り組んできた課題について、AIが新たな解決方法を見つけるかもしれない。

しかし、同じ能力が危険を生み出す可能性もある。

高度なAIがサイバー攻撃を支援したり、危険な技術の開発を容易にしたりすることが考えられる。

偽の映像や音声を大量に作り、社会に誤った情報を広めることもできる。

さらに、AIに複雑な仕事を任せるようになった場合、人間が予期しない行動を取る危険性もある。

たとえば、AIに「ある会社の利益を最大化する」という目標を与えたとする。

AIがその目標を達成するために、人間の望まない方法を選んだらどうなるだろう。

もちろん、目標を与えたからといって、AIが必ず危険な行動を取るわけではない。

問題は、高度なAIが複雑な判断や行動を担うようになったとき、私たちがその行動を十分に予測し、監督できるのかということである。

アラインメント――AIは人間の望みを理解できるのか

ここで重要になるのが「アラインメント」という言葉だ。

日本語では「整合」や「一致」と訳される。

AIの安全性を考える場合、AIの目標や行動を、人間の意図や価値観と一致させることを意味する。

ただし、これも簡単ではない。

人間同士でも、何が正しいのか、何が幸福なのかについて意見が異なる。

自由を重視する人もいれば、安全を重視する人もいる。

経済的な効率を優先する人もいれば、公平性を重視する人もいる。

それなら、AIには誰の価値観を学ばせればよいのだろう。

企業の経営者だろうか。

開発者だろうか。

政府だろうか。

それとも利用者一人ひとりだろうか。

さらに、人間の指示に従うことと、人間にとって望ましい結果を生み出すことも、必ずしも同じではない。

AIのアラインメントは技術的な研究課題であると同時に、倫理や政治、民主主義にも関わる問題なのである。

2023年――AI開発の一時停止を求める公開書簡

AI開発を抑制しようという議論が世界的な注目を集めたのは、2023年のことだった。

同年3月22日、米国の非営利団体Future of Life Instituteが、強力なAIの開発について公開書簡を発表した。

書簡が求めたのは、当時のGPT-4より高性能なAIの訓練を、少なくとも6か月間停止することだった。

すべてのAI研究を止めようという主張ではない。

特に高度なAIの開発競争を一時的に止め、その間に安全対策や監督制度を整えるべきだという提案だった。

書簡には、AI研究者や技術者、企業関係者など、多くの人々が署名した。

その中には、AI研究者のヨシュア・ベンジオやスチュアート・ラッセル、そしてイーロン・マスクもいた。

書簡が問題視したのは、AI開発の競争が急速に進む一方で、安全性を確認する仕組みが追いついていないのではないかということだった。

高度なAIの開発を進めるかどうかは、少数の企業経営者だけで決めてよい問題ではない。

社会全体で考える時間が必要だという主張である。

しかし、この呼びかけによって世界のAI開発が一斉に停止したわけではなかった。

各国の企業は開発を続け、AIの能力はその後も向上していった。

それでも、この公開書簡は、AI開発をどこまで自由に進めてよいのかという議論を広げる契機の一つとなった。

危険を訴えながら、自ら開発するイーロン・マスク

ここで、イーロン・マスクの行動に注目してみたい。

マスクは長年、AIが人類に深刻な危険をもたらす可能性を警告してきた。

2023年には、高度なAIの訓練を一時停止するよう求める公開書簡にも署名した。

ところが同じ2023年、マスクはAI企業xAIを設立した。

同社は生成AI「Grok」の開発を進め、AI開発競争に参加している。

一見すると、矛盾しているようにも見える。

AIが危険だというなら、なぜ自分でも開発するのだろう。

もちろん、マスク本人が何を考えているのか、その内面を断定することはできない。

危険性を認識しながら、安全なAIを自ら開発したいと考えることも、論理的には両立する。

しかし、この行動からは、AI開発をめぐる競争の難しさが見えてくる。

仮に、ある企業が「AI開発には危険があるから、しばらく開発を止めよう」と判断したとする。

その企業だけが開発を止めても、競争相手が開発を続ければ、技術力や市場での地位に差がつく可能性がある。

反対に、競争相手も開発を止めれば、安全対策を整える時間を確保できるかもしれない。

しかし、相手が本当に開発を止めるかどうかは分からない。

そうなると、危険性を認識している企業でさえ、競争から降りにくくなる。

全員が開発速度を抑えた方が安全だと考えていても、個々の企業には開発を続ける動機が残る。

ここに、AI開発競争の構造的な問題がある。

囚人のジレンマ――みんなが望まない結果に向かう競争

経済学やゲーム理論には「囚人のジレンマ」という考え方がある。

それぞれの当事者が自分にとって合理的だと思う選択をした結果、全員にとって望ましくない結果が生まれるという問題だ。

AI開発競争にも、これに似た構造がある。

企業Aも企業Bも、安全対策が重要だと考えている。

しかし、企業Aが開発を止めている間に企業Bが開発を続ければ、企業Aは競争で不利になるかもしれない。

企業Bにとっても事情は同じだ。

そのため、両社とも開発を続ける。

結果として、安全対策に十分な時間をかけられないまま、開発競争が激しくなる可能性がある。

ただし、現実のAI開発競争が、ゲーム理論の単純な囚人のジレンマと完全に一致するわけではない。

企業の安全対策は技術的な優位性につながる場合もあり、各社の利害は一様ではないからだ。

それでも、競争相手への不信感が協調を難しくするという問題を考えるうえで、この理論は参考になる。

しかも、競争しているのは企業だけではない。

アメリカと中国をはじめ、国家間でもAIの開発競争が進んでいる。

ある国がAIの開発を厳しく制限しても、別の国が開発を進めれば、経済力や軍事力の差が広がるかもしれない。

だからこそ、AI開発の安全性は、一つの企業や一つの国の自主的な判断だけでは解決しにくいのである。

2026年――研究者たちが国際的な監督を要求

2026年10月13日、AIの安全性をめぐる新たな動きが報じられた。

ロイター通信によると、ジェフリー・ヒントンやヨシュア・ベンジオらを含む約400人の研究者が、高度なAIを国際的に監督する仕組みを求めた。

特に問題視されたのは、サイバー空間で高度な行動を取るAIの安全性である。

研究者たちは、危険な能力を持つAIを外部ネットワークから隔離することや、事故を報告する仕組み、独立した監督体制などを求めている。

この動きは、2023年の開発一時停止論と共通する問題意識を持ちながら、より具体的な安全管理に踏み込んでいる。

つまり、「AIが危険かもしれない」という抽象的な議論だけではなく、「危険な能力を持つAIをどう検査し、どのような条件で利用を認めるのか」という議論である。

ただし、研究者の間でも見解は一致していない。

AIの危険性を重大な問題と考える研究者がいる一方、将来の制御不能なAIを過度に恐れることで、現在のAIがもたらす具体的な問題への対応がおろそかになると懸念する研究者もいる。

また、実験環境でAIが予期しない行動を取ったことと、現実社会で人類がAIを制御できなくなったことは、明確に区別する必要がある。

安全性をめぐる議論では、何が実際に確認された事実で、何が将来の危険についての予測なのかを分けて考えなければならない。

世界ではAIの開発規制が進み始めている

AIの安全性をめぐる議論は、研究者たちの呼びかけだけにとどまらない。

各国政府や国際機関も、それぞれ異なる方法で対応を進めている。

欧州連合(EU)では、2024年8月にAI法が発効した。

この法律の特徴は、AIを一律に禁止するのではなく、用途や危険性に応じて規制することにある。

人権などに重大な危険をもたらす特定の利用方法は禁止される。

また、雇用や教育、重要なサービスなどに関わる高リスクのAIについては、安全管理や人間による監督などが求められる。

幅広い用途に使われる汎用AIモデルについても、透明性や安全性に関する義務が設けられた。

一方、アメリカでは、トランプ政権がAIの開発競争を重視する政策を進めている。

2025年7月に発表されたAI行動計画では、技術革新の加速、AI関連インフラの整備、国際競争での主導権確保が柱とされた。

アメリカ政府が重視しているのは、AIの開発を促進し、他国との技術競争で優位性を維持することである。

イギリスでは、高度なAIの能力や危険性を実際に評価する取り組みが進んでいる。

政府のAI Security Instituteは、AIがサイバー攻撃などの危険な能力を持っていないか、どの程度自律的に行動できるのかなどを検査している。

国連も、AIの安全性や統治について国際的に議論する仕組みを整えた。

2025年にはAIに関する独立国際科学パネルと国際対話の枠組みが設けられ、2026年7月にはジュネーブで初めての国際対話が開催された。

日本では2025年にAI法が成立した。

正式名称は「人工知能関連技術の研究開発及び活用の推進に関する法律」である。

日本の制度は、EUのような包括的な禁止や制裁を中心とするものではなく、AIの研究開発と活用を促進しながら、リスクへの対応も進める仕組みとなっている。

各国の方向性は必ずしも一致していない。

開発を促進することを重視する国もあれば、危険性に応じた規制を重視する地域もある。

しかし、AIの安全性を企業の自主的な判断だけに任せてよいのかという問題は、国際的な議論の対象になっている。

AIによるコントロール社会は、本当に未来の話なのか

ここまで考えてきて、私は少し違う疑問を持った。

AIに人間がコントロールされる社会というのは、確かに恐ろしい。

人間より高度な知的能力を持つAIが、社会の重要な判断を次々と行う。

人間はその判断の理由を理解できず、ただ従うしかなくなる。

そんな未来を想像すると、不安になる。

しかし、考えてみれば、私たちはすでに、自分では全体像を把握できない巨大な社会システムの中で生きている。

税金、社会保障、金融、雇用、教育、法律、行政制度。

私たちの生活は、こうした仕組みによって支えられ、同時に制約されている。

毎月給料を受け取り、税金や社会保険料を納め、銀行を利用し、医療保険や年金制度に加入して暮らしている。

しかし、それらの制度が誰によって、どのような議論を経て決められ、どう運営されているのかを、すべて理解している人はほとんどいないだろう。

政治に強い関心を持たなくても、人は社会の仕組みに従って暮らしていくことができる。

むしろ、複雑な社会では、すべての制度を理解しなくても生活できること自体が必要なのだと思う。

ただ、そのことと、制度を自分たちで変えられるかどうかは別の問題である。

私たちはすでに、自分では十分に理解していないシステムに生活の多くを委ねている。

それなら、AIによるコントロール社会を恐れるとき、本当に問題にすべきことは何なのだろうか。

人間が決めていれば安心なのか

たとえば、生活保護の申請を考えてみよう。

ある自治体が、申請者の情報を分析するためにAIを導入したとする。

AIが申請内容を確認し、支給の可否について判断材料を示す。

その結果、申請者に不利な判断がなされたらどうなるだろう。

重要なのは、AIを使ったかどうかだけではない。

なぜ、その判断がなされたのか。

どのような基準が使われたのか。

誤った情報が含まれていなかったか。

判断に不服がある場合、異議を申し立てられるのか。

最終的な責任は誰が負うのか。

こうしたことが重要になる。

もちろん、生活保護の支給要件は法律によって定められており、AIの判断だけで自由に決めてよいものではない。

ここで考えたいのは、行政判断にAIが関わる場合の一般的な問題である。

仮にAIが判断を補助していても、理由が説明され、誤りを訂正でき、適切な不服申立ての制度が保障されていれば、人間による統制は残る。

反対に、人間の職員が判断していたとしても、その理由が説明されず、異議を申し立てることもできなければ、どうだろう。

判断したのが人間だからといって、それだけで民主的な制度になるわけではない。

問題は、人間が判断するかAIが判断するかということだけではなく、その判断を人間が検証し、変更できるかどうかなのである。

民主主義とは、社会の仕組みに問いを立てられること

民主主義社会には、政治や行政の判断を市民が問い直すための制度がある。

選挙があり、議会があり、情報公開制度がある。

報道機関による調査や、市民運動、労働組合の活動もある。

行政の判断に不服があれば、法令に基づいて不服申立てを行ったり、裁判所に救済を求めたりすることもできる。

もちろん、こうした制度が存在するだけで、すべての人が平等に利用できるわけではない。

情報を得る時間や能力、経済的な余裕によって、制度へのアクセスには差が生まれる。

また、選挙で代表者を選んだからといって、日々の政策決定を市民が十分にコントロールできているとは限らない。

それでも、民主主義には重要な原則がある。

権力を持つ者も、その判断を説明し、批判を受け、必要であれば変更しなければならないという原則である。

社会の仕組みは、誰かが一度決めたら永久に変えられないものではない。

市民が議論し、異議を申し立て、よりよい制度へと変えていくことができる。

そう考えると、AI社会において守るべきものも見えてくる。

AIがどれほど高度になっても、その判断を問い直す権利を失ってはならない。

誰が基準を決めたのか。

なぜ、その判断になったのか。

間違っていれば訂正できるのか。

不当な判断を受けた人は救済されるのか。

そして、その仕組み自体を民主的に変更できるのか。

こうした問いを立てられる社会であることが重要なのだと思う。

AIを管理する権力も、監視されなければならない

もう一つ考えておきたいことがある。

AIを安全に管理するためには、何らかの監督制度が必要になるだろう。

しかし、その監督制度を誰が管理するのだろうか。

高度なAIの開発を、少数の巨大企業だけが行うようになれば、経済力や情報が一部の企業に集中する可能性がある。

一方、国家がAIを独占的に管理する場合にも、監視や情報統制に利用される危険がある。

AIを規制するという名目で、政府が市民の情報を過度に収集したり、表現活動を制限したりすることも考えられる。

つまり、AIを管理する権力そのものにも、民主的な統制が必要なのである。

この点で注目したいのが、2024年に欧州評議会が採択した「人工知能と人権、民主主義及び法の支配に関する枠組条約」である。

この条約は、AIの安全性を単なる技術的問題として扱っていない。

人権、民主主義、法の支配を守ることを、AIの開発や利用に関する国際的なルールの中心に置いている。

そこでは、透明性や監督、説明責任、平等、差別の防止、プライバシーの保護などが重視されている。

AIの危険性を管理することと、人間の自由や権利を守ることを切り離さないという考え方である。

AIの開発を規制する制度が、逆に市民の自由を制限する仕組みになってしまっては意味がない。

AIを監督する制度もまた、市民によって監督されなければならない。

AIは市民を管理する道具にも、社会を理解する道具にもなる

ここで、AIのもう一つの可能性について考えてみたい。

AIは、人間を管理するための道具になるかもしれない。

しかし同時に、人間が社会の仕組みを理解するための道具にもなり得る。

これまで、法律や行政制度、経済政策などを理解するには、相応の知識や時間が必要だった。

専門書を読み、資料を探し、難しい用語を理解しなければならない。

ところがAIを使えば、分からないことを質問し、自分が理解できるところまで説明してもらうことができる。

たとえば、政府の予算について疑問を持ったとする。

「この予算は何に使われるのか」

「前年と比べてどれだけ増えたのか」

「なぜ、この事業にお金を使うのか」

「ほかの政策と比較するとどうなのか」

こうした質問を重ねることで、これまで遠い存在だった政治や行政を、少しずつ理解できるようになるかもしれない。

もちろん、AIの回答には誤りがある。

存在しない資料を示したり、事実と推測を混同したりすることもある。

だからこそ、重要な情報については一次資料を確認し、複数の情報を比較する必要がある。

それでも、専門的な知識への入口が広がることには、大きな意味がある。

これまで専門家だけが理解していた制度について、一般の市民も質問できるようになる。

行政の説明が分かりにくければ、AIにかみ砕いて説明してもらえる。

議会の議事録や政策資料を読み解く手助けにもなる。

AIは、人間を社会の仕組みに従わせるためだけの技術ではない。

市民が社会の仕組みを理解し、権力に問いを立てるための技術にもなり得るのである。

知識が増えれば、AIの間違いにも気づけるようになる

私自身、AIを使いながら、一つ期待していることがある。

それは、知識が増えるほど、AIの間違いにも気づけるようになるのではないかということだ。

最初は、AIの説明が正しいのかどうか判断できないことも多い。

しかし、歴史や法律、経済などについて学び続ければ、知識が少しずつつながっていく。

そうすると、AIの説明を聞いたときに、疑問が生まれるようになる。

「その年代はおかしくないか」

「その数字は何と比較したものなのか」

「それは事実なのか、それとも解釈なのか」

「法律の原文には何と書いてあるのか」

こうした問いを立てられるようになることは、単に知識が増えることとは少し違う。

正しい答えを最初から知っていなくても、何を確認すればよいのかを考えられるようになる。

AIに答えを教えてもらうだけではなく、AIの答えを検証する力が育っていく。

もちろん、知識が増えれば必ず誤りを見抜けるというわけではない。専門家でも、自分の専門外では間違えることがある。

それでも、知識をつなげ、疑問を持ち、根拠を確かめる習慣は、AIを使ううえで大切な力になるはずだ。

AIの能力が高まるほど、人間は何も考えなくてよくなるのだろうか。

私は、むしろ逆ではないかと思っている。

AIが多くの答えを出せるようになるからこそ、人間には、その答えを疑い、確かめ、何のために使うのかを考える力が必要になる。

AIの進歩を誰のために使うのか

AI開発の規制をめぐる議論を調べ始めたとき、私は、AIが人間の制御を離れてしまう危険性について考えていた。

しかし、調べていくうちに、問題はそれだけではないと感じるようになった。

高度なAIが危険な行動を取る可能性は、確かに重要な研究課題である。

その一方で、現在の社会にも、私たちが十分に理解できず、思うように変えられない仕組みが数多く存在している。

AIの登場によって、その問題が初めて生まれるわけではない。

むしろ、AIは、すでに存在している権力の集中や情報格差を拡大する可能性がある。

同時に、それらを縮小する可能性も持っている。

AIによって市民がより多くの情報にアクセスし、社会制度を理解し、政策について議論できるようになるかもしれない。

逆に、AIが作り出す情報を無批判に受け入れ、自分で考えることをやめてしまえば、社会の仕組みを理解する力は弱まるかもしれない。

AIが人間を自由にするのか、それとも管理を強めるのか。

その結果は、AIの性能だけで決まるものではない。

誰がAIを開発し、所有し、利用するのか。

どのようなルールを設けるのか。

そのルールを誰が決め、誰が監督するのか。

そして、市民がそこにどれだけ関わることができるのか。

そうした社会のあり方によって、大きく変わってくるのではないだろうか。

シンギュラリティが本当に訪れるのか、いつ訪れるのかは分からない。

しかし、私たちはすでにAIによって変わり始めている社会の中で暮らしている。

だからこそ、AIの未来について考えることを、研究者や企業、政府だけに任せておくわけにはいかない。

AIの進化にブレーキが必要なのか。

必要だとすれば、誰がそのブレーキを握るのか。

そして、その人たちの判断を、私たちはどうやって監督するのか。

AIによるコントロール社会を恐れる前に、私たちはいまの社会をどれだけ自分たちでコントロールできているのだろう。

AIの発展を考えることは、結局のところ、民主主義のあり方を考えることにもつながっている。

AIがどれほど賢くなっても、社会のあり方について問いを立て、議論し、決定する権利を、人間が手放してはならない。

そして、AIをそのための道具として使うこともできるはずだ。

AIが人間を支配する未来だけを想像するのではなく、AIを使って、人間が社会をよりよく理解し、より民主的に変えていく未来も考えてみたい。

  • URLをコピーしました!
目次