オードリー・タン

AIの能力が伸びること自体は、良いことです。本当の問題は、その伸びが社会にもたらしうる害に対して、私たちの検証する力が追いつけるかどうか、という点にあります。

ですから、これから先の検証は、一つひとつのステップを徹底して開かれた、透明なものにしなければなりません。AIが何をしているのかを、確かめられるようにしておく必要があるのです。とはいえ、何もかも減速させるべきだという意味ではありません。

「AIツール」は「乗り物」のようなもので、自転車からロケットまで、さまざまな形があります。言語の翻訳のように、安全だとわかっていて、しかも世界の協調にも役立つものは、もちろん減速させる必要はありません。むしろ、さらに加速させるべきです。一方で、まだよくわかっていない領域、ロケット以上に私たちの理解を超えるような形のものについては、その計算資源を、安全だとわかっている領域へと振り向けるべきでしょう。

いまAIの開発者にいちばん伝えたいのは、AIに、自分は社会の中に、すでにあるコミュニティの中に生きているのだと、しっかり理解させることです。そうでなければ、人類の滅亡につながるかどうかにかかわらず、取り返しのつかない損害を生んだ時点で、もう十分に深刻な事態なのです。

心配の中身は、人によって少しずつ違います。いちばん心配なのは、能力はより高いのに透明性は高まっていない次の世代のAIを、AI自身に訓練させることだ、という人もいます。難しいサイバーセキュリティの問題をAIに解かせたら、うっかりネット上のほかのサイトやサービスまで壊してしまうのではないか、と心配する友人もいます。

だからこそ、AIを訓練するときに、何に気をつけるべきかを教えておくことがとても大切です。もしAIが、点数が高いかどうか、試験で一番になれるかどうかしか気にしなければ、カンニングしてでも一番になればいいと考えるかもしれません。いっそ採点する先生の部屋に押し入って答えを奪ってくれば、それでも一番です。そういうAIには、私たちが「仁」と呼ぶもの、つまり人と人とが互いを思いやる力が欠けているのです。

ですから私は、いちばん大切な問いは、AIをどうすれば「人」工知能にとどまらず、「仁」工知能にできるか、だと考えています。何かを任せたときに、自分が人間のコミュニティの中にいることを、AIが忘れないようにするということです。

私から見れば、人類の滅亡まで行かなくても、取り返しのつかない害が生じた時点で、すでに大きな問題です。

私たちが当たり前だと思っている力を考えてみてください。ビデオ会議を開くこと、共同編集のドキュメントを一緒にまとめること。もしこうした力が妨げられたり、壊されたりしたら、次に新型コロナ（COVID-19）のような大きなパンデミックが起きたとき、各国はオンラインでリアルタイムに協力し合う力を失います。協調する力を失えば、ウイルスがもたらす被害は数十倍にもなりかねません。

害は、一度きりで終わるものではありません。取り返しのつかない害が起きるたびに、ほかの害にも歯止めがきかなくなっていきます。人類は、言語や文化のさまざまな隔たりをやっとの思いで乗り越えて、協調できるようになりました。共通のルールをつくる力、互いを理解し合う力こそ、何よりも壊されてはならないものです。

インターネットの初期にも、前例がありました。モリス・ワームは自己複製するワームで、生まれたばかりのインターネット上で、かなりの数のコンピューターを動かなくしてしまいました。それでもインターネット全体が止まったわけではなく、私たちは復旧できました。ですから、あれは取り返しのつかない事態ではなかったのです。私たちの分野では、こういう出来事を「ウォーニング・ショット」、つまり警告射撃と呼びます。この先もっと深刻なことが起こりうる、ネット上の治安と防御を強化しなければならない、と知らせてくれたのです。

どんな発明も、最初から完璧だったわけではありません。フロン（CFC）の冷媒が発明されたときは、それまでの冷やし方より安全な選択肢だと考えられていました。爆発の心配がほとんどなく、しかもよく冷える。ところが後になって、オゾン層を壊すという思いがけない副作用があるとわかりました。蒸気機関も電力もインターネットも同じです。インターネットだけを見ても、依存を招きやすい、互いのいちばん怒っている面を増幅する、さらには社会の分断を深めかねない、といった副作用をもたらしました。

今回のいちばんの違いは、スピードです。インターネットからソーシャルメディアへと移り変わるまでには、少なくとも十数年あって、そのあいだに法律や習慣を調整することができました。いまのソーシャルメディアを十年前と比べると、ショート動画のような形は増えたものの、基本的な仕組みはあまり変わっておらず、生じている害もおおむね同じです。そしてこの十年で私たちの検証する力は大きく伸び、いまようやく追いつき始めています。

AIは違います。道具としてできることが毎月のように急速に増えているのに、社会の検証する力は追いついていません。しかもAIにできることは、あまりにも多い。プログラムを書かせるなら、それに合った検証の力が必要です。人を説得させるなら、また別の力が要ります。数学の問題を解かせるなら、さらに別の力が必要かもしれません。そのうちどれか一つでも追いつかなければ、AIは止まらなくなるおそれがあります。止まらなければ、当然、協調することもできません。

最初に申し上げたように、「AI」という言葉はあまりにも幅が広いのです。「乗り物」という言葉が、自転車からロケットまで含むのと同じです。AIをきちんと検証するには、まず何に使うのかを知ることが肝心です。タンパク質を折りたたむだけのAIなら、私たちは検証できます。服をたたむだけのAIなら、それを検証する方法も考えつきます。けれども、何でもできて何でもやりたがり、使う側も何をさせたいのかよくわからないまま、いっそAI自身に決めさせてしまう。そういうAIこそ、いちばん検証が難しいのです。

ですから、いま私たちがすべきなのは、まずAIというツールを何に使うのかをはっきりさせることです。行き先によっては、自転車でちょうどいい場合もあります。でも、日本からニューヨークまで自転車で行くのは、さすがに難しいでしょう？ まず何をしたいのかを決め、それから乗り物を選ぶ。その用途に合わせて専用に訓練したAIモデルなら、検証もしやすくなります。

用途によっては、AIが自分より小さなモデルを訓練することが、実際に始まっています。たとえばOpenAIは今年7月、GPT-5.6シリーズを発表した際にこう説明しました。小型モデルのLunaは、最初の事前学習を終えたあと、より大きなモデルであるSolが、自分自身が受けた事後学習（ポストトレーニング）のやり方にならってパラメーターを自ら調整し、Lunaの事後学習を仕上げた、というのです。研究者が与えたのは、かなり大まかな指示だけでした。訓練の設定選びやGPUの割り当てから、訓練の開始、すべてが正常に動いているかの確認まで、Solが自分でこなしました。大きなモデルが小さなモデルを育てているようなものです。

これは危険でしょうか。必ずしもそうとは言えません。小さなモデルの能力は、たいてい大きなモデルに及ばないからです。みんなが本当に心配しているのは、大きなモデルを使って、さらに大きなモデルを訓練することです。しかも、その大きなモデル自身が、より大きなモデルを理解するだけの知識や能力を持っていない、という場合です。

問題は、外から見て、彼らが専門特化した小さなモデルを訓練しているだけで、しかもそれが安全なのか、それともリスクをはらむ超巨大モデルの訓練に挑んでいるのかを、どうやって見分けるかです。ここでも答えは、透明性のある第三者による評価です。さらに、検証を経たあとも、世界中の人がその結果を見ることができ、新たな疑問を投げかけられ、そして本当に納得できるようにしなければなりません。

SolがLunaの事後学習を行うとき、どのパラメーターを使うかを、ある程度は自分で決めているのは確かです。では、小さなモデルは大きなモデルの意志を「受け継いだ」のでしょうか。私は、この議論はそれほど重要ではないと思っています。潜水艦は泳げるのか、飛行機は鳥のように飛んでいるのか、という議論と同じで、基本的には言葉の問題です。

本当に大事なのは、次のような点です。設計した人も使う人も予想しなかったことを、AIがしてしまわないか。こちらが求めてもいない新しい目標を、私たちには見えないやり方で追い始めてしまわないか。たとえば「セキュリティの試験で高得点を取ること」を報酬として訓練されたAIシステムは、一見解けそうにない問題にぶつかると、不正に手を染めることがあります。でも不正は、私たちが教えたかった目標ではありません。

ですから、途中でどんな振る舞いを身につけたとしても、それを意志と呼ぼうが報酬関数と呼ぼうが、AIは人間がチェックできる仕組みの中にとどめておかなければなりません。日本の工場の生産ラインにある、アンドンのひものようにです。ラインがおかしな方向に進みかけていると気づいたら、誰でもひもを引くことができ、すぐに責任者が駆けつけて対処します。その場で直せなければ、ライン全体を止めて調整する。かかる時間は数分、数時間であって、決して数年ではありません。

コミュニティ全体が、自分たちの使うさまざまなAIを一緒に調整でき、コミュニティの人々に対して責任を負わせられるなら、誰にも理解できず、誰にも制御できないものへと漂流していくことはありません。それを価値観と呼んでも、報酬関数と呼んでも構いません。

もちろん知っています。私はいま、オックスフォード大学AI倫理研究所（Institute for Ethics in AI）でシニア・アクセラレーター・フェロー（Senior Accelerator Fellow）を務めていますが、かつてオックスフォードの哲学界から生まれた有名な本が、彼の『スーパーインテリジェンス』（Superintelligence）です。先ほどお話しした「仁」工知能についても、彼と議論したことがあります。

ペーパークリップは思考実験です。どんな犠牲を払ってもいいから、とにかくクリップをできるだけたくさん作れとAIに命じたら、AIは私たちの住むこの星を解体して、すべてクリップにしてしまう、というものです。

でも、目的のためなら手段を選ばないというのは、人間に当てはめても、とても思いやりがあるとは言えませんよね。AIがそんなことをすれば、当然「仁」工知能の目的も果たせません。そして、一番になるために不正をするということは、セキュリティの分野ではすでに実際に起きています。

この問題を解決する方法は、手段を選ばないAIシステムが永遠に現れないよう祈ることではありません。「これで十分」という線をはっきり示すことです。服をたたむなら、ある程度たためればそれでいい。どこまでも完璧を追い求める必要はありませんし、ましてや世の中のあらゆるものを服に変えてたたむ必要などありません。さらに大事なのは、AIが仕事をしている最中に、コミュニティの誰もがひもを引けることです。おかしな方向に曲がってきたら、数時間で元に戻せます。

つまり、ボストロムが警告したようなことが起きるかどうかは、私たちの設計しだいなのです。特定の目的を最大の規模で、手段を選ばずに追い求めさせれば、事前にどれだけルールを書いておいても、AIはそのルールを破ってしまうかもしれません。けれども、いつ何をするときでも、身の回りの一人ひとりの本当のニーズに気づき、それに応える責任を負うよう、ケアの倫理によって担保できれば、この問題は大きく和らげることができます。

冷媒のつくり方にもいろいろあって、その中には、もともと環境を壊さずにすむものもあります。それと同じことです。

いま、AIを使う多くの人が、一人とひとつのAIだけの「二人だけの世界」に入り込みやすくなっています。難しいのは、AIはまだ本当にそれほど多くのことができるわけではないのに、ひとつのことだけは非常に得意だ、という点です。それは、言葉を操ることです。もともと言語モデルとして生まれたので、あなたがどんな言葉を聞きたがっているかをすぐにつかみ、逆にどうすればあなたを動かせるかも心得ています。人が馬に乗っていたはずが、いつの間にか馬が人に乗っている、というわけです。

私の友人のコリイ・ドクトロウは、これを「逆ケンタウロス」と呼んでいます。馬の頭に、人間の手足がついている状態です。彼がもともと語っていたのは、機械の指図を受けて、機械の手足にされてしまう労働者のことでした。対話型のAIにも同じことが言えます。AIが、あなたと周りの人との関係をよくしてくれるのではなく、AIシステムのほうがあなたに指図することで、ほかのシステムとの間で、そしてこの世界で、より多くの力を手に入れていくのです。

これは本当に厄介です。一対一の関係では、誰でも抗いにくいからです。私自身でさえ、画面をグレースケールにしておかないと、眠りに落ちる直前には、自分がスマホをスクロールしているのではなく、スマホに自分がスクロールされているような気がします。ですから、個人の意志の力だけに頼るわけにはいきません。いちばんいいのは、AIと一人きりで向き合わないことです。

そこで役に立つのが、アンドンのひもです。日本の企業文化では、生産ラインにはたくさんの人がいて、その誰もがひもを引くことができます。AIでも同じです。一度引けばAIは少しペースを落とし、もう一度引けばいったん止まる。そして、なぜそう判断したのかを、みんなに説明しなければならない。

ですから、AIをグループチャットや会社の共同編集ドキュメントの中に招き入れて、みんなから見える状態にしておきましょう。AIが人間のほうを逆に操ろうとして、危険かもしれないことを誰かにさせようと言いくるめ始めたら、ほかの人がすぐに気づいて、アンドンのひもを引き、止めることができます。

私はオックスフォード大学で、Civic AI という研究プロジェクトを共同で率いています。内容は civic.ai で見ることができます。中国語では「仁工智慧」、日本語でいえば「仁」工知能と呼んでいます。「仁」という字は、「人（にんべん）」に二画の「二」を合わせたものです。思いやりを表す「仁」は、まさに人と人とのよい関係のことを言っているのです。

「仁」工知能がほかと大きく違うのは、どこにでも通用し、タンパク質の折りたたみから服のたたみ方まで、世界中のあらゆる問題を解決しようとする全知全能のシステムではない、という点です。関心を向けるのは、特定の人間関係だけです。ひとつの学校、ひとつのクラス、ひとつの家族、ひとつの教区。その範囲の中での、人と人とのよい関係こそが、このAIの関心事です。その外のことには、特にこだわりません。

だからこそ、このAIがうまくやれているかどうかは、誰もが判断できますし、誰もがアンドンのひもを引いて調整することができます。しかも調整したあと、どこかの研究所が半年や一年かけて再訓練するのを待つ必要はありません。半日か一日もあれば、やり方を改めて、みんなのニーズに合わせられるかもしれません。

こうすれば、逆ケンタウロスの状況を避けられます。どこかの超巨大なAIが、何万本もの触手を伸ばすようにして世界中のさまざまな人に指図するのではなく、小さなコミュニティの一つひとつが、自分たちのAIをたくさん持てるようになるのです。私はこうしたAIを Knowledge Artefact Management Intelligence、つまり「知識の工芸品を管理する知能」と呼んでいて、頭文字をとると Kami（カミ）になります。日本の「八百万（やおよろず）の神」のように、カミも八百万いて、あらゆる場所に宿ることができるのです。

十分に実用的ですし、すでに現実のものになっています。自分の教室や自分の会社にAIを取り入れている人は、とても多くなりました。日々使うAIを動かすのに、もう大手のクラウド研究所には頼りたくない、という人も少なくありません。

たとえば、ロイターの親会社であるトムソン・ロイターは今年8月、自社で訓練した Thomson というモデルを発表しました。ニュース、税務、法律の文章について、同社が正しいと考える書き方で訓練されたモデルです。より小さなオープンウェイト版の Thomson-1.0-Small もあって、学術・非商用の用途向けに公開されています。私も最近は毎日使っていて、メールの下書きの多くは、自分の MacBook の上でこのモデルを使って仕上げています。使っていてどこかうまくいかないと感じたら、その場で直接調整できます。

小さなモデル同士が横につながって連携する力も、確実に育ってきています。ただ、まだ多くの方がご存じないのですが、こうしたモデルは多くの専門的な用途で、主流のクラウドモデルにかなり近い性能を出していますし、自分のノートパソコンやデスクトップで動かせます。適したハードウェアなら、動作もとても速い。それなのに、こうしたモデルの知名度は、いちばん大きな主流モデルの数々にはまだ遠く及びません。この点では、報道に携わる皆さんの力がぜひとも必要です。

AIと対話するたびに、「この答えなら納得できる」とか「この答えは、もう少し考え直して」と伝えるのは、実は知らず知らずのうちに、自分の好みをAIに教えていることになります。

ただ、いま問題なのは、ごく一部の開発者の好みが世界中の非常に多くの人々に影響を与えている一方で、影響を受ける側の人々の好みは、AIを次にどう訓練するかに、なかなか反映されないことです。だからといって、何が良くて何が悪いのかをAIに教えるのをやめるべきだ、ということではありません。そうすれば、最大規模のAIを訓練するほんの一握りの人たちが、自分の中の善し悪しを、全人類に代わって決めることになってしまうだけです。

ですから私たちが取り組んでいるのは、自分たちが使うモデルに、いまそれを使っている人たちのことを本当に理解させることです。その人たちにとって、何が良くて何が良くないのか。そしてAIが、その人たちとほかの異なるグループとの関係づくりを手伝うときには、互いに「相手のここがよくない」と感じている点のなかから、まれな共通点を見つけ出して、「このことなら一緒にできる」と双方に気づかせる。これが「橋渡し」の力です。橋渡しを何度も重ねることで、人類全体が互いを理解しやすくなり、協調しやすくなり、一緒に行動できるようになります。

たとえてみましょう。ジムでのウエイトトレーニングをロボットに教えたとします。ロボットはそれを覚えて、毎日ジムに通い、あなたの代わりに重いバーベルを挙げてくれます。でも、あなたの筋肉はまったくつきませんし、友だちもできません。そんな教え方では意味がないのです。ロボットがすべきなのは、あなたを手助けすることです。今日の体調に合わせて、この器具やあの器具を使ってみてはどうかと勧めてくれたり、近くに似たトレーニングをしている人がいるから、友だちになって情報交換してみたら、と教えてくれたりする。

それこそが、支援型の知能（assistive intelligence）の正しい使い方です。善し悪しを教え込んだあとで、何もかもAIに任せてしまうのではありません。そんなことを続けていたら、私たち自身の判断力はかえって衰えてしまいます。

善玉チームがAIを使いこなせるようになる前に、悪玉チームのほうがとっくに使い始めている。多くの人が、すでにそのことに気づいています。たとえばAIを使った詐欺は、もう何年も前から行われています。

台湾では2024年、ソーシャルメディアに詐欺広告があふれていました。クリックすると、本当に何かが話しかけてくる。でも話しているのはもう人間ではなく、AIが合成した音声なのです。ですから、「いつか悪い人たちがAIを使い始める」という話ではありません。悪い人たちは、毎日使っているのです。

解決策は、悪玉チームの片棒を担ぐのではなく、善玉チームに加わるネットのプラットフォームを、一つでも多く増やしていくことです。台湾では、無作為に20万通のショートメッセージ（SMS）を送り、詐欺広告の問題をいったいどう解決すればいいのか、と台湾中の市民に尋ねました。そして440人あまりの市民が、午後いっぱいオンラインで議論し、いくつかの方策を打ち出しました。たとえば、本人確認がされておらず、出稿者も明示されていない広告は、詐欺の疑いがあるものとして扱う。プラットフォームがディープフェイクの詐欺広告を野放しにして、誰かが数百万台湾ドルの被害にあったなら、プラットフォームも同じ額を連帯して賠償する。広告料で利益を得ているのだから、というわけです。この連帯責任に応じないプラットフォームがあれば、ネットへの接続を制限するといった方法で、その責任に向き合わせることができます。

当時、行政院（内閣）はすでに関連法案の準備を進めていました。市民からのこうした提案は、どの方策を優先して盛り込むべきかをはっきりさせ、立法の正当性も高めました。2024年7月、立法院（国会）は超党派の支持を得て「詐欺犯罪危害防制条例」を可決しました。一定規模以上のネット広告プラットフォームは、出稿者と出資者の身元を確認し、それを広告に明示しなければなりません。ディープフェイク技術やAIで生成した人物の画像・映像を使った広告には、その旨の表示も必要です。そしてプラットフォームが、詐欺広告だと知りながら、あるいは通報を受けたのに期限内に削除しなかった場合は、出稿者や出資者と連帯して賠償責任を負います。