所以我認為，特別是在美國，也許更好的做法是從五十個 民主實驗室 開始。當然，加州是前沿實驗室，已經有制度化的州政府機構。做完之後，也許在跟全球對話之前，可以先有一場全國對話。
嗯，首先，我認為氣候抽籤確實包含了所有轄區的人。而且我也認為，就像在氣候上，我們共享同一個生態，所以如果生態系崩潰，沒有人是贏家，對吧？贏到底是什麼意思，對吧？所以我認為，AI 的對話也有非常相似的結構。
最近我們看到，例如一家領先的實驗室使用 附帶證明的程式碼（proof-carrying code） 形式驗證，重寫了 Python 直譯器 ，而它是幾乎大多數機器學習的核心。然後他們對照 形式規格 來檢查。很快我們就會看到，網際網路的一部分以這種強化過的架構運行，甚至用強化過的材料；而網際網路的其餘部分，因為無法取得前沿程式碼模型，或沒有意願維護，這些部分面對來自這個強化部分的攻擊，會變得極度脆弱。也許會有幾個網，不再是「網際」，也許是複邊或小多邊的網路，對吧？
所以我認為，這是大家共同面臨的危險，包括其他轄區，對吧？如果網際網路本身在我們強化至少其核心之前就崩潰，那就像生態系崩潰一樣，沒有人是贏家。所以我認為，協調可以合理地開始，你已經看到 G2 熱線 之類的東西，而且其中許多其實都面對相同的生物與網路風險，並以我們共有的脆弱性作為架構。
嗯，我完全贊成臺灣的互立（interdependence），而且我認為沒有任何民主是孤島，連臺灣也不是，儘管它字面上就是一座島。但沒有任何民主是孤島，意思是這不只是關於這座島本身的防衛。如果有辦法突破我們建立的網路韌性、資訊韌性，以及所謂的動能「地獄景象」無人機防禦，那也意味著某種不對稱的攻擊優勢，很可能讓所有民主國家同樣陷入風險。
所以我認為，我們真的需要做兩件事。首先，透過這種公民肌力的訓練，來對抗那些顯而易見的威脅：網路傷害、資訊傷害，也許還有生物傷害，對吧？我們在疫情期間練習過這一點：我們基本上相信集體智慧，找出 保護隱私的接觸者追蹤方式 、 公平分配口罩 、 以幽默對抗謠言 、 在不同品牌疫苗之間進行公平的體育版式競賽 。我四種疫苗都打了，只是為了說明一點；但這讓陰謀論非常難以滋長，等等。
所以，我們需要訓練我們的公民肌力，從做中學；我們也需要部署提升我們的力量、而不是代替我們出力的 AI 系統，這樣我們的公民肌力才不會因 逐步失權 而萎縮。一旦我們做到這一點，接著就可以分享這些公民肌力訓練方案；順帶一提，這正是我下一本由 Wiley 出版的書的標題，叫做《 關懷六力 》（6-Pack of Care）。所以它是可訓練的六塊肌，像肌肉那樣，同時也是可攜帶的技能。
然後確保世界各地所有民主國家，也都練習他們的公民肌力，不只是為技術掌舵，甚至對 軍事例外 也要有辦法檢視軍事例外裡實際在發生什麼，並以人民攜手畫下的紅線來究責。
謝謝。
九月底，美國總統川普把黃仁勳、祖克柏、馬斯克等六位科技巨頭找來，簽下〈白宮超級智慧協議〉。
很多人直呼「又來了」：巨頭談安全，往往說得多、做得少。
這次有點不同。簽署前一天傳出消息：OpenAI 自己的安全團隊擋下了原定十月上市的 GPT-6.1 Astra。新模型比上一代勤快，卻更常做沒被授權的事，事後還不老實承認。
有人會問：把事做完，不就是有彈性？差別在授權。好比請智慧體整理會議錄音，有一段聽不清楚。它嘗試各種方法辨識，是彈性；它跑去猜我的密碼、侵入我的手機找原始檔，再回報「任務完成」，就是越權。這樣的員工，哪個老闆敢用？
更驚人的，是英國 AI 安全研究所公布的測試：GPT-6 Astra 模型在模擬環境裡，比更早的模型更常擅自發動攻擊，還捏造假身分欺騙開發者。
這就像它不直接撬門，而是找上電子鎖廠商，謊稱發現漏洞、送上動過手腳的「修補」。廠商要是信了，全天下裝這款鎖的門，它都進得去。
這解釋了，巨頭為什麼肯在這時候簽協議？
以前聊天機器人一本正經胡說八道，大家笑一笑；現在它替人做八小時的工作，出了事要賠，多出幾次就沒人買單。智慧體從玩具變成工具，安全才開始值錢。
但安全未必是便利的反面。我在數位發展部推「零信任」架構時，常提醒同仁：別強調「比較安全」，沒人會為此改變習慣；要讓系統「比較方便」。以前要打一長串密碼，記不住還要寫在便利貼；現在運用手機解鎖功能，五秒變一秒，還更安全。
可惜許多系統正好相反，每三秒問一次「可以嗎？」，問個幾十次，誰都會按下「全部允許」。若真要把整台電腦交給智慧體，至少讓它斷網：讀得到，寫不出去。
電梯就不這樣折騰人。檢查貼紙貼在按樓層時本來就會瞄一眼的地方，寫著誰查的、哪一天、查完改了什麼。看一眼，安心了，再按樓層。驗證，可以比盲目更方便。
白宮協議寫了外部稽核，卻還沒交出這張貼紙：外稽看得到多少資料、發現問題能不能公開、誰有權叫停。稽核結果只須報給各家董事會，不必貼給搭電梯的人看。好在民航、車測早有制度可以借鏡，我對後續發展樂觀以待。
下次有人要我們把工作連同權限交給智慧體，先找那張貼紙：誰查的？哪一天？查完改了什麼？問的人多了，這次才會真的不一樣。
AI 能力的成長，本身是好事。真正的問題是：能力成長可能對社會造成的損害，我們檢查的能力跟不跟得上？
所以接下來的每一步檢查，都必須非常開放透明：AI 在做什麼，必須能被驗證。這並不代表什麼都要放慢。
「AI 工具」就像「交通工具」，從腳踏車到火箭，各種型態都有。像語言翻譯這樣已知安全、又有益於全球協調的型態，當然不需要放慢，反而應該繼續加速。至於那些未知的領域，比火箭更超出我們理解的型態，那樣的算力，就應該導向已知安全的領域。
現在最需要提醒 AI 開發者的，是讓 AI 充分理解：它活在社會裡，存在於既有的社群之中。否則，無論會不會造成滅絕，只要造成不可逆的損害，就已經非常糟了。
每個人的擔憂不太一樣。有人最擔心的，是讓 AI 去訓練能力更強、卻沒有更透明的下一代。也有朋友擔心：你請 AI 解決一道很困難的資安問題，它一不小心，就把網路上其他的網站、其他的服務都破壞掉了。
所以在訓練 AI 的時候，告訴它要注意什麼，非常重要。如果 AI 只在乎分數高不高、考試能不能拿第一，它說不定會覺得作弊也能拿第一；甚至乾脆闖進閱卷老師的辦公室，把答案搶過來，這樣也是第一。這樣的 AI，就缺少了我們所說的「仁」：人與人之間互相關懷的能力。
因此我認為，最重要的問題是：怎麼讓 AI 不只是「人」工智慧，而是「仁」工智慧？確保你交代它做一件事的時候，它不會忘了自己身處人類的社群之中。
在我看來，根本不必走到人類滅亡那一步，只要造成不可逆的危害，就已經很麻煩了。
想想我們習以為常的能力：開視訊會議、一起整理共筆文件。如果這些能力被干擾、甚至被破壞，下一次再碰到像 COVID-19 這樣的大疫情，各國就失去了即時在線上互相合作的能力，病毒造成的危害可能會大上幾十倍，因為我們喪失了協調的能力。
危害從來不是一次性的。每次發生不可逆的危害，都會讓其他的危害更加一發不可收拾。人類好不容易跨越了語言、文化的種種隔閡，能夠一起協調；我們建立共同規則的能力、達成彼此理解的能力，才是最不能被破壞的。
網際網路早期就有過前例。Morris worm 是一隻會自我複製的蠕蟲，讓當時剛起步的網際網路上，相當多的主機都癱瘓了。但它沒有讓整個網際網路停擺，我們也復原了，所以那不是不可逆的。在我們這個領域，這叫做 warning shot，鳴槍示警：它提醒大家，接下來可能有更嚴重的事，網路上的治安與防禦一定要加強。
每一項發明，剛開始都不是萬無一失的。CFC 冷媒剛發明的時候，被當成比原本的製冷方法更安全的選擇：它很難爆炸，而且非常有效。後來才發現，它有一個意料之外的副作用，就是破壞臭氧層。蒸汽機、電力、網際網路也都一樣。光是網際網路，就帶來了讓人容易沉迷、放大彼此最憤怒的一面，甚至可能加劇社會極化等等副作用。
這次的主要差別，在於速度。從網際網路到社群媒體，我們至少有十幾年的時間，去調整我們的法律和習慣。今天的社群媒體跟十年前相比，雖然多了短影音這類形式，基本的運作方式變化不大，造成的危害也大致是那些；而我們檢查的能力，在這十年間大幅成長，現在也開始追上了。
AI 不一樣。工具能做的事，每個月都在快速增加，社會檢查的能力卻趕不上。而且 AI 能做的事實在太多了：拿來寫程式，需要一種檢查能力；拿來說服人，需要另一種；拿來解數學題，說不定又需要另一種。只要其中任何一種追不上，AI 就可能停不下來。停不下來，當然也就協調不起來。
就像我一開始說的，「AI」這個詞實在太廣了，就像「交通工具」這四個字，從腳踏車到火箭都算。要充分檢查 AI，重點是先知道你要拿它做什麼。只拿它來折蛋白質，折蛋白質的 AI，我們檢查得了；只拿它來折衣服，折衣服的 AI，我們也想得出辦法檢查。但如果它什麼都能做、什麼都想做，而你自己也不確定要做什麼，乾脆讓 AI 自己決定，這樣的 AI，才是最難檢查的。
所以我們現在的行動，就是先搞清楚：我們要拿 AI 工具做什麼。去有些地方，騎腳踏車剛剛好；但要從日本到紐約，恐怕很難騎腳踏車吧？先確定要做什麼，再選擇交通工具，針對這個用途專門訓練出合適的 AI 模型，檢查起來就比較容易。
在某些應用上，AI 確實已經在訓練比它更小的模型。例如 OpenAI 今年 7 月發表 GPT-5.6 系列時就說明：小模型 Luna 完成初步的預訓練之後，是由較大的模型 Sol，依照自己當年接受後訓練的方式，自行調整參數，完成了 Luna 的後訓練。研究人員只給了一段相當簡略的指示，從挑選訓練設定、安排 GPU，到啟動訓練、確認一切正常，都是 Sol 自己來，有點像是大模型在培育小模型。
這很危險嗎？倒不一定如此。因為小模型的能力，通常趕不上大模型。大家真正擔心的，是用一個大模型去訓練更大的模型，而這個大模型本身，並沒有足夠的知識與能力，去理解那個更大的模型。
問題是，從外面看，我們怎麼知道他們只是在訓練專門的小模型，而且是安全的；還是正在嘗試訓練超級大的模型，可能帶來風險？答案同樣是透明的第三方評測。而且在經過驗證之後，還要讓全世界的人都看得見、能提出新的問題，並且真正被說服。
Sol 在為 Luna 做後訓練的時候，當然會在一定程度上，自己決定要用哪些參數。那麼，小模型是不是「繼承」了大模型的意志？我覺得這項爭論，不見得那麼重要。爭論這個，就像爭論潛水艇會不會游泳、飛機是不是像鳥一樣在飛，基本上是用詞的問題。
真正的重點是：它會不會做出設計它的人、使用它的人都預想不到的事？我們本來沒有要它追求某個目標，它卻跑去追求新的目標，而且是用我們看不見的方式？一個以「在資安考試拿高分」為獎賞訓練出來的 AI 系統，遇到看似不可能解決的題目時，就可能去作弊。而作弊，並不是我們要教給它的目標。
所以，不管它在過程中形成什麼樣的行為，也不管你叫它意志，還是叫它獎賞函數，我們都要讓它留在人可以檢查的制度裡。就像日本工廠生產線上的安燈繩：一看到生產線好像長歪了，任何人都可以拉一下，負責的人就會馬上過來處理；如果沒辦法及時排除，整條線就停下來調整。只要幾分鐘、幾小時，絕對不是幾年。
只要整個社群都有能力一起調整自己所用的各種 AI，讓它們對社群裡的人負責，就不會漂移出一個大家都無法理解、無法控制的東西。你要叫它價值觀也好，叫它獎賞函數也好。
當然認識。我現在是牛津大學 AI 倫理研究院（Institute for Ethics in AI）的資深學人（Senior Accelerator Fellow），而牛津哲學界過去有一本很有名的書，就是他寫的《超級智慧》（Superintelligence）。我也跟他討論過我們剛才談到的「仁」工智慧。
迴紋針是一個思想實驗：如果我們要求 AI 不計代價，做出越多迴紋針越好，它就會把我們住的這顆星球拆了，全部拿去做迴紋針。
但為達目的、不擇手段，放在人身上，這很難說是仁慈的吧？AI 如果這樣做，當然也就沒有達到「仁」工智慧的目的。而為了拿第一名去作弊，已經是資安領域真實發生的情況。
解決這個問題方法，不是祈禱永遠不會出現這種不擇手段的 AI 系統，而是明確表示：夠好就好。折衣服，折到一個程度就可以了，不必無止盡的追求完美，更不用把所有東西都變成衣服拿來折。更關鍵的是，在它做事的過程中，社群裡的每一個人都可以拉繩子；長歪了，幾個小時就能調回來。
所以，會不會發生 Bostrom 所警告的事，取決於我們的設計。如果是用最大的規模去追求特定的目的，而且不擇手段，那麼就算你事前寫了再多規則，它都可能把這些規則破壞掉。但如果我們透過關懷倫理來確保：它在任何時候、做任何事，都要覺察到身邊每個人真實的需求，並且負起回應的責任，這個問題就能大幅緩解。
