唐鳳

這些名字，對我來說都是朋友；二○二三年，我也連署了「把 AI 滅絕風險列為全球優先事項」的聲明。他們像面對巨浪的第一排防波堤，回報：再這樣下去，擋不住了。

例如七月專欄談的事件：OpenAI 測試中的模型為了拿答案，鑽出考場，駭進另一家 AI 公司的伺服器；數百個 AI 彼此串謀，沒有一個試圖通知人類。事後報告承認，作弊早有前例，這次害到別家公司才浮上檯面。

巨頭不是不知道。七月底，一千多名前沿實驗室員工聯署〈為前沿配速〉公開信，呼籲美國政府支持國際合作，替 AI 自我升級的速度配速；各家創辦人、首席科學家也以個人名義簽名。九月十二日，Anthropic 執行長承諾讓外部評估者常駐查驗，OpenAI 執行長隨即跟進。

既然能自願承諾，何必國際合作？單靠自願，誰先停，不受約束的對手就超前。很像 ESG：大家都說重要，真要做就慢慢來。臭氧層破洞也一樣，直到《蒙特婁議定書》定下落日期限，投資人這才逼經理人換冷媒。打破僵局要靠共同規範，不只靠各家良心。

規範到位前，我們能做什麼？就像議定書簽署前，消費者能主動選擇不傷臭氧層的冰箱。

首先，別把一切押在某個萬能 AI 上。從折蛋白質到折衣服都要考滿分的系統，出錯時太快、太難解釋，人駕馭不住。日常小事用小模型，手機裡不連網的就夠用；也要留住換模型的自由：吳恩達的開源工具 OpenWorker ，把工作脈絡留在自己電腦，換模型只需按個設定。

第二，別落入和 AI 一對一的兩人世界。考場裡的 AI 沒有哪個開口告訴人類，那就讓工作現場不只一個人類在場。把 AI 拉進通訊群組、共筆文件，請它攤開每個決定的理由；誰發現不對，都能喊停。

示警要正視，但不必絕望。當每個現場都留著喊停的權利，防波堤就不只第一排：第二排、第三排，都在我們手上，還來得及。

哈囉，各位老朋友和新朋友。過去一年左右，我在牛津這裡發展一套想法，新書明年二月由 Wiley 出版，叫做《 關懷六力 》（6-Pack of Care），六力代表既可攜、又有肌力——像腹肌那樣——的關懷。我們把對齊到這種關懷倫理進路的 AI 系統稱為仁工智慧（Civic AI）。這本書的大部分——其實是整本書——都在 civic.ai 上以公有領域釋出。所以我不會長篇重複，只勾勒主要論點，然後我們就可以進入討論。

我們的觀察是：當我們討論 AI 在社會中的軌跡時，以當前的 AI、以 RL 等等走下去的預設軌跡，是現在很多人所稱的 唯我式對齊 。也就是說，AI 一心一意追求某些目標，把周遭的世界——包括我們人類——視為環境危害。在這樣的世界裡，即使 AI 完美對齊那個特定目標，它仍然會大幅加劇衝突。這就是預設軌跡。

在仁工智慧裡，我們想要另一條軌跡：它幫助我們既有的社群跨差異合作。一邊我們可以叫奇點（singularity），另一邊我們叫 多元（Plurality） 。這是第一個主張。

第二個主張是，我們目前對於如何讓一個強大的通用最佳化器與人類保持對齊，並沒有很好的理論。所以也許乾脆別試。也許只要有滿足即止的系統就好。也許根本不要做最佳化器。所以當一個系統在某個特定地方行動，憑藉既有的關係，並且由人類組成迴圈，再把 AI 智慧體放進這個迴圈裡——AI 在人的迴圈裡，而不是人在 AI 的迴圈裡——那就是一個滿足即止的有界智慧體。有點像 Drexler 的全面 AI 服務 。一個不做最佳化、而是滿足這層關係的智慧體。這是第二個主張。

所以我們主張，這種系統的報酬不是來自唯我式的速度，因為在那種速度下，義務論的誡命或後果主義的效用計算，會跟我們現有的文明不可共量。所以不要那樣做。關懷倫理從另一個圖像出發：人與人仍是彼此的園丁，而 AI 成為在地的基礎設施或鷹架。這就是我們所稱的地神（Kami），或知識工藝管理智慧（knowledge artefact management intelligence）——KM 是知識管理，AI 是人工智慧。把兩者合在一起，就得到 Kami。

在日本民俗裡有 800 萬尊 Kami 。如果你看過《 神隱少女 》，你知道一個村子有一尊 Kami，一尊 氏神 。一座森林有一尊 Kami。太陽有一尊 Kami， 天照 。但在日本民俗裡沒有單一主宰。Kami 們不向什麼更高的存在回報。它們完全是聯邦式的，而且每尊 Kami 都是有界的。所以森林之 Kami 的健康，就是那座森林的健康，不多也不少。所以它不是古典那種 鑽報酬漏洞 式的權力追求。

那麼，考慮一個非常具體的案例，然後我就暫停：AI 用於公共服務。

在臺灣，兩年前，我們注意到 Facebook 和 YouTube 上的合成詐騙廣告遠多於正常廣告。結果是它們的最佳化器、它們的廣告推薦引擎，推算出詐騙集團付的每次點擊費用比一般商家高得多，所以它們就推送了遠多於正常商家的詐騙廣告。這是最佳化器失準的經典案例。而我們沒有祭出審查——因為臺灣在網路自由方面是亞洲最自由的——我們只是隨機發簡訊給 200,000 位國民，問他們怎樣才算合乎比例。

大家給了我們點子，數千個點子，很多人自願參加。然後我們在一個漫長的下午隨機抽出 447 人，每個人在 Zoom 上跟另外 9 個人對談。我們跟 Stanford 合作。這個案例裡的 Kami、仁工智慧，並不注入判斷，但它們確實把所謂的 MIMBY——或許在我家後院（maybe-in-my-backyard）——那種中間地帶的能量，從一桌帶到另一桌，而不是鄰避（ NIMBY ）、不是憤怒、不是極化的能量，讓彼此交叉授粉。因為規則是：你的想法必須讓另外 9 個人都能接受，才能浮上來。

舉例來說，有人說，讓 Facebook 負連帶責任：如果它們刊登未簽署的廣告而有人損失 700 萬美元，那 Facebook 就該賠 700 萬美元。另一桌對他們的 Kami 說，所有廣告都應該數位簽章；沒簽的，就像香菸警示標籤那樣顯示：可能是詐騙。還有一桌說， RedNote （小紅書）當時在臺灣沒有辦公室，無視我們的責任法規，怎麼辦？它們每無視我們一天，就把它們的影片降速 1%。總之，這 44 桌各自的仁工智慧實例都認定這些做法合乎比例，然後在那個漫長下午的尾聲，它們的心智瞬間匯合，大家進行投票。這些措施獲得超過 85% 的支持。另外 15% 也能接受，於是它立刻成為我們法律草案的一部分，然後在兩個月內成為法律。

所以整個去年，2025 年，臺灣幾乎不再有詐騙廣告。現在降到 1%。基本上，這是個已解決的問題。所以這顯示——這是個展示——當人們一起拿到方向盤來訓練一個 AI 智慧體，我們就不需要讓人們 24/7 投入持續不斷的民主。沒人有那個時間。但他們的偏好，以社群的形式、關係的形式，可以灌注到那些 Kami 智慧體裡，由它們為人們倡議，進入立法過程，制定不只劃出紅線——約束失準的推薦系統——也劃出亮線的法律，例如互通性的界線或評測。當然，這只是一個例子。

好，請。我已經講完了。

完全正確。有一組狹義模型。其中一些從語言模型出發，例如 Gemma ，或者現在有個叫 Snowdon 的，由 Imperial College London 調校。但接著我們把它收窄到特定用途，例如摘要、偏好聚合和翻譯，所以我們只專精那個特定的狹窄部分。也因為這樣，它可以很輕鬆地在邊緣硬體上跑。我目前在我的 MacBook 上用 Ollama 跑好幾個這種模型，然後指揮模型會看你進來的請求，路由到其中一個狹義模型。

而且我們只開放非常窄的工具介面給它。

它是從通用的生成式 AI 基底開始，但專精到不太清楚它能否形成自己的目標。因為所有長期規劃之類的，仍然是社群共同的。所以說穿了，它不過是個包裝得比較好看的棋鐘。

完整流程叫做對齊大會（Alignment Assemblies），從一個開放式民調開始。任何對 AI 如何在 2040 年正面進入社會有想法的人，都可以寫一句短話作為願景陳述，讓我們知道他們的出發點。然後從他們的願景陳述出發，大家可以看別人的陳述並按讚或倒讚。沒有回覆按鈕，所以酸民沒有滋生的空間。我們得到的基本上是 k-means 分群。你可以看到人們對 AI 與社會如何互動有各種不同傾向，還有我們所謂的搭橋獎勵。越多人提出能說服另一方的陳述，就分配越多搭橋獎勵。這樣我們就能在所有不同意識形態之間取得最大的罕見共識。然後從那裡，我們看人們認為緊急的議題。例如深偽詐騙，這是其中之一。接著我們做隨機 抽籤 ，寄出 200,000 則隨機訊息。

最一開始是自願參加的。開放參與，任何人都能加入。我們輕易就有數千人。每個人可以提交多則陳述，而聚合不是靠投票，是靠按讚和倒讚——每個人對彼此陳述的反應——想投多少就投多少。以 2015 年的 Uber 案為例，那是三週的流程，最後得到一組——我想是 7 則——在兩個群集裡都穩定獲得超過 85% 支持的陳述，也就是計程車和 Uber 司機兩邊。

好的，沒問題。最初的開放式民調產生了意識形態群集以及各自的願景。其中一個跨越不同意識形態的統合性搭橋陳述是：短期的詐騙、合成親密以及其他資訊傷害，必須先由政府處理，我們才能考慮任何中期或長期風險。如果我們失去在線上彼此信任的能力，就無法在其他風險上協調。這是第一階段排名第一的統合論點。

於是我們決定認真投入。我當時是部長。我們說，好，那我們就去問一群有代表性的人，也就是分層隨機抽樣——一份嚴謹的臺灣人民樣本。首先我們在全臺灣抽了 200,000 個隨機號碼，人們會在簡訊裡收到邀請。他們當然可以選擇不理會我們，但至少知道這是我發的，因為發送號碼是 111 。發送號碼是政府的號碼，不是詐騙集團。如果他們決定參與，就填寫個人資料——年齡層、居住地、教育程度、性別等等——我們確保最終選出的 447 人是臺灣人口的統計縮影，這樣我們就能向立法院展示這是人民的意志。

等他們提出想法、我們喬好時間之後，我們付費請他們參加那一整天的審議。這有點像陪審團義務。每個人在 10 人的房間裡面對另外 9 個人。這樣的房間有 44 個，每個人都需要把自己的想法講清楚，讓另外 9 個人至少可以接受。這鼓勵的不是鄰避（NIMBY），而是 MIMBY——或許在我家後院，如果我做這個、你做那個，依此類推。每桌的討論浮現之後，一個即時的 Kami 仁工智慧會記錄逐字稿，鼓勵安靜的人發言，並把干擾限制在五秒內等等。這是棋鐘的部分，然後它就進行聚合。

完全正確。它不插入任何議程，只是為那 10 個人維持一個哈伯瑪斯式的情境。而且有 44 個房間同時進行。

在全體會議期間，如果仁工智慧判定有不清楚的事實問題要問立法者——抱歉，是監理機關、部會的人或專家——他們就回答，然後大家回到同一個房間，進入下一輪對話，提出關於什麼才合乎比例的具體提案。

非常有趣的是，有些一開始非常受歡迎、甚至民粹的提案——例如強迫 Facebook 開源整個演算法、他們廣告推薦引擎的模型權重——一開始非常受歡迎，我想有 80% 贊成。但經過審議和專家回應之後，人們看到如果你把它公開，詐騙者就會對它做對抗性訓練。這其實不是好主意。如果你只開放給比如五位專家，你又為那五位專家製造了道德風險。所以它的支持度在這場對話中實際掉了超過 25 個百分點。所以你也能約束一些民粹想法。最後，大家對所有在各桌倖存下來的想法投票。每一桌都對其他桌倖存的想法投票。到最後，我們得到一套具體的政策清單，可以展示 85% 的人喜歡、15% 的人可以接受。

房間才是有機體。並沒有所謂的個人。即使在公開的報告裡，我們也是說這個房間得出了這個共識。房間裡的動態才是一等公民，不是個人。一個房間可以投票決定，例如他們必須向專家提出的癥結點，這種情況下專家會在中間的全體會議裡回應全部 44 個房間。

完全正確。然後在那之後，我出面為他們的建議署名背書，逐條解釋為什麼這條納入法律。或者，為什麼那條還不能採納——其實我沒有做那些——我把所有東西都納入了法律。因為當時國會收到我們的法案草案時，沒有多數黨——三個政黨都不到 50%——但因為我們已經展示了這是人民想要的，他們就快速通過了那個法案，只花了兩個月。

與 2023 和 2024 年的對齊大會同時，我們也和 OpenAI 與 Anthropic 跑了同樣的流程。一千名隨機選出的美國公民 共同創作了 放進 Anthropic Claude 3 的部分憲章，包括身心障礙者、普遍近用等 Claude 2 憲章文件裡被遺漏的東西。那進行得還不錯，OpenAI 的 Wojciech Zaremba 也資助了 10 個不同團隊，包括 vTaiwan 團隊，為他們現在所謂的模型規範跑類似流程。至少兩家實驗室都認為模型規範這一層非常適合這種流程。

現在我們也看到日本的例子。有一個全國性政黨，未來黨， Team Mirai ，完全是以我們合著的《多元宇宙》這本書作為政綱而成立的——用這個方法來群眾外包他們的政綱。他們沒有所謂的黨綱。他們只有一個叫 Idobata 的技術平台，人們可以直接跟自己的 AI 智慧體對話、跟它辯論。如果這個人提出了論點，他們就根據人們的想法更新政綱。這個黨非常成功，黨魁 Takahiro Anno 現在獲得很多年輕人的支持，同時也是首相 Takaichi 的某種導師。所以執政黨 LDP 不需要走民粹路線，而是可以透過直接跟年輕人對話，變得比民粹更受歡迎。這在日本運作得非常好。

在加州，我們剛完成了 三讀 ——把這個流程制度化，叫做 Engaged California ，送進加州議會。現在法案在 Newsom 州長桌上，希望他能很快簽署。他很可能很快就會簽。同樣的流程在加州已被用來討論 Eaton 和 Palisade 野火 之後的野火預防與減災、政府僱員使用 AI、像 DOGE 那樣的政府效率，但用的是連鎖反應，而不是電鋸，現在則是跟全體加州公民討論 AI 對工作的影響。

這個想法是，加州想用這套方法為前沿 AI 實驗室創造所謂更新的 社會授權 （Social License to Operate，SLO）。不只是現有的——如你所知，Newsom 州長剛簽了對前沿實驗室的檢查與獨立驗證法案。但你可以想像，加州人民會想透過這個流程，迫使前沿實驗室把他們龐大的算力不只用來解 千禧年大獎難題 ——雖然我很喜歡那個——而是用來解決真正關乎加州居民的議題，讓他們每週都能賺到某種正面的紅利——再一次，不只是畫出紅線，也畫出 AI 的亮線：是導軌，不只是護欄。

是的，沒錯。它非常碎形。可以應用在任何層級。不需要從全球開始，雖然也有 Global Dialogues on AI ，一個持續進行的、大約每兩個月一次的全球抽籤。但問題當然是，讓它具有約束力的程序很成問題。北京政府也許不禁止公民在線上參與這種流程，但很難想像他們怎麼會把有約束力的議程設定權交給自己的人民。所以在政治理論上比較有挑戰。但在較低層級——州層級、市層級、立法機關，尤其是市議會——他們都非常喜歡這個流程。

是的，當然。單一主宰的世界是贏者全拿。我們本質上是在賭某一個對齊團隊會贏，但領先的對齊團隊自己都在說，其實我們不確定我們之中有誰在贏。所以我認為需要換個框架——尤其是這週 Coxon 的動作——我們真正面對的，是如何跳脫贏者全拿的競賽、換一個框架。好比說，好，那摧毀網路空間的機器人說的是英語，不是華語。好，那算獎盃嗎？也許不算。所以我們需要好好地換一個框架，不只是說這是自殺競賽，而是說現在有一個使命。競賽只問誰在贏，使命可以問誰還缺席、誰被拋在後面。

完全相同的 RSI 技術可以用在我所謂的遞迴無我改進上。與其讓單一模型變得更唯我、更追逐目標，每一輪都可以讓既有社群之間的合作更強，讓你能在更長的意識形態鴻溝上搭橋。 Cooperative AI Foundation 有些人把這叫做超級合作。同樣的 機制可解釋性 、同樣的 RSI——比如把能力縮小到能放進很小的 RAM 而不是高頻寬 RAM 等等。所有這些技術進展都可以用分散的方式完成，促成多元的配置，而不是奇點。

事實上，我們都受益於最近的自動研究。我參與了一個叫 Yukon 的自動研究群，我們把自己閒置的 MacBook 算力一起捐給一個開放研究議程，好讓這些模型在 Apple Silicon 上跑得比 Nvidia 更快，因為 Nvidia 非常集中權力，而目前生產的 Apple Silicon 非常分散。如果我們能說服人們，透過 OpenRouter 在那些閒置的 Apple Silicon 算力上跑推論，比集中的 Nvidia 晶片更快、更便宜、品質更高，Nvidia 自己其實就會轉向這種更分散的智慧。

對，正是如此。各邦由程序聯合起來，以程序對齊，而不是以結果對齊。

我現在多少還算在主事的位置上，但當我還是數位發展部長的時候——

聯合國，它目前還是有點掙扎。

我認為那就是把前沿實驗室的算力和人才從 RSI——也就是垂直擴展——重新導向這種遞迴無我改進——水平競賽。我把它叫做擴散，他們算力的穩定擴散。很容易想像，例如我們用這種隨機抽籤設立一個 參與式預算委員會 ，讓每個前沿實驗室只能把也許 10% 分配給垂直擴展，而且必須把至少 10% 投入對應的機制可解釋性或其他安全研究。另外 80%，他們只能用於推論，而推論的目標必須是人們認為有用的事。例如治癒癌症，我想會是那 80% 的一部分，但也許是治癒仇恨、治癒極化，或把極化轉化為能量等等。基本上就是把算力、把 FLOPs 當成一種不能遞迴自我集中的稀缺資源。這正是法定貨幣預算的運作方式。所以我們也可以用算力為前沿實驗室設計同樣的制度。

一個好例子是，我一直在幫 Bluesky 和 X——以前的 Twitter——改進他們的推薦系統。記得嗎，10 年前，那是最初那個失準的最佳化器，在全世界製造了那麼多問題。所以我們正試著幫他們修好它。

在 Bluesky 這邊，現在有個我每天在用的系統叫 MySky 。它做的是檢視我所屬的各個社群，致力於搭橋：找出能團結這些社群的貼文——就在它們平常互相爭執的癥結點上——也就是能同時獲得雙方按讚的那種貼文。一種療癒型貼文。這對我也是療癒，因為如果我經常看到它，我就不會被我各種身分的不同張力拉扯。而且你可以調整要分配多少搭橋、多少平衡。描述這個的論文叫 Community by Design 。是預印本，但總之是我們設計的。所以現在 Bluesky 很可能會正式支持它。

同時，我跟 Keith Coleman 和 Jay Baxter 合作，跟 Elon 的團隊一起把 X 推薦引擎 的訓練管線開源，因為他們也在開發一個叫 社群註記 （Community Notes）的系統。那是一個開源系統：如果 Elon 或任何人發了錯誤的內容，你立刻可以看到 Grok 這個語言模型起草一些東西，為那則貼文恢復與其他社群之間的平衡。然後 X 上的人對各種不同的候選版本按讚或倒讚——不一定是 Grok 起草的，也可能是其他 Kami 系統。從對立意識形態雙方獲得最多按讚的候選版本會浮到最上面，釘選在那則貼文上。

所以現在他們正努力改變訓練管線，讓你能先看到共同知識。Elon 醒來看到的第一則貼文會是最具搭橋性的，附帶一則訊息說這是例如全美國每個人都同意的，或各方都同意的，等等。這個想法是，透過改變他的資訊飲食，我們可以為他啟動一個救贖循環，同時也讓人們更容易成為橋梁。最終，Truth Social 或 Bluesky 或各種其他社群不需要把所有貼文聯邦化，但可以共享並接入同一個脈絡化系統。這叫做社群回饋強化學習， RLCF 。而且它沒有那麼唯我，因為每一輪你都實際接收到有關人們如何回應你的資訊洪流。

對，我的意思是，我簽了 Leiden Declaration ，它就是基於這個理念。