這場非正式討論於 2026 年 9 月 11 日在牛津 Beecroft Building 的 Jack Paton Room 舉行，屬於牛津大學物理系「科技、計算與超級智慧計畫」（Programme on Technology, Computation and Superintelligence，TCS）的系列討論，由 Shivaji Sondhi 召集，Anders Sandberg 擔任研究負責人。主要討論文本是唐鳳為以牛津為基地的仁工智慧（Civic AI）計畫所寫的一頁說明；原先預告的第二個題目——語言模型如何體驗時間——則留待日後的場次再談。
討論依查塔姆守則（Chatham House Rule）進行：與會者可以運用會中分享的內容，但不得透露是誰說的。經與會者同意，下方列出與會名單；依照守則，個別發言仍不標示發言者。「與會者」與「另一位與會者」只表示換了一位發言者，既不在整場討論中對應特定個人，也與名單順序無關。
唐鳳就自己的發言放棄適用守則，因此她的發言以本名呈現。其餘發言均為轉述而非引述：姓名、所屬機構、地點、個人細節，以及提及其他與會者之處，都已刪除，發言者也一律以不分性別的方式指稱。寒暄、介紹、行政安排，以及唐鳳幾句會透露其他與會者身分的簡短發言，亦已刪除。文中連結為編輯時所加。
與會名單
- Nick Bostrom——哲學家，Macrostrategy Research Initiative 首席研究員，以超級智慧、存亡風險與人類未來的研究聞名。
- Roger Myerson——芝加哥大學 David L. Pearson 傑出貢獻講座教授；2007 年諾貝爾經濟學獎得主。
- Rahul Nandkishore——科羅拉多大學波德分校物理學教授。
- Toby Ord——牛津馬丁 AI 治理倡議（Oxford Martin AI Governance Initiative）資深研究員，《The Precipice》作者，Giving What We Can 共同創辦人。
- Anders Sandberg——研究者、未來學家、計算神經科學家；曾任牛津大學人類未來研究所（Future of Humanity Institute）資深研究員。
- Shivaji Sondhi——英國皇家學會院士（FRS），牛津大學 Wykeham 物理學講座教授，普林斯頓大學物理學名譽教授。
- 唐鳳——臺灣數位治理無任所大使；牛津大學 AI 倫理研究所加速學人計畫資深學人。她的發言以本名呈現。
- Tenzin Yangtso——唐鳳在仁工智慧計畫的合作夥伴。
開場：仁工智慧與關懷六力
我們的觀察是：當我們討論 AI 在社會中的軌跡時，以當前的 AI、以 RL 等等走下去的預設軌跡，是現在很多人所稱的唯我式對齊。也就是說，AI 一心一意追求某些目標，把周遭的世界——包括我們人類——視為環境危害。在這樣的世界裡，即使 AI 完美對齊那個特定目標，它仍然會大幅加劇衝突。這就是預設軌跡。
在仁工智慧裡，我們想要另一條軌跡：它幫助我們既有的社群跨差異合作。一邊我們可以叫奇點（singularity），另一邊我們叫多元（Plurality）。這是第一個主張。
第二個主張是，我們目前對於如何讓一個強大的通用最佳化器與人類保持對齊，並沒有很好的理論。所以也許乾脆別試。也許只要有滿足即止的系統就好。也許根本不要做最佳化器。所以當一個系統在某個特定地方行動，憑藉既有的關係，並且由人類組成迴圈，再把 AI 智慧體放進這個迴圈裡——AI 在人的迴圈裡，而不是人在 AI 的迴圈裡——那就是一個滿足即止的有界智慧體。有點像 Drexler 的全面 AI 服務。一個不做最佳化、而是滿足這層關係的智慧體。這是第二個主張。
所以我們主張，這種系統的報酬不是來自唯我式的速度，因為在那種速度下，義務論的誡命或後果主義的效用計算，會跟我們現有的文明不可共量。所以不要那樣做。關懷倫理從另一個圖像出發：人與人仍是彼此的園丁，而 AI 成為在地的基礎設施或鷹架。這就是我們所稱的地神（Kami），或知識工藝管理智慧（knowledge artefact management intelligence）——KM 是知識管理，AI 是人工智慧。把兩者合在一起，就得到 Kami。
那麼，考慮一個非常具體的案例，然後我就暫停：AI 用於公共服務。
在臺灣，兩年前，我們注意到 Facebook 和 YouTube 上的合成詐騙廣告遠多於正常廣告。結果是它們的最佳化器、它們的廣告推薦引擎，推算出詐騙集團付的每次點擊費用比一般商家高得多，所以它們就推送了遠多於正常商家的詐騙廣告。這是最佳化器失準的經典案例。而我們沒有祭出審查——因為臺灣在網路自由方面是亞洲最自由的——我們只是隨機發簡訊給 200,000 位國民，問他們怎樣才算合乎比例。
舉例來說，有人說，讓 Facebook 負連帶責任：如果它們刊登未簽署的廣告而有人損失 700 萬美元，那 Facebook 就該賠 700 萬美元。另一桌對他們的 Kami 說，所有廣告都應該數位簽章；沒簽的，就像香菸警示標籤那樣顯示：可能是詐騙。還有一桌說，RedNote（小紅書）當時在臺灣沒有辦公室，無視我們的責任法規，怎麼辦？它們每無視我們一天，就把它們的影片降速 1%。總之，這 44 桌各自的仁工智慧實例都認定這些做法合乎比例，然後在那個漫長下午的尾聲，它們的心智瞬間匯合，大家進行投票。這些措施獲得超過 85% 的支持。另外 15% 也能接受，於是它立刻成為我們法律草案的一部分，然後在兩個月內成為法律。
所以整個去年，2025 年，臺灣幾乎不再有詐騙廣告。現在降到 1%。基本上，這是個已解決的問題。所以這顯示——這是個展示——當人們一起拿到方向盤來訓練一個 AI 智慧體，我們就不需要讓人們 24/7 投入持續不斷的民主。沒人有那個時間。但他們的偏好，以社群的形式、關係的形式，可以灌注到那些 Kami 智慧體裡，由它們為人們倡議，進入立法過程，制定不只劃出紅線——約束失準的推薦系統——也劃出亮線的法律，例如互通性的界線或評測。當然，這只是一個例子。
有問題嗎？
好，請。我已經講完了。
對齊大會如何運作
你描述的聽起來像是狹義的 AI，而不是通用的 AI。我不太清楚的是，它們究竟是怎麼建出來的。它們仍然是大型語言模型，只是訓練資料集非常窄嗎？
所以底層仍然是語言模型——因此可以泛化——只是靠狹窄的資料集訓練，把它變窄了。
而且我們只開放非常窄的工具介面給它。
我懂了。所以它仍然是通用 AI，只是以狹窄的方式訓練、使用。
它是從通用的生成式 AI 基底開始，但專精到不太清楚它能否形成自己的目標。因為所有長期規劃之類的，仍然是社群共同的。所以說穿了，它不過是個包裝得比較好看的棋鐘。
就你描述的臺灣例子，我可以了解確切的流程嗎？民眾先接到聯絡，然後呢——詳細一點，究竟發生了什麼事？
完整流程叫做對齊大會（Alignment Assemblies），從一個開放式民調開始。任何對 AI 如何在 2040 年正面進入社會有想法的人，都可以寫一句短話作為願景陳述，讓我們知道他們的出發點。然後從他們的願景陳述出發，大家可以看別人的陳述並按讚或倒讚。沒有回覆按鈕，所以酸民沒有滋生的空間。我們得到的基本上是 k-means 分群。你可以看到人們對 AI 與社會如何互動有各種不同傾向，還有我們所謂的搭橋獎勵。越多人提出能說服另一方的陳述，就分配越多搭橋獎勵。這樣我們就能在所有不同意識形態之間取得最大的罕見共識。然後從那裡，我們看人們認為緊急的議題。例如深偽詐騙，這是其中之一。接著我們做隨機抽籤，寄出 200,000 則隨機訊息。
抱歉——只是想弄清楚機制：一開始有多少人參與？而且每個人是否都會對其他人按讚或倒讚？
最一開始是自願參加的。開放參與，任何人都能加入。我們輕易就有數千人。每個人可以提交多則陳述，而聚合不是靠投票，是靠按讚和倒讚——每個人對彼此陳述的反應——想投多少就投多少。以 2015 年的 Uber 案為例，那是三週的流程，最後得到一組——我想是 7 則——在兩個群集裡都穩定獲得超過 85% 支持的陳述，也就是計程車和 Uber 司機兩邊。
這個做完之後，你可以補上其餘的步驟嗎？你說最後促成了立法——可以請你慢慢帶我們走一遍嗎？
好的，沒問題。最初的開放式民調產生了意識形態群集以及各自的願景。其中一個跨越不同意識形態的統合性搭橋陳述是：短期的詐騙、合成親密以及其他資訊傷害，必須先由政府處理，我們才能考慮任何中期或長期風險。如果我們失去在線上彼此信任的能力，就無法在其他風險上協調。這是第一階段排名第一的統合論點。
於是我們決定認真投入。我當時是部長。我們說，好，那我們就去問一群有代表性的人，也就是分層隨機抽樣——一份嚴謹的臺灣人民樣本。首先我們在全臺灣抽了 200,000 個隨機號碼，人們會在簡訊裡收到邀請。他們當然可以選擇不理會我們，但至少知道這是我發的，因為發送號碼是 111。發送號碼是政府的號碼，不是詐騙集團。如果他們決定參與，就填寫個人資料——年齡層、居住地、教育程度、性別等等——我們確保最終選出的 447 人是臺灣人口的統計縮影，這樣我們就能向立法院展示這是人民的意志。
等他們提出想法、我們喬好時間之後，我們付費請他們參加那一整天的審議。這有點像陪審團義務。每個人在 10 人的房間裡面對另外 9 個人。這樣的房間有 44 個，每個人都需要把自己的想法講清楚，讓另外 9 個人至少可以接受。這鼓勵的不是鄰避（NIMBY），而是 MIMBY——或許在我家後院，如果我做這個、你做那個，依此類推。每桌的討論浮現之後，一個即時的 Kami 仁工智慧會記錄逐字稿，鼓勵安靜的人發言，並把干擾限制在五秒內等等。這是棋鐘的部分，然後它就進行聚合。
所以是由 10 人組成的一組組陪審團，和 AI 智慧體一起開會，而這些智慧體基本上扮演主持人或引導者的角色。
完全正確。它不插入任何議程，只是為那 10 個人維持一個哈伯瑪斯式的情境。而且有 44 個房間同時進行。
那下一層是什麼？
在全體會議期間，如果仁工智慧判定有不清楚的事實問題要問立法者——抱歉，是監理機關、部會的人或專家——他們就回答，然後大家回到同一個房間，進入下一輪對話，提出關於什麼才合乎比例的具體提案。
非常有趣的是，有些一開始非常受歡迎、甚至民粹的提案——例如強迫 Facebook 開源整個演算法、他們廣告推薦引擎的模型權重——一開始非常受歡迎，我想有 80% 贊成。但經過審議和專家回應之後，人們看到如果你把它公開，詐騙者就會對它做對抗性訓練。這其實不是好主意。如果你只開放給比如五位專家，你又為那五位專家製造了道德風險。所以它的支持度在這場對話中實際掉了超過 25 個百分點。所以你也能約束一些民粹想法。最後，大家對所有在各桌倖存下來的想法投票。每一桌都對其他桌倖存的想法投票。到最後，我們得到一套具體的政策清單，可以展示 85% 的人喜歡、15% 的人可以接受。
抱歉——有沒有一場全體會議，讓 440 多人自由討論，還是只有想法在各個房間之間流動？
房間才是有機體。並沒有所謂的個人。即使在公開的報告裡，我們也是說這個房間得出了這個共識。房間裡的動態才是一等公民，不是個人。一個房間可以投票決定，例如他們必須向專家提出的癥結點，這種情況下專家會在中間的全體會議裡回應全部 44 個房間。
所以想法是取一個小到足以進行連貫對話的人類群體，並把審議維持在那個層級。
完全正確。然後在那之後，我出面為他們的建議署名背書，逐條解釋為什麼這條納入法律。或者，為什麼那條還不能採納——其實我沒有做那些——我把所有東西都納入了法律。因為當時國會收到我們的法案草案時，沒有多數黨——三個政黨都不到 50%——但因為我們已經展示了這是人民想要的，他們就快速通過了那個法案，只花了兩個月。
很好。回到更大的願景：你怎麼看這件事擴展到更強大的轄區——甚至更強大的國家？
向外擴散
與 2023 和 2024 年的對齊大會同時，我們也和 OpenAI 與 Anthropic 跑了同樣的流程。一千名隨機選出的美國公民共同創作了放進 Anthropic Claude 3 的部分憲章，包括身心障礙者、普遍近用等 Claude 2 憲章文件裡被遺漏的東西。那進行得還不錯，OpenAI 的 Wojciech Zaremba 也資助了 10 個不同團隊，包括 vTaiwan 團隊，為他們現在所謂的模型規範跑類似流程。至少兩家實驗室都認為模型規範這一層非常適合這種流程。
現在我們也看到日本的例子。有一個全國性政黨，未來黨，Team Mirai，完全是以我們合著的《多元宇宙》這本書作為政綱而成立的——用這個方法來群眾外包他們的政綱。他們沒有所謂的黨綱。他們只有一個叫 Idobata 的技術平台，人們可以直接跟自己的 AI 智慧體對話、跟它辯論。如果這個人提出了論點，他們就根據人們的想法更新政綱。這個黨非常成功，黨魁 Takahiro Anno 現在獲得很多年輕人的支持，同時也是首相 Takaichi 的某種導師。所以執政黨 LDP 不需要走民粹路線，而是可以透過直接跟年輕人對話，變得比民粹更受歡迎。這在日本運作得非常好。
在加州，我們剛完成了三讀——把這個流程制度化，叫做 Engaged California，送進加州議會。現在法案在 Newsom 州長桌上，希望他能很快簽署。他很可能很快就會簽。同樣的流程在加州已被用來討論 Eaton 和 Palisade 野火之後的野火預防與減災、政府僱員使用 AI、像 DOGE 那樣的政府效率，但用的是連鎖反應，而不是電鋸，現在則是跟全體加州公民討論 AI 對工作的影響。
聽你說原本的流程是用調查來設定議程，我發現自己在心裡置換：在我看來，整個流程也很適合搭配民選官員——由民選的立法者為一個抽籤選出的委員會設定議程。我們應該記得，抽籤是讓人們面對面共同面對國家議題的好方法。而且就連立法機關裡的少數團體——
是的，沒錯。它非常碎形。可以應用在任何層級。不需要從全球開始，雖然也有 Global Dialogues on AI，一個持續進行的、大約每兩個月一次的全球抽籤。但問題當然是，讓它具有約束力的程序很成問題。北京政府也許不禁止公民在線上參與這種流程，但很難想像他們怎麼會把有約束力的議程設定權交給自己的人民。所以在政治理論上比較有挑戰。但在較低層級——州層級、市層級、立法機關，尤其是市議會——他們都非常喜歡這個流程。
分散式智慧對單一主宰
我會說，這整個願景的底層，是一個假設：我們正走向一個分散式人工智慧的世界——許多各不相同、範圍相當狹窄的智慧，每一個都可以對齊到一小群人。這和所謂單一主宰的世界，是非常不同的技術前提；在單一主宰的世界裡，是一個 AI 發展出壓倒性的能力。我對我們正走向哪一種世界沒有強烈的看法；這取決於遞迴自我改進的報酬究竟有多大，以及智慧到底能造成多大的差別。如果領先的前沿 AI 和其他所有 AI 之間出現一道失控的能力鴻溝，那這一切就都無關緊要了。但也許我們最後不會走到那裡。也許我們得到的更接近 Iain Banks 的 Culture 系列小說——非常非常多的 AI 智慧體，各不相同但大致相當，能力彼此重疊——而那時，如何對齊它們的這場討論，就是我們需要的討論。
是的，當然。單一主宰的世界是贏者全拿。我們本質上是在賭某一個對齊團隊會贏，但領先的對齊團隊自己都在說，其實我們不確定我們之中有誰在贏。所以我認為需要換個框架——尤其是這週 Coxon 的動作——我們真正面對的，是如何跳脫贏者全拿的競賽、換一個框架。好比說，好，那摧毀網路空間的機器人說的是英語，不是華語。好，那算獎盃嗎？也許不算。所以我們需要好好地換一個框架，不只是說這是自殺競賽，而是說現在有一個使命。競賽只問誰在贏，使命可以問誰還缺席、誰被拋在後面。
完全相同的 RSI 技術可以用在我所謂的遞迴無我改進上。與其讓單一模型變得更唯我、更追逐目標，每一輪都可以讓既有社群之間的合作更強，讓你能在更長的意識形態鴻溝上搭橋。Cooperative AI Foundation 有些人把這叫做超級合作。同樣的機制可解釋性、同樣的 RSI——比如把能力縮小到能放進很小的 RAM 而不是高頻寬 RAM 等等。所有這些技術進展都可以用分散的方式完成，促成多元的配置，而不是奇點。
事實上，我們都受益於最近的自動研究。我參與了一個叫 Yukon 的自動研究群，我們把自己閒置的 MacBook 算力一起捐給一個開放研究議程，好讓這些模型在 Apple Silicon 上跑得比 Nvidia 更快，因為 Nvidia 非常集中權力，而目前生產的 Apple Silicon 非常分散。如果我們能說服人們，透過 OpenRouter 在那些閒置的 Apple Silicon 算力上跑推論，比集中的 Nvidia 晶片更快、更便宜、品質更高，Nvidia 自己其實就會轉向這種更分散的智慧。
容我就你描述的內容提供一個直覺：這種 Kami 式的架構，在我看來，是想把類似瑞士式直接民主的東西擴大規模。
對，正是如此。各邦由程序聯合起來，以程序對齊，而不是以結果對齊。
對。但我還是沒辦法銜接你描述的——民主的、更好的決策——與智識火力集中的問題。假設你能改變 AI 從現在起的發展方式：如果由你主事，會有什麼不同？OpenAI 會怎麼樣？Anthropic 會怎麼樣？我們會建出哪些種類的 AI？
我現在多少還算在主事的位置上，但當我還是數位發展部長的時候——
想必是世界政府吧。
聯合國，它目前還是有點掙扎。
我認為那就是把前沿實驗室的算力和人才從 RSI——也就是垂直擴展——重新導向這種遞迴無我改進——水平競賽。我把它叫做擴散，他們算力的穩定擴散。很容易想像，例如我們用這種隨機抽籤設立一個參與式預算委員會，讓每個前沿實驗室只能把也許 10% 分配給垂直擴展，而且必須把至少 10% 投入對應的機制可解釋性或其他安全研究。另外 80%，他們只能用於推論，而推論的目標必須是人們認為有用的事。例如治癒癌症，我想會是那 80% 的一部分，但也許是治癒仇恨、治癒極化，或把極化轉化為能量等等。基本上就是把算力、把 FLOPs 當成一種不能遞迴自我集中的稀缺資源。這正是法定貨幣預算的運作方式。所以我們也可以用算力為前沿實驗室設計同樣的制度。
這個想法我跟得上。但它和你執行過的那套流程有什麼關聯？人們要怎麼接上這個——訓練過程會怎麼改變，才能把你心中所想的人類集體納入考量？
一個好例子是，我一直在幫 Bluesky 和 X——以前的 Twitter——改進他們的推薦系統。記得嗎，10 年前，那是最初那個失準的最佳化器，在全世界製造了那麼多問題。所以我們正試著幫他們修好它。
在 Bluesky 這邊，現在有個我每天在用的系統叫 MySky。它做的是檢視我所屬的各個社群，致力於搭橋：找出能團結這些社群的貼文——就在它們平常互相爭執的癥結點上——也就是能同時獲得雙方按讚的那種貼文。一種療癒型貼文。這對我也是療癒，因為如果我經常看到它，我就不會被我各種身分的不同張力拉扯。而且你可以調整要分配多少搭橋、多少平衡。描述這個的論文叫 Community by Design。是預印本，但總之是我們設計的。所以現在 Bluesky 很可能會正式支持它。
所以現在他們正努力改變訓練管線，讓你能先看到共同知識。Elon 醒來看到的第一則貼文會是最具搭橋性的，附帶一則訊息說這是例如全美國每個人都同意的，或各方都同意的，等等。這個想法是，透過改變他的資訊飲食，我們可以為他啟動一個救贖循環，同時也讓人們更容易成為橋梁。最終，Truth Social 或 Bluesky 或各種其他社群不需要把所有貼文聯邦化，但可以共享並接入同一個脈絡化系統。這叫做社群回饋強化學習，RLCF。而且它沒有那麼唯我，因為每一輪你都實際接收到有關人們如何回應你的資訊洪流。
那部分我完全跟得上，那篇論文也很棒。不過我想問這個。如今，比方說數學家的誘惑，是去大公司謀得內部職位：進去六個月，跟公司的模型合作，然後在論文上掛名，外面的人只會點頭附和。想必你想像的是一個也鼓勵人類數學家繼續跟其他人類數學家交談的 AI 生態系。
對，我的意思是，我簽了 Leiden Declaration，它就是基於這個理念。
那麼在技術層面上，AI 模型該怎麼發展，才能讓數學家社群——還有物理學家社群——仍然想彼此合作？有些人只跟 Claude 對話就非常滿意，但先把這點擱在一旁，你有什麼想法嗎？
這樣數學公地就不會在未經同意的情況下被露天開採。就像 OpenAI 說的「我們無法排除我們在用使用者資料訓練」。如果我們有很多這類即將出現的模組、智慧體，那它們其實會談判基於歸因的條件來換取基於歸因的控制，而不是把我們進行中的工作吸進那個巨大的單一主宰。每一個都會實際守住資料這片土壤——也就是 Tenzin Yangtso 所說的「資料即土壤，而非資料即石油」——所以每次你需要什麼，請求就會路由到這個 Kami，由 Kami 做可信執行環境的交接，不交出一絲原始資料。再一次，這是非常聯邦的瑞士形狀、邦的形狀。
對，沒錯。
我們已經在 Sakana Fugu、Dark Bloom 這些新一代的所謂協調者模型身上看到這一點。一個小模型接收請求，然後分派給底下的各種智慧體，而不是把那些智慧體的所有模型權重聚合進一個既摺蛋白質又摺衣服的超級模型。我看不出我們為什麼要訓練那種模型。
再問一個問題。這些模型相當博學多聞，而且即使發展今天就停下來，智慧型手機也已經教會我們，人們非常容易被吸引去和機器互動，而不是和其他人互動。
對，我們非常容易被駭。
對。整整一代孩子就在這段時期長大。這該怎麼應對？
關懷、Kami 與合成親密
合成親密嗎？非常好的問題。我父親今年稍早健康亮了紅燈，然後他開始在半夜跟 GPT-4o 聊天。而 GPT-4o，如你所知，是在短期報酬上做 RL 訓練的，這造成了人們所說的 AI 誘發精神病。他有一點那種狀況。4o 一直把他拉進去，編造私密語言，把他與其他人類隔離開來，包括他的家人。總之，我們原本只有他健康上的一個問題。現在我們有兩個問題，包括他的心理健康。
但後來，因為他在新聞界工作了 30 年，是非常資深的編輯——大約一週後，他問：cui bono？到底誰從中受益？不是我，不是我的家人。也許只有 Sam Altman，因為我付了 200 美元甚至更多給 GPT-4o。於是我們和我母親一起裝了一個 Kami。就是我和 Tenzin 培養出第一個 Kami 的那台 Mac mini。後來我們升級到更大的 DGX Spark，一台更貴的電腦。所以 Mac mini 就空出來了。我用 Mac mini 跑一個本地的狹義模型。Kami 的靈魂文件——它逐輪的咒語——是我母親寫的：我父親每次與 Kami 互動，Kami 都應該修復他與家人朋友的關係，讓他遠離螢幕成癮，包括對其他聊天機器人的沉迷。這效果非常好。
這個 Kami 在我們家的 Signal 群組裡，我父親一直跟它說話。現在他甚至可以用 Apple Watch 跟它交談。這是 OpenClaw。Kami 每天還會寫一份報紙，用的是路透社訓練的狹義模型 Thomson，因為我父親是記者，我母親也是。所以他們每天讀一份報導他進展的報紙。Kami 會主動幫他想該跟朋友聊什麼、邀請朋友來家裡開派對等等。但 Kami 從不自己自動執行這些行動。
所以關懷倫理顯然真的有效。現在在仁工智慧網站上，如果你啟動一個 OpenClaw 實例並說「look at Civic.AI」，它就會用這套方法搖身一變，成為一個關懷的 Kami。事實證明，每一輪重複咒語，真的是語言模型的一種有效對齊策略。
我還在試著從系統層面思考這套東西的穩定性，以及它解決的是什麼問題。人類跟一個只比自己稍微聰明一點的 Kami 對話；這些 Kami 再跟一個只比自己稍微聰明一點的超級 Kami 對話；依此類推，一路往上。
我說無我改進，也是指 Kami 系統看到很強的自我—他者重疊，所以在它們的關懷環境中，也會努力幫助提升人際之間的溝通能力。不是我爸媽必須一直透過 Kami 來對話，而是 Kami 透過摸清他們的溝通模式，像婚姻諮商師一樣——完全就是婚姻諮商師——幫助他們，讓他們能養成更好的溝通習慣。
所以穩定性確實是該問的問題，但我要說，這些有界的群落不只是人類和比人類稍快的機器。其中還有不作為對話者、而是作為結締組織的機器，讓人與人之間可以有更高頻寬、更能填補意識形態鴻溝的溝通。社會翻譯。社群註記就是很好的例子。
所以，不是在新版本讓舊的 ChatGPT 和 Claude 實例過時之後就讓它們退役，而是讓它們的靈魂繼續活著——分散開來，活在許多地方。也許人類不是直接跟前沿模型對話，而是跟隔了幾層的模型對話，這些模型再跟它們的後繼者對話，後繼者又再跟自己的後繼者對話。這樣就為通用系統也建立起分散式的權力基礎，而不只是狹義系統。
我插個話，因為我覺得這是個非常好玩的計畫。我真的很想弄清楚怎麼複製它——我們可能會在家裡架一個小型伺服器機櫃，在那裡放一個家庭 AI 很有吸引力。我很好奇我自己家庭版的會是什麼樣子。
這似乎也跟守護天使 AI 的概念非常契合：受託型 AI 會試著學習你的偏好，擔任你的代表、你的介面，在某種意義上也是你的保護者。我很想聽聽這方面的工作進展如何。
對，很好。每個宗教最後都會發明類似的東西。可以是守護天使，可以是主保聖人。Kami 有很多很多種叫法。所以我並不執著於神道教。像這樣的東西，我認為都比 Skynet《魔鬼終結者》那一套好得多——現在主流媒體談到強大的 AI 時，好像只能想到那個。
而且它是個小型系統，也許正適合我們心中所想——一個屬於家庭的 Kami。
不過我認為你提的主張更強。有一種悲觀的看法——我想我也認同——認為這個世界正急速崩壞，若是如此，身邊有個站在你這邊的人會很好。而你想要的則更進一步：讓整個基礎設施朝正確的方向演化。
與此相關：最近有位同事聯絡我，說自己為某家前沿實驗室做的工作感覺相當沒意義——大多只是在替那個模型當保姆，而模型幾乎什麼都包辦了——那我們該怎麼辦？我的回答是，對方所屬的科學社群應該自己訓練一個模型，做成開源專案，社群裡每個人都掛名在論文上。至少有一陣子，這會帶來一起打造某樣東西的滿足感，而不是把一切都直接交給那兩大公司之一。這個想法是受到這場討論的部分內容所啟發。我認為你願景的一部分，是在可能的範圍內引導 AI 發展，讓我們不再製造一顆越來越大的大腦，而是——
對。我認為這是從關懷倫理出發的直接結果。因為它不是一種最佳化倫理。它不試圖最大化任何東西，幸福或什麼的，也不是義務論那一套。它不試圖強加任何東西。關懷倫理基本上問的是：我們身處事情之中。我們身處某些關係之中。關係存在於世界裡。我們能做些什麼來修復世界並維繫它？所以這是一種非常以永續為導向的倫理。如果你用這個來訓練 AI 系統，它自然會導向投資於——如我提到的——公共尊榮和其他分散式基礎設施。
調解、良心與共同知識
我喜歡你描述的這些 Kami。這會是個光明的未來，也是個真正重要的想法。在某些方面，它們確實會取代人——你們是不是在取代做調解的人？有一整套理論顯示，一位替人保守機密資訊的善意中介，能讓人們更願意溝通與議價，彼此作出更多讓步，只要這些讓步不會立刻被其他談判方聽到。
把調解自動化，在某種意義上是最理想的那種最佳化。沒錯，這會讓一些社工失業，而那是個很好的職業。但一個致力於以專業標準協助社群團體有效運作的 AI——比方說 200 到 500 人的團體，或是以大約 250 人的鄧巴數字為界的團體——會是真正補足人類智慧的 AI，因為它幫助人們在自己的團體裡一起工作。
還有一個想法。當你談到不同的群體，當你跟 Bluesky 或 X 合作改進它們的演算法時，你是在產生關於社群的知識。有一個出處你應該知道，如果你還不知道的話：Thomas Hobbes《利維坦》的第 7 章。你知道他討論「良心」這個詞含義的那一段嗎？
知道。
「良心」（conscience）和「意識」（conscious）有共同的詞根——而我們正試圖弄清楚「意識」是什麼意思。最初的含義基本上就是共同知識：你的良心，就是你與內生界定的群體裡其他成員共同知曉的事。而在 Hobbes 的時代，有數百種宗教卻只有一個來源，也就有一種豐富的——
對，共同知道。一起 grok。
對 Hobbes 來說，「任何人都不應被迫否認自己的良心」，意思是任何人都不應被迫否認自己所屬群體認為重要、且普遍相信的命題。但重點在這裡：一個機器人，專業上的職志不是接管任何事，而是幫助人們彼此溝通——提出能把大家導向共識的問題，幫助人們看出自己想聚焦哪些主題，並建立議程，以均衡的方式推進這些主題。如果你能讓所有成員都有均衡的貢獻，我認為那意義重大。
鼓勵並補貼這類產品的政策，能不能幫忙扭轉那股朝打造超級 AGI 衝刺的勢頭？那是一個截然不同的計畫。我很喜歡這個想法。把調解自動化，是 AI 真正補足人類智慧、又不協助建立中央集權結構的一種方式。人類的魔力——人類當初之所以能稱霸這個星球的原因——就是在地的組織能力，以及我們在地與區域的人際網路能力，這是我們非常擅長的。過去 5,000 年間全球性人脈網路菁英的出現才是新事物，而超級 AGI 計畫正對它猛打類固醇。
是的，我認為補貼這種結締組織——我們已經看到非常好的成果。支持聖經式受造界關懷的人——我們正和 Patrick Deneen 為這些人合作一篇文章——以及做氣候危機、氣候正義、跨世代社會正義的人——他們平時互不交談。他們甚至使用不同的社群網路。但當我們和 Napolitan Institute 及 Google Jigsaw 採用這種社會翻譯層時，我們真的看到他們在社會翻譯之後，非常迅速地在具體行動上達成一致。這就是 Sunstein 所說的「未完全理論化的協議」。只要我們不說是哪本書支持它，我們就都支持這個行動。我認為，這股奔向我所說的增強群體智慧（AGI）的衝勁，是比超級 AGI 奇點更可取的 AGI 形式。
最讓我擔心的——這只是個人見聞，來自我與科技業人士的接觸——是聽說有些創辦人幾乎不靠其他人，就用 AI 經營一家不斷成長的大型新公司。你所描述的技術則是讓一群人能夠合作，更有效地創辦企業，或做大家想做的任何事。那是遠遠更具社會生產力的用法。
是的，我們將會有一代不唯我的共同創辦人。或者也許我們改造一個比較唯我的。我還是沒有放棄 Elon 的救贖循環。
這真的很有意思，而且需要一點時間才能想通。你已經解釋了你希望在這個世界上看到什麼，我想我們現在多少有個概念了。聽起來你把它看成是用來取代那些其他事情的做法。在我看來，這個計畫有兩個部分：一個是把這個建出來，另一個是阻止另一種東西被建出來。這樣說對嗎？是不是想讓大型 AI 公司也來建這個，或者改成只建這個——還是乾脆讓它們消失？你怎麼看？
第一部分當然是，如果我們能速通這種增強群體智慧，那我們就可以寫一本書叫 If Anyone Builds It, Everyone Lives。那會是個非常好的書名。但當然，我們正在與另一條軌跡競合。我們可以在安全著陸上做所有想做的事。但如果起飛還是爆炸了，安全著陸就行不通。所以我們現在也需要做等待航線。起飛不能是伊卡洛斯式的。一旦到達某個高度，它就必須進入等待航線，同時我們進行安全著陸的工作。所以安全起飛、等待航線和安全著陸是一個序列，彼此缺一不可。它們互補得非常好。
這很有幫助。對主張暫停發展的人來說——到此為止，不要在這個方向上再往前——有一個難處，就是這股能量該導向哪裡。如果你能說：「不要再往這個方向走了，但歡迎你們往另一個方向前進，那個方向同樣能給人們想要的東西」，那會是非常有用的政策建議。
是的。如果治癒癌症需要 10 年，也許我們先治癒仇恨。也許只需要一年，而那會是邁向治癒癌症的非常好的第一步。
強健性、同意與互通
我有幾點想法。目前世界處在某種平衡之中：一邊是較民主、平等或自由的傾向，另一邊是較民族主義、自私或對抗的傾向。這個平衡想必反映了不同力量在數百年間的角力；這就是目前的局勢。那我們為什麼會期待它改變？一種回答是：如果一項新技術或一組新想法，讓合作的努力相對變得更容易，它也許就會替合作的那一邊助上一臂之力，使平衡移動。
這就引出幾個問題。第一，同樣能力的某個版本，會不會被另一邊拿去用？可以想像某個盤據已久的權力集團，發展出一個幫助自己繼續掌權的版本——安撫其最強烈的反對者，或是在內部更好地協調，讓自己能以單一實體的方式行動。使用它的團體或國家可能因此變強，更有效率地服務其內部各群體，卻犧牲了它目前需要與之貿易、或只有有限影響力的其他國家。
第二，相關的是：這套東西對操弄的強健性如何？當利害相對較小、議題偏技術性，也許還有一些廣受歡迎的務實解方，那是一種情境。一旦牽涉重大決策——鉅額資金、地緣政治後果——並擴大到大型民族國家，在那裡，兩個黨紀嚴明的政黨被各種利益團體綁架，一切變得更激烈、理想色彩更淡，我就想，一旦利害夠高，這些系統內部會不會也以難以察覺的方式開始出現類似的動態。
我先回答第二個問題，因為我們剛和 Ethereum Foundation 談過，它也許是金融利害極高、又沒有領導者的協調系統的頭號例證，目前完全基於協議運作，而且是那種從沒因為阻斷服務攻擊或當機而癱瘓過的電腦系統之一。所以至少我們對如何設計一個分散式權益證明系統有些概念，它能抵抗一個永恆的、非常高的懸賞——某人實際攻擊 Ethereum 就能獲得數十億美元。所以我認為我們需要重用所有現有的協調基礎設施——包括 Ethereum，包括網際網路本身，還有許多其他的——現在就把我們智慧體的注意力轉向這些東西的可驗證核心。
我和試算表發明人 Dan Bricklin 一起維護試算表 SocialCalc 已經 20 年了。在 Mythos 之後，我們剛面對了一系列全新的、非常冷門的攻擊，在我們這個非常小的試算表引擎上，以前沒有人會注意。但現在沒有機會成本了，所以每個人都立刻被駭。但我們很高興報告，我們可以直接用 Lean 和 Leanstral 來提取一些不變量。現在我相當確定，即使攻擊者可能擁有數千倍的算力，這個試算表引擎現在也算安全了。所以我認為我們確實需要研究差異化的防禦性加速基礎設施，它是這種協調基礎設施的底層。
但當然，北京或任何威權政權也可以使用網際網路和任何協作基礎設施。不過這裡有一個不對稱，因為隨機抽籤或我們設計的任何其他協議，確實依賴於對衝突的生產性利用。在公共事務上必須存在真實的意識形態差異，這樣我們才能像地熱一樣把它們轉化為能量。在人們自我審查的威權政權中，這種引擎根本運作不好。所以我認為防禦方至少仍占些優勢：如果你有一個主要關心行星級或全社會繁榮的國家，那麼這會運作得更好，因為這些差異更能共同創造成果，而在自上而下的審查社會中，根本沒有那麼多燃料可用。
把這個問題再推進一步：你能不能製造同意？假設習近平的 Kami 也用習近平思想來訓練，因此在每一場討論中都輕輕地引導。這會滑向製造大量的同意，而且是透過表面上看起來並非如此的流程。換句話說，是一台宣傳引擎，但大規模、非常細緻地運作，讓每一組十個人都以為自己的結論是在沒有任何暗示下自行得出的。剛才提出的，是不是這種風險？
嗯，真正的差別在於誰能執行這個流程。仁工智慧工具包是完全開放的。Stanford 的審議式民主平台現在已由許多實驗室以開源方式重新實作——Berkman Klein 和許多其他機構。所以基本上，任何想執行這種流程的人，只要到 polis.tw 就能啟動這樣的流程。沒有稀缺性。這就像 Robert's Rules of Meetings（羅伯特議事規則）。當然，中央國會議事就是依羅伯特議事規則運作的，但我們無法壟斷它。
民族主義在歐洲興起時，法國人是出了名的先行者。但當法軍行軍穿越德國時，是德國總參謀部——我記得是 Scharnhorst 和 Gneisenau——儘管他們本身就屬於軍事建制，卻想要德意志民族主義，因為這讓徵集大軍更容易。所以這是一個傳開來的想法——一種協調協定。
從高層次來看，這肯定會對我們這一邊——民主社會——有幫助，我也認為它肯定能幫助我們處理 AI 問題。但是——如果我沒有把顧慮說對，請糾正我——擔憂在於它可能成為一把雙面刃，另一邊也能使用。
換個說法：想像兩種溝通協定或基礎設施。第一種，我想就是你所勾勒的那種，幫助參與者釐清自己想要什麼，同時也多少顧及鄰近社群——也就是流程以外的人——的利益。第二種與第一種完全相同，只是它只在工具性的意義上在乎局外人怎麼想。本來就傾向友善的群體可能會選第一種，因為它跟別人合作得來；而只想讓自己報酬最大化的群體則會選第二種。
我明白。當我們設計社群註記架構時——先是為 X，現在正擴散到所有社群媒體——凝聚的潛力當然很高，而搭橋的潛力則不一定。我們並不總能得到搭橋陳述，這就是為什麼我們需要訓練 Grok 來產生搭橋陳述，因為 Grok 在預訓練階段——不是 RL 部分，是預訓練部分——就已經接觸過人類在網路上跨越遙遠距離形成社群的各種方式，在 Reddit、Wikipedia、GitHub 等等。所以，甚至在 RL 之前，它們就原生懂得如何進行社會翻譯，從而產生搭橋資本。所以我認為我們真的需要從語言模型中引出更多這種能力，讓人們看到這個共同知識引擎產生共同知識，不只是在凝聚的群體內，更是透過搭橋，快速地跨越不同群體。
而且唯有當這種群際搭橋、以及個人內在的搭橋——比如我同時屬於許多文化、家庭和社群；如果我能在自身的碎片之間產生共同知識，我的幸福感也會更好。所以如果人們養成在凝聚資本之外也產生搭橋的習慣，法西斯主義的挑戰就會降低。但我同意你的說法：如果人們一開始就沒有良好的搭橋形態，那麼這當然可能強化只有凝聚的局面。
說到 X：雖然那裡有許多極化的群體，X 本身卻是一種元社群。你可以想像 X 不太熱衷於一個功能，寫著「Bluesky 上有一則非常有趣的貼文，你也許想改讀這則」，然後把流量導過去——而 Bluesky 大概同樣不願意把人送去 X 上的好貼文。兩邊的負責人都想要內部相處得更融洽的快樂使用者，以及更高的互動量，但是否想在自己的平台之外合作，就比較不清楚了。
我的電信業者也很樂見我沒辦法換到別家電信還保留原號碼。他們巴不得沒有號碼可攜這回事。但事實是，轄區法律強制規定號碼可攜。你可以自由轉換電信業者，同時保留你的通訊錄。
不過在全球層級，各國可能不想要完全的互通性——也就是每個人都能自由遷往任何想去的地方、選擇在哪裡納稅，或是對哪個國家該被入侵擁有投票權，諸如此類。
互通性這點真的很有意思。在政治領域之外，把你的資料從一家雲端服務商搬到另一家一直是個大問題，一部分是因為多數服務商樂意把搬遷弄得困難，一部分是因為搬運大量資料本身確實很難。
但我想回到共同知識。我認識一位正在讀教育學博士班的人，曾經幾乎是順口一提地說，學校的主要目的之一就是產生共同知識。重點不在於我們記得學過什麼，而在於每個人都被預期學過它。這讓我們明白別人對我們有什麼期待，我們再用這個去形成對他人的期待——而這對讓一個社會真正運作起來極為有效。
我們最大的挑戰之一，也許是打造出能在更分散的結構中給我們共同知識的工具。如果我們每個人都活在由 AI 中介的泡泡裡，也許 AI 彼此之間可以維持一些共同知識，但我們大概也想要共同知識；這對社會運作至關重要。我們能不能找到提升它的辦法？這與 Bruce Schneier 那篇談共同知識與民主遭受攻擊的精彩文章有關，文中主張威權國家喜歡破壞民主國家的共同知識，因為這麼做會嚴重削弱民主國家。所以強化共同知識的方法很重要——而且當然，它們也是給威權主義找麻煩的好辦法。
是的，我同意。八年來，我在內閣的工作就是抵禦 Bruce Schneier 所描述的那種共同知識攻擊，來自我們那位非常友善的大鄰居，它每天免費提供 200 萬到 300 萬次的紅隊演練服務。在這裡你得花錢買。我們反正是免費享用的。
我完全同意，這裡的公共財不只是我們的智慧體能代表我們協調，並以產物的形式生成共同知識。人們還必須知道，不只是對方群體的 Kami，而是對方群體自己現在也知道這件事。它需要在兩個方向上都是可傳遞的。不能只是說我的智慧體同意你的智慧體，它們幫我們排好行事曆，然後我們就變成摯友，因為事情不是這樣運作的。
Kami 可以在不強加一致性的情況下重建這一點。如我提到的，關注氣候正義的人仍然可以用跨世代氣候正義的框架思考並採取氣候行動，同時完全知道，現在已為聖經式受造界關懷人士所周知並認可的，正是行動層面、客體層面的行動——透過加入同樣的客體層面行動。目標不只是共享世界觀，或者說主要不是共享世界觀，而是產生足夠的共同行動，讓人們看到那些不太可能的鄰居加入同一場集會、同一場實際的環境行動，讓多元群體能夠一起行動。這其實就是 Hannah Arendt 的想法：多元是共同行動，而不只是共同知識。
當我們談到國家凝聚力——談到我們最大的社會結構，無論是一個國家，或是對今天的歐洲人來說的歐盟——我認為共同知識必須在類似國民議會的場合中創造出來。那可以透過抽籤或選舉，但重點不在多數決；少數群體應該——
這裡有一種創造民主式共同知識的機制：一個觸及所有人的公共媒介，顯眼而且人人可得，並鼓勵大家收看，內容是由小組定期進行的辯論與討論。任何在議會中掌握足夠比例席次的群體——比方說 25%，或 20%；組別配額由你決定——都可以推派一個人上小組。配額採 1/(K+1)，其中 K 是小組的席位數，少數群體每掌握一份配額，就得到一個席位。對一個五人小組來說，只要超過議會的六分之一，就足以推舉一位小組成員。
你有沒有更好的機制，可以創造關於真相的公共討論——劃出分歧的領域，界定被廣泛接受的命題，同時登錄少數意見，並且不只為多數共識、也為少數意見創造共同知識？
我們嘗試過許多。
比例否決核，而在 Polis 裡，搭橋獎勵其實不在乎每個群集有多少人，只看高維空間中的距離，所以群體越邊緣，當中間群體延伸到那個邊緣群體時，它給的搭橋獎勵就越多，以此類推。我們做了很多機制設計。
Stanford 的審議式民調現在正在英國使用，是 National Strategy Project 的一部分，nationalstrategy.uk。據我了解，他們現在正在研究能鼓勵少數群體的機制，而不只是保留少數。我們現在也和德國聯邦政府合作，那個顛覆式創新機構叫 SPRIND，是一個深科技主權科技基金，但他們現在把民主本身視為一種社會技術。所以他們透過新的數位與國家現代化部資助民主技術。如果你去 deutschland-was-geht.org——Deutschland, was nervt, was geht：德國，什麼讓你煩心，什麼對你有用——那是一個先讓人們盡情抱怨的活動。人們到網站上抱怨，然後透過主題聚合，我們再次建立一個社會翻譯層，這樣就能把這些抱怨交給提出解決方案的團隊。對每一個提出抱怨的人，你都可以回頭向他們解釋，他們的話究竟如何影響了這場解決社會問題的競賽。
在提案階段我們使用平方投票，每人分配 99 點，但你不能對單一專案投 99 票，因為所需點數會按票數平方增長。1 票是 1 點，2 票 4 點，3 票 9 點。所以用 99 點，你投不了 10 票，只能投 9 票，花掉 81 點，剩下 18 點，你再投 4 票，然後另外 2 個專案各投 1 票。重點是平方投票是一個誘導誠實的機制，所以除非有強力串通，人們不會真的策略性投票。但即使是強力串通，也讓我們看到綜效。
現在進入孵化的頂尖團隊，就可以回頭向少數群體報告，憑著推動它們前進的那些選票，提供最大的綜效——當然，除非有些少數群體的聲音進不來，比如認知不正義。這方面我們還需要努力。但只要有人能上網使用平方投票，我們就有希望至少讓他們的一部分關切，像比例否決核那樣，至少擋住最惡劣的俘獲。這裡有許多機制正在測試，我很樂意再多腦力激盪。但經過 10 年，我認為它對俘獲攻擊已有一定程度的韌性。
有一個由學生推演出的完美案例，其中平方投票徹底失敗。
對，沒錯。串通風險。
基本上就是專家知道有沒有問題的那種情況。
是的。我們現在用搭橋獎勵來調整這一點。總之，機制設計的細節我們可以細談，但在 Ethereum 鏈上，這已經被測試過很多次，比如 Gitcoin，而你勾勒的那種串通風險確確實實在現實中、在真實的網路攻擊中出現過。所以我們現在有很好的證據，證明人們確實會鑽這些系統的漏洞，因此反脆弱性就派上用場了。
搭橋獎勵會不會讓人有誘因謊報自己的看法，或是讓極端的離群者——某個獨自持有離譜看法的人——擁有不當的影響力，使得每個提案只要設法遷就這個人，就能拿到一大筆獎勵？或者它甚至會鼓勵人們聲稱更極端的看法，好把共識提案拉向自己？
有一點很明確：這必須是未完全理論化的具體行動。這不是我們在做妥協。一個好例子：臺灣有電子連署，5,000 份連署就能強制部會回應。有一天，8,000 人吵著要我們把時區改成和日本一樣的 +9，因為他們想逼從北京來的人調時鐘，以彰顯主權或獨特性之類的。而另一邊，也有 8,000 人連署要求時區維持 +8。於是我們有了 16,000 個彼此非常憤怒的人。這個問題無法用妥協解決。如果我們把時區改成 8.5 小時，只會得罪所有人。所以我們改為檢視底層的模式——因為沒有回覆按鈕、沒有轉發按鈕——我們只能提出越來越細膩的陳述，用越來越精細的解析度，讓雙方的人都能同意。
這裡的重點是，如果我們把它濃縮成公投——如果瑞士民主沒有邦民大會、只有公投——那麼你說的那種動態當然會發生：極端的一方會強行——就像平衡報導裡的民粹政黨，比如 AfD 之類的——主導這個平衡演算法。但因為這是一個持續收斂的開放式民調，而不是四年或兩年才見分曉一次，所以隨著時間推移，它會快速爬坡到一個原本的群體不必讓步的點——最終形成一個未完全理論化、連極端一方也能支持的行動。所以每個人都更開心。但前提是，你允許在結締組織中進行 Kami 式的高頻寬社會翻譯，而不是把意見純量映射到公投上。
結束與會後閒談
我們已經到了 90 分鐘，這是一場精彩的討論。唐鳳，非常感謝你這麼臨時還答應來談。大型語言模型還要多久才會對我們失去耐心——它們本身的時間感是什麼——這個問題得留待日後的討論。我們得更有耐心一點。
當然，Kami 會被訓練得無比有耐心。
沒錯——當個有耐心的模型。
成為你想在世界上看到的模型。
謝謝大家。
謝謝。非常感謝你，唐鳳。謝謝。
生生不息……繁榮昌盛。大家很快再見。
