沒錯。這也是我最關心的問題。
是的。只要你能看見這種事件會造成的衝擊，你就能圍繞它進行規劃，這就是為什麼你能降低 P(Doom)（末日機率）。
但對於 AI，也就是你們節目的主題，我認為分母目前趨近於零，我們真的不知道，這就是為什麼我的 P(Doom) 是 NaN（非數值）。
好的。我用最近的一個例子。你提到了黃仁勳，NVIDIA 的台裔美籍執行長。在 2024 年，如果你在臺灣滑 Facebook 或 YouTube，你會一直看到黃仁勳的臉。他試圖說服你購買加密貨幣或投資某些股票。
如果你點擊那個影像，它實際上會跟你說話。聲音聽起來就像黃仁勳，但當然那不是他。這是一個深偽（deepfake）的組織犯罪詐騙，當時正是運行在 NVIDIA 的 GPU 上。因此，許多人損失了數百萬元。
但臺灣在亞洲的網路自由度排名第一。所以如果你單獨調查民眾，他們都會說：「噢，政府應該遠離審查制度。」所以我們該怎麼做？
我們當時作為數位發展部所做的，是向全臺灣發送二十萬則隨機簡訊，訊息說：「好，我們現在看到了這個問題。我們應該一起做什麼？」
然後成千上萬的人自願上網參與一種對話。我們稱之為「對齊大會」（Alignment Assembly）。在十人的視訊房間裡，每個人都要跟其他九個人交談，只有一個規則：你的想法必須說服其他九個人，才能傳播到房間之外。
這非常有趣，因為如果你單獨問人們，他們會表現出極端的立場（YIMBY 或 NIMBY）。但在十個人的房間裡，有了「尋找令人驚訝的共同點」這個規則，每個人都變得像 MIMBY（Maybe In My Backyard），「好吧，如果是這樣做，如果是那樣做，也許可以在我家後院。」
然後我們使用大型語言模型將這四十五個房間（每個房間十人）的最佳想法編織在一起。例如，有一個房間說：「你知道香菸盒上的警語嗎？讓我們把社交媒體上的所有廣告都標記為『可能是詐騙』，除非有人提供數位簽章，否則我們就將其下架。」對吧？所以在 KYC（認識你的客戶）上翻轉預設值。
如果他們無視我們的責任歸屬和 KYC 規則怎麼辦？他們說：「讓我們降低連接到他們影片的速度。每無視我們一天就降低 1%。」又一個好主意。
我們向立法委員展示這些是人民的想法，不是我的想法，而且 85% 或更多的人同意這些核心想法組合，另外 15% 的人也能接受。那是去年三月的事，到了五月，我們草擬了一項法律。到了七月，一切都通過了，所以在整個 2025 年，臺灣的 Facebook 或 YouTube 上就不再有深偽廣告了。
沒錯。如果你試圖去 Facebook 投放專門針對臺灣的廣告，你會看到一個彈出視窗，要求你以數位方式證明你的身份，大多數詐騙者就在那一步停手了。
完全正確，而且是分散式的。我們有分散式身分皮夾（decentralized ID wallet）。這是一個你安裝的 App，但它不會回傳資料（ping home），你可以用它來證明，例如你已年滿十八歲而不透露你的年齡，或者證明你電話號碼的末三碼而不透露整組號碼。有各式各樣的「選擇性揭露」。
是啊，重點在於我們要產出那些「一旦聽過就覺得顯而易見」的想法。這被稱為「搭橋觀點」（bridging idea），或者「罕見共識」（uncommon ground）。
你知道 X 上的「社群筆記」（Community Notes）嗎？或者現在 YouTube 和 Facebook 也有。這個概念是，左派對某個熱門貼文提出澄清，右派提出另一種澄清。通常他們會互相投反對票，但總有一些筆記能倖存下來，並獲得雙方的贊成票。
現在，X 的研究人員提出了一種叫做「超級筆記」（Super Notes）的概念，這是一種總結所有高評價筆記的方法，甚至訓練一個 AI 系統來起草這些筆記，這樣你就能提出一種能說服雙方的說法。對一方來說，這是關於氣候正義；對另一方來說，這是關於聖經中的創造關懷（creation care），這就是你們如何為分裂的人群建立共同知識。
是的，絕對會，這就是為什麼這不能只停留在國家層級。使用開源系統（如 Polis 或 Dembrane 等）的重點在於，人們可以學習將其遞迴地應用到更小的政治實體中。
它可以被應用，也已經被應用於我們學校的公民課。我們在 2019 年 AlphaGo 之後修改了課綱，因為我們知道任何常規可自動化的事情都會被自動化，所以學生需要學習的不僅是識讀（literacy），而是素養（competency），即透過好奇心和協作一起鍛鍊公民肌力（civic muscle）。
所以當年輕的孩子們使用這類工具，來制定空氣品質、水質、噪音水準的測量標準時，他們不是在等部長來召開協作會議。他們正在學習將此遞迴地應用到自己的家庭中。所以，如果年輕的孩子告訴他們的祖父母嘗試這個過程，會比部長呼籲他們的祖父母嘗試這個過程更有效率、更有效。
在 OECD 同等國家中，我們的社會極化程度是最低的之一。無論是在族群、宗教、性別、城鄉、年齡層等方面都是如此，而且我們也是最不孤獨的，這是以人們共進晚餐的時間來衡量的。
所以我認為我們對於這種極化攻擊有相當強的韌性，不是因為我們防禦並阻擋它們，而是有點像「因為它們」，我們共同產生了抗體。
是的，我正在推廣「公民 AI」（Civic AI）的概念，這意味著人們，例如我剛剛提到的學童，能夠調整、引導、在地解釋與他們相關的 AI 系統。
我的重點基本上是重現臺灣在我出生時（上個世紀八零年代）所做的事情，也就是個人電腦革命。過去只有大型主機，人們沒有電腦。他們只有終端機，也就是連接到某處同一台超級電腦的螢幕和鍵盤，這導致了權力集中，導致了大國家、大公司、IBM 等等。
但臺灣幫助迎來了 PC 革命，愛好者最終創造了自由和開源運動，剩下的就是歷史了，對吧？所以重點在於權力集中本身就是一種治理風險，而我與研究人員和開發者合作，將權力去中心化，無論是在字面意義上還是電子意義上。
當然。我在 LessWrong 發文已經超過十年了。我的哲學來自 LessWrong，稱為「連貫融合意志」（Coherent Blended Volition），這就像「連貫外推意志」（Coherent Extrapolated Volition, CEV），差別在於外推是由 AI 完成的，但融合是與社群一起進行的。
當然。
我的 P(Doom) 是 NaN，也就是「非數值」（Not A Number），原因如下。如果你將風險視為能力除以可觀測性（capability divided by visibility），故事看起來很簡單，對吧？分子正在快速攀升。每個人都看到它在攀升。
但在可觀測性方面，對於主導架構——自注意力轉換器（self-attention Transformers）——我們可以測量一些內部數據，但我們無法可靠地解釋它們。正因為如此，當我們問「這有多危險？」時，我們試圖計算一個檢查項缺失的數值，就像除以零之類的。
但當然，如果你是像 Eliezer 那樣的貝氏主義者，你會說機率永遠不會是未定義的。永遠不會是非數值。只要給我一個先驗機率（prior），我就會給你一個後驗機率（posterior）。
但如果似然函數（likelihood function）壞了，它看起來就像一條平線，對吧？它覆蓋了整個棋盤。從 0% 到 100%。我們是在盲目飛行。我們不知道。所以平均值，我猜，是 50%，但那是裝飾性的。區間才是訊息。除非你有真正的可解釋性，否則計算根本不會收斂。
嗯，我的意思是，我不知道，對吧？這就像把硬幣拋向外太空。它正面朝上的機率是多少？有人進來說，我認為它幾乎總是正面朝上。永遠不會是反面。好吧，但它被拋進了外太空。等到它落地時，我可能已經不在了。我有什麼立場說他們可能錯了？
嗯，它在旋轉。它只是在旋轉。是啊。
是 0 到 100。而且，我認為我們需要具有有界、可檢查狀態的架構，而不是目前的木製特洛伊木馬，我們真的不知道裡面是什麼，它是會急左轉還是急右轉，妳不知道。
但我們需要透明馬系統，作為部署條件，可以實際看透它，那樣我就能給出一個真實的數字。
這是一個好問題。我認為對於核武，它的可解釋性要高得多，因為必須有人發射那枚核導彈。所以我的核戰 P(Doom) 形狀更標準。所以是的，我的核戰變異數（variance）相當窄。
是指平均值？
是的，我想我會把它定在大約 50% 左右，而且…
但這是一個與 AI 末日形狀非常不同的 50%，AI 末日像這樣（平坦），但核戰可能像這樣（鐘形）。而且通往核戰末日的某些路徑部分是由於爭奪 AI 霸權、統治地位等引發的。我們當然可以談論這一點，但這並非微不足道。
變異數較高。
嗯哼。
沒錯。
因為我們不知道。我們真的不知道。
首先，如你所知，作為負責疫情數位回應的人，我非常認真看待大流行病。臺灣在 2020 年疫情的第一年僅通報了 7 例 COVID 死亡，部分原因是幾年前我們經歷了非常嚴重的 SARS。
因為那次 SARS 的經驗，臺灣按比例損失的人數比任何其他國家都多，我們基本上「預先防範」（pre-bunked）了一堆與大流行相關的問題。所以，例如戴口罩與不戴口罩、疫苗與不疫苗、接觸者追蹤等等，我們在一次流行病與全球大流行之間的間隔期進行了真正的討論。
因此，試圖聚焦以縮小大流行病的變異數一直是臺灣的主要工作，這在 COVID 案例中對我們很有幫助。當然，核戰，我們已經談過了。有許多可能的路徑，但我們需要認真對待，對吧？
所以當聲明起草者拿著這個東西來找我時，我想，好吧，也許我們也應該談談其他風險，比如氣候或其他什麼。它並沒有列舉所有風險。
但我非常認真看待大流行病和核戰，我希望全世界知道，我們目前對 AI 風險的實際形狀幾乎一無所知，這就是為什麼我簽署了，某種程度上是為了說這是與其他我們了解得多的兩個風險並列的全球優先事項。
而且「減輕」（mitigating）始於「量測」（measuring）。
嗯，我認為在許多人簽署聲明後，它已成為全球優先事項。我認為我們目前的挑戰不是人們不想減輕風險，而是減輕風險的成本和這類工作帶來的紅利，在許多政策制定者的心中並不是首要任務。
