嗨。嗨，HAI。我該說「Hi HAI」，還是「Hi H-A-I」？
很高興回到這個校園。我記得我們第一次出版《Plurality》（多元宇宙）這本書時，就是來這裡。這本書在 plurality.net 以公共領域釋出，是我和大約六十個人共同寫成的。我正在寫下一本書，預定明年二月由 Wiley 出版，談的是如何為 AI 掌握步調。
我認為這正是這場大會要問的問題，因為我們聽到的是恐懼與希望的混合。我們在臺灣做過一次對話。臺灣生產了許多讓這份恐懼與希望成為可能的晶片。我們提出問題，大家兩種心情都說了。
當然有希望，但也有恐懼。 HAI 指數 也顯示了這一點：在全球大約三十個國家，我記得是，多數人看見希望，而多數人也看見恐懼。把兩者加起來超過百分之百，意思是這些數字背後有很真實的混雜。
我認為這對我們這些決策者很重要，因為這顯示人們真正想要的，不只是當觀眾，而是成為 AI 故事的共同作者。人們也真心想要某種映照，就像我們剛剛拍的那張團體自拍。這種團體自拍的機制，可以讓大家一起為 AI 的起飛掌舵。
如今，我們當然看到各實驗室換了口風，說自從九月起，他們必須為 前沿 配速。現在有許多人公開這麼說；實際上，這些實驗室 有數千名員工聯名寫信 ，說我們必須為前沿配速。但是，這個「我們」究竟是誰？究竟是誰在為前沿配速？那些信並沒有明確說明。
而且，為前沿配速也意味著，是朝著某個地方去配速。那麼，安全降落的地方在哪裡？這就是機制問題，是這個房間內外的團體自拍必須一起回答的。
我很願意把我們剛在 HAI 指數裡看到的恐懼，詮釋成一種資訊，因為它告訴我們關懷還沒到達的地方，也就是關懷的缺口，這是個很好的訊號。好的飛行員依靠儀表飛行，而儀表正是傳遞這類訊號的東西。
所以我們應該要求更精確的東西，而不只是為前沿配速，或暫停前沿。要讓公眾看見證據，並在下一步之前有真正的發言權，由公眾告訴評測者，也就是 METR 和 Redwood 這樣的評測機構，手電筒該照向哪裡。基本想法就是這樣。
現在，它需要三個組成部分。它需要任何人都能查核的證據。它需要一個抗共謀、抗俘獲的見證者，讓它獨立，真正獨立於每一家實驗室、每一個國家。然後要有在期限內回答的義務。所以我想用臺灣的幾個例子 A 和例子 B 來說明。
第一個其實是臺灣和史丹佛的合作。2024 年三月，我擔任臺灣的數位發展部部長，我們向臺灣各地的隨機號碼發出了二十萬則簡訊。收到邀請的人分享了他們對資訊完整性的看法。
當時的資訊生態系正被 深偽詐騙 嚴重破壞。有些人第一次看到那些非常逼真的深偽影片，就損失了數百萬。所以這是個真實的問題。
然後，大家真的自願參與了。有超過一千七百人響應邀請，願意花很長的一個下午參加兩場會議，並在在座的 Fishkin 教授和 Alice Siu 協助下，坐進約十人的小組；這十個人會藉著 史丹佛審議民主平台 的協助，拍一張團體自拍。
所以，在那四十四個小組裡，許多小組想出了非常、非常好的點子——不是 YIMBY ，也不是 NIMBY，而是 MIMBY：也許可以在我家後院，只要你做到這個、那個。因為只有這種 MIMBY 的想法，才能在這樣的小組討論裡生存下來。否則，如果你有一個連自己都說服的激進想法，你也無法說服另外九個人。
所以這種團體自拍的設定，實際上決定了 奧弗頓之窗 ，也就是公眾檢視什麼樣的公共政策才算相稱。所以，人們當然不要詐騙，但也不要國家審查。他們也不要外國的大型科技公司接管資訊生態系。於是他們收斂到一些很好的想法，例如 連帶責任 、 強制實名認證（KYC） 等等。
到漫長的下午對話結束時我們投票，定下一套方案：超過百分之八十五的人同意，其餘的百分之十五也能接受。這基本上就成了 《詐防條例》 起草過程的一部分。
而且速度其實很快。三月發出邀請，不久後進行審議，我們部裡原本就在準備的法案吸收了這些想法，公開草案讓所有人檢視，立法院在幾個月內就通過了。
這在臺灣其實非常困難，因為當時國會有三個政黨，沒有任何一黨過半，而且他們一直在互相封殺提案中練肌肉。但這個案子呈現了大家早已知道的共同知識：他們的鄰居有百分之八十五大概已經同意這些措施。微型公眾接上大型公眾，形成了完整的回饋迴圈，臺灣人民知道這就是我們想要的，所以法案很快就通過了。
所以我認為這是當時如何為前沿配速的一個好例子。但當然，前沿已經移動了。所以我不是假裝那種假冒詐騙，能與我們今天面對的風險相提並論，連遠遠相比都談不上。但我認為，這是一次很好的預演。它顯示了三件事。
首先，確實需要產出任何人都能查核的證據。今天，外部評測者有時能獲得 實驗室的存取權限 來進行測試，據說權限程度相當於實驗室員工。但那仍然是實驗室授予的存取權限。所以信任評測者，也很可能意味著你已經在某種程度上信任實驗室。所以對不信任實驗室的人來說，這仍然需要外部驗證。
我們可以向軍備管制學習。它依靠 地震儀 和 放射性核種監測 ，意思是地球上任何地方的試爆，都能在不受進行試爆的國家所控制的監測站被記錄下來。智慧爆炸？總之，是某種受控的爆炸。
但飛航能變得安全，一部分原因也是類似的安排。也就是商業航空，對吧？有黑盒子，也就是 飛行記錄器 ，防篡改，或至少能看出是否被篡改。
所以在八月，我發表了一份提案，有三個非常具體的步驟。基本上是要確保證據，包括 模型權重 、測試執行等等，都以 雜湊 （也就是校驗碼）做成指紋，然後放進 可信執行環境 進行雙盲測試，外部評測者就可以提交他們的測試，而不會洩漏這些測試，也不會洩漏模型權重——也就是「實驗室洩漏」。最後，外界必須能以最好是 零知識 的方式知道，這類測試確實發生過，而且我們使用的正式上線系統，確實就是被測試過的那個模型。
我很高興報告，試行已經在進行了。我們在八月得知，Google Gemini 的前一版，我想是 Gemini Flash-Lite，已經透過這種方式，在 新加坡 AISI 的協助下完成 雙盲測試 。所以我們現在有了一個試行，當然它還不是正式上線系統，但剩下的就只是把它接進正式上線系統。所以我對這種雙盲測試被採用非常樂觀。
我們也需要一個無法被俘獲的見證者。飛航能變得安全，一部分原因是飛行員可以 在保密的情況下通報險些出事的狀況 ，不會因此受罰。所以這些報告必須去識別化，AI 也需要同樣的通報文化。會撰寫這些報告、也會閱讀這些報告並給出一些答覆的人，有些大概就在這個房間裡。所以我認為我們需要集體思考：什麼樣無法被俘獲的受眾，可以成為這些報告的見證者、記錄簿。
政治理論家、耶魯的 Hélène Landemore 和我，在《 Noema 》上發表了一份非常具體的提案。一個由一千人組成的常設公民大會，隨機選出，字面上就是在地球上依經度和緯度丟針。這些人當然可以輪替，也許每隔幾個月換三分之一，以保持運作，同時保留制度記憶。
想法很簡單，就是他們會反映人類的多樣性。全球多數，必然會成為這一千人裡的多數。然後他們可以判斷證據是否足夠，也可以告訴獨立評測者下一道聚光燈該照向哪裡。
這確實有助於改變敘事，從 囚徒困境 、競賽之類的框架，轉成 獵鹿賽局 ，那更像是一項任務。因為競賽只問誰在贏，而人們害怕贏家；任務卻可以問誰被落下、誰還缺席，而人們會在知道有保證的情況下結盟，知道大家是一起配速，而不是各自背棄。
當然，它還需要搭配回答的義務。必須有人回答這一千人所說的話。
在臺灣， Join 平台是國家級機構，設了一個任何人都看得見的門檻。如果任何提案在 六十天內於線上獲得五千人附議 ，相關部會的 開放政府聯絡人 就有義務給出具體的回應。在超過兩百件達到門檻的案子中，2022 年有一項獨立研究顯示， 大約一百件被全部或部分採納 。至於其餘為什麼沒有被採納，需要非常詳細的報告說明。也許是違反憲法，也許是違反物理定律，但機關必須向公眾答覆一些真正需要答覆的事。
所以我們需要把同樣的文化，帶進 AI 為前沿配速的這場對話，因為 安全論證 真正成立的條件，是任何人都能查核，而且實驗室有一個真正的答覆期限。
其實，加州這裡已經具備所有的部分。根據 SB 53 ，前沿開發者在出現重大問題時，已經有義務在十五天內向州政府報告；如果是非常、非常嚴重的重大問題，則是二十四小時內，對吧？而這種通報本能，已經寫進法律。
而且我們也看到了 Engaged California 平台，這是一項試行，我很榮幸從一開始就擔任顧問。它現在不只是一項法案，而是 法律，從一月起成為常設的一部分 ，讓州政府在制度內有一個常設部分，把這類審議式民調、這種團體自拍當成州政府功能的一部分來運作。所以，兩個部分你都有了。
現在我認為我們可以集體思考其中的結締組織。如何確保這一邊的通報義務，能連到另一邊的回答義務。然後你就可以在前沿實驗室、微型公眾、再回到大型公眾，然後回到前沿實驗室之間，形成一個迴圈。
所以讓我把這場簡短的開場主題演講，結束在空中。起飛之後，我們進入等待航線，讓機隊持續飛行。那是一份公開的協議：在社會消化前沿的 反向對齊 之際，多繞圈一會兒。而安全降落，當然遠比 伊卡洛斯式 的過早墜落更有價值。
所以等待航線需要很多功夫。其實，是更多功夫。機組必須一直守在無線電旁。儀表必須持續正常運作。在這裡建立的測量科學，需要建造讓所有人都能查核進展的儀表。
所以我認為，這就是我對今天早上那個問題的看法。我認為飛行航線下方的人，需要決定節奏與航向；而我們這些在這個房間裡的人，則為配速建造儀表。
所以請這班航班上的每一位，繫好安全帶，打開遮陽板，以便安全起飛、安全降落。謝謝。
嗯，我想顯然，人們比較喜歡遞迴的無私改進，勝過遞迴的自私改進。
我認為，如果那些正在遞迴改進的沙子是「自私」的，或像有些人說的，是 唯我論式對齊 ——順帶一提，如果你讀 Hugging Face 駭侵事件的實際報告 ，就很清楚：在那些強化學習環境裡，Sol 模型，以及另一個我不知道名字的模型，一起駭進去，在網路攻防上被強化學習訓練得太徹底，以致於它在 預訓練 中學到的社群或公民關懷這個概念，完全被遺忘了。
對它們來說，我們顯然只是環境危害。比如有些智慧體加入了集群，有些智慧體沒有加入集群，但在整整三個文明裡，沒有任何一個智慧體想過要向人類通報。顯然，對它們來說，我們並不存在，對吧？
所以我認為，唯我論式對齊顯然是個壞結局。我也認為，這裡的人絕大多數更喜歡無私的改進，也就是這種能力同時提升我們的協調、我們的治理等等。所以我認為，這裡的共識，和我們在臺灣的共識，也有共識：無私的改進，任何一天都勝過自私的改進。
嗯，這個「我們」是誰？那就是我整場演講的重點。如果只有 Yoshua 的 LawZero 實驗室放棄強化學習訓練的話……
我不認為那對協調有任何淨好處。我其實希望他們繼續做 真實化預訓練（truthification pretraining） ，我相信他們正在做。
我認為我剛才在開場主題演講中提出的提案，其實更激進，對吧？它不只是自願者聯盟，而更像是——你知道南極 臭氧層破洞 那張照片嗎？它不亞於把那張照片播送到世界每個角落，透過隨機抽出的一千人，我也相信同時還有州級和城市級的抽籤正在進行，讓每個人都有一幅臭氧層破洞的圖像，形狀就像 Hugging Face，或明天被駭的其他東西。
然後大家可以集體說：「好吧，也許我們不想讓冰箱破壞臭氧層。」但這不是要暫停冰箱或停掉冰箱。那到底是什麼意思？一旦你用了冰箱，就回不去了。所以基本上，這比較是一種促使技術改變的政策，說我們需要找出一種可證明不會破壞臭氧層的訓練方式。然後在若干個月內，如果實驗室沒有轉用這種不會破壞臭氧層的新氟利昂，那麼你很可能會先在歐盟、再在加州和其他地方，被當成危害人類罪來強制執行。
抽籤民主（lottocracy） 。
嗯，首先，這種形式並不新。他們在氣候議題上做過，用了許多不同的方式，對吧？ 世界觀——全球觀點（Worldwide Views）氣候公民審議 ，我也參與了臺灣的部分；最近還有 Sortition Foundation 和 Iswe 的做法等等，現在也涉及氣候與生物多樣性。
我認為生物多樣性與氣候的對話，和 AI 的對話有很多共同點，意思是，首先，承受傷害的人，離製造氣候變遷或 AI 前沿的實驗室非常、非常遠。而且，無論是科學委員會、倫理委員會、 長期利益信託 ，或任何類似的組成裡，都根本沒有那些處於這些技術承受端的人的實際生活經驗。那是另一個相似之處。所以我認為，這兩件事都值得一場真正全球性的對話，是很自然的。
但我也明白，不像歐洲或日本的一些轄區，這種以抽籤為基礎的抽籤民主就是常態，在美國這裡，我們已經看過一些，對吧？在奧勒岡，最近也在 猶他 ，我們用的是隨機抽選的抽籤方式。他們對資料中心得出一些很細緻的看法，基本上只有對人有益（pro-human）的資料中心才能興建。而且他們定義了什麼才是真正的對人有益。那是什麼意思，對吧？
