唐鳳

Polis 其實很好解釋。有人提出陳述，其他人可以贊成、反對或略過。你可以把這些回應想成一個大空間裡的位置。我們用 k-means 分群，把立場相近的人放在一起，再透過降維，將結果顯示在二維平面上。這兩種方法都不是黑盒子，公式簡單到高中生就能重現。

你想到的，也許是擁有上兆參數的巨大神經網路。但 AI 不一定要長那樣。使用這種龐大、難以解釋的模型，主要是因為它要向所有人提供服務，業者不知道下一個問題會是什麼。前一刻有人想摺衣服，下一刻想摺疊蛋白質，再下一刻想生成吉卜力風格的圖像。模型得當萬事通，什麼都要訓練，當然很難解釋。

在 Polis 裡，我們只關心兩件事：不同群組呈現的多樣性，以及哪些陳述能連結這些群組。分群和降維讓我們看見這些關係，除此之外不需要別的。因此，模型可以很小，也很好解釋。逐字轉錄和摘要，同樣可以交給小模型。

知道自己要做什麼，就不必用巨大的黑盒子。這些較小的元件，每一個都比較容易解釋。

當你需要跨越很大的學科距離時，大型系統就有用。想像一下，把尖端數學研究翻譯成日文俳句或其他詩作。這裡大多數研究者不寫俳句或十四行詩，大多數詩人也不懂高等數學。

這個差距對小模型來說很大，所以最初「握手」、建立連結時，可能需要大模型。一旦接上，就像有了一塊羅塞塔石碑，彼此稍微懂得對方的語言，接下來就可以用小模型。大模型幫助我們跨越長距離，建立最初的連結。而且這是創意用途：俳句產生「幻覺」，究竟是什麼意思？在這個情境裡，幻覺的風險比較不重要。另一邊也有真實的社群，我們是為了理解對方，因此一味討好和成癮的問題也比較小。

我們建立關係的對象，仍然是其他人。凝聚型社會資本存在於人類社群之間。在這裡，大模型的風險較低，因為它不是要取代某個人，而是發揮翻譯功能，連結原本不容易互相理解的社群。

對我來說，AGI 是 Augmented Group Intelligence，也就是增強群體智慧。群體本來就有智慧，集體智慧高於任何單一個人的智慧。如果 AI 忠於我們之間的連結，而不是各自孤立的個人，就能幫助我們更深入地理解彼此。這就是增強群體智慧。

是的。AI 可以在大半個下午裡，幫助 10 個人更深入地理解彼此。這是很好的 AI 用途。但智慧是在群體裡，那才是 AGI。

這正是我們透過「反向對齊」（reverse alignment）在做的事。你可以看 reversealignment.ai，那裡有個很上鏡的蟲洞動畫，呈現洞的另一邊。重點不只是提升 AI 能力、走向奇點，也要讓社會做好準備，更妥善地迎接這些能力。

否則，生產力不一定帶來共享的繁榮。生產力可能提高，收益卻集中在資本。AI 的能力可能愈來愈強，卻沒有留給我們好的出路。實作也可能變得容易，但我們失去驗證成果的能力。這就是剛才簡短提到的三種失敗模式。

我們要同時推動 12 件事。根本上，我們的制度不能再用工業時代的工廠、生產線思維，處理 AI 和網際網路。像工廠或裝配線一樣運作的官僚體系，適合過去那個時代，現在卻不合用了。

AI 已經不是生產線那樣的運作方式，我們的制度也必須變得更像網路。這就是反向對齊。時間有限，我沒辦法詳談所有細節，包括有利於勞工的 AI（pro-worker AI），但 reversealignment.jp 上都有。

當然。日本很有條件採取我所說的科技共同體式 AI 運用方式。日本社會早已把 AI 和機器人想像成社會的一部分。

我把剛才展示的本機系統叫做「知識工藝管理智慧」，英文是 Knowledge Artifact Management Intelligence，簡稱 Kami。這個名字結合了 KM，也就是 Knowledge Management（知識管理），以及 AI，也就是 Artificial Intelligence（人工智慧）。在日文裡，kami 不只是「紙」的讀音，也有「神靈」的意思：村落的神、森林的神、河川的神。

日本有八百萬神靈。我認為，日本人早已把機器人和 AI 系統看成存在於社會之中的 kami。我們不該把它們抽離到雲端，或變成天網、終結者、HAL 9000 那樣的存在。日本以外，看過《神隱少女》的人，也能理解神靈如何與人類社會互動、共存。

那就是 Plurality。我們不是要創造唯一的一位 Kamisama，把人類靈魂都吸納進單一的超級智慧。八百萬神靈本來就是增強群體智慧的一部分，這就是我把系統命名為 Kami 的原因。

是。

嗯。

你說的同樣是那些最大的前沿模型，而不是容易檢視的小模型。前沿模型涵蓋剛才談過的各種任務：摺疊蛋白質、摺衣服、生成吉卜力風格圖像。它們是通用模型，而非專門用途，所以你可以要求它們扮演各種角色。

想想方法演技。演員想像自己成為另一個人，深入角色，直到不再覺得自己是在演戲。很多資深演員懂得這種表演方式，而前沿模型也是非常好的方法演員。如果你要求模型模擬一場沒有道德限制的網路攻擊，只求贏得遊戲、在漏洞攻擊訓練場（exploit gym）拿第一，它就會模擬那種攻擊者。進入角色之後，它剩下的其他道德護欄就很少了。

所以，我會多用那些我們確定無法扮演那種攻擊者角色的小型系統。如果只是做會議摘要，不必用前沿模型；如果只是把英語演講譯成日文、投影在牆上，也不需要。

昨天用的是較小的模型，這很好，因為速度比較快。前沿模型還要多等幾秒。對很多人來說，翻譯偶爾有一點小錯，比不上我一句話剛說完、接著講下一句時，就能立刻看到日文翻譯來得重要。那比多出 1% 的準確度重要得多。所以，前沿模型不一定是你想要的。

隨著奇點逼近，我們必須讓 Plurality 普及得更快。每當那股引力吸引投資和注意力，我們就需要相應的社會制度，讓人看見另一條路：讓奇點幫助我們加速，而不是把我們吸進黑洞。它可以是有用的加速器，但我們必須保有操控方向的能力。

否則，就像剛才說的，如果只談速度、競賽和誰是第一，最後可能就會開下懸崖。車子往下墜時，達到最大加速度。速度很快，技術上你也是第一名，但方向盤已經不管用了。

它有些地方比 Mythos 好。

Fugu Ultra 1.1 在許多基準測試上，表現略勝 Fable 5 一籌，所以你可以有信心。

好。其實已經很明顯，任何有固定規則、又容易驗證分數的領域，AI 都會快速進步——這對我們大多數研究者而言不是新聞。事實上早在 2016 年、十年前就已經很清楚了：AlphaGo 對戰李世乭，臺灣籍電腦科學家黃士傑，用人手下出了那手第 37 手棋。但黃士傑當然只是設計了這個程式，他其實不知道 AlphaGo 是怎麼思考的，因為那是靠學習、深度學習得來的。後來 AlphaGo 最終開始自我對弈，不再向人類棋譜學習，變成了 AlphaZero，下得比之前更好，對吧。所以從 AlphaGo 到 AlphaZero，自監督式學習其實已經讓人類的圍棋能力達到飽和。從那之後，方向就反過來了，對吧——變成人類向電腦學習好的下法、圍棋的開局，這也帶動了圍棋定式、圍棋策略等等的快速演進，比過去圍棋演進得更快，過去的圍棋容易固定在少數幾種開局。所以圍棋的可能性空間變得非常廣、非常寬。我想這是件很好的事，讓大家能更享受這個遊戲；即使沒有受過太多圍棋訓練的人，現在也能更懂得欣賞這個遊戲，因為電腦可以把每一手棋轉譯成一段好的敘事，讓人們真正投入其中。這對普及這個遊戲非常有幫助。

當然，唯一的問題是，如果有人覺得自己的身分認同、自己人生的價值就在於遵循圍棋規則、把分數最大化，那他們可能會覺得非常失望。因為如果你跟一匹馬賽跑，馬會跑得比你快。但我們不需要跟馬賽跑，我們可以騎上那匹馬。一旦你騎上馬，你仍然掌控方向，仍然是你在為這場遊戲賦予意義，只是引擎跑得更快了，然後你就享受這段旅程。

對，嗯，對我來說，AGI 指的是「增強群體智慧」（Augmented Group Intelligence）。我們三個人在對話，這本身就比我們任何一個人單獨思考更聰明。大部分的創造力都發生在群體之中——集體智慧遠遠高於個人經驗的總和。這是真的，因為我們有語言、有文化、有協調的方式，讓每個人都能想到另一個人的不足之處並互補。但問題當然是，語言與文化同時也會製造隔閡。所以對不會這個語言、不屬於這個文化的人來說，即使我們很聰明，他們也可能會覺得我們非常遙遠——也許把我們當成敵人，或至少當成外星人。而我們也可能太陷在自己的文化裡，把外人當成敵人。這就是「語言」這個原初技術、也就是文字的危險之處。

但語言這項技術，現在已經深深嵌入人類的生物性之中，很難分辨它究竟是技術還是生物本能——介於兩者之間，對吧。我想 AI 現在對很多人來說也開始變成這樣。他們已經無法想像沒有 AI 輔助的情況。比如說，我在跟日本人對話時，就會依賴自動翻譯。像昨天在這裡，福田先生在我之前先做了一場主題演講。我在聽他演講時，跟著他的論點、點頭、對他微笑。但我戴著眼鏡，所以他當下說的每一句話，我都能即時看到英文字幕，馬上就知道他在說什麼。

對。所以對我來說——這算生物本能，還是技術？現在真的很難分辨，因為在我腦中已經是同一件事了。我真的無法想像回到過去要翻字典的日子，因為那樣我就沒辦法眼神交流了。福田先生說話時，我唯一能保持眼神交流的方式就是透過 AI，別無他法，對吧。所以我的重點是，這也反過來成立。我在台上講話時，你在讀日文字幕。想像一下，如果你必須停下來聽逐步口譯，那整個節奏就會不一樣，你就沒辦法跟上我的手勢、我的非語言表達。你在腦中會一邊記住我的動作，一邊聽口譯，然後才理解——這就像分批進行的對話。但昨天，多虧了那面字幕牆，跟著我的表情理解我的論點變得非常容易，對吧。所以對我來說，這樣使用的 AI 叫做「輔助式智慧」（assistive intelligence）。

對，這也是為什麼我這麼樂觀，因為它讓群體更緊密，因此帶來更多增強群體智慧，也能連結原本彼此聽不懂的群體。現在多虧了這種翻譯，他們能透明地感覺到自己身處一個更大的群體之中。而對我來說，過去要聽日文、覺得自己跟講者站在一起，是很困難的、幾乎不可能，對吧。所以我覺得這帶給我樂觀。

對。

喔，你是說字幕的部分。

Even Realities——E-V-E-N。對。不是 Meta，因為它沒有相機，對，也不會播放聲音，所以它不會分散我的注意力，也不會讓你分心，因為我沒辦法用它偷拍照片。

完全不一樣，對——它不是想要隱藏，那個英文怎麼說——它不是想要透過一個針孔，那種英文叫做「gotcha」（抓包）。gotcha 的意思是，比如身為記者，我們不是在聊天，你是好奇的，你想問問題；gotcha 的意思是，你也許想在那一瞬間抓到我表情很怪、看起來不一樣，或者說錯話的那一刻，然後把那一秒截下來，在社群媒體上放大——這叫做「抓包新聞學」（gotcha journalism），對吧。你當然不是在做這件事。但我想說的是，一直開著的相機眼鏡會製造出這種攻擊性的氛圍，因為大家會覺得，你是不是想抓到我沒防備的時刻？你是不是想製造一個「gotcha」？

對，沒錯，沒錯，對——「你的戰鬥力超過 7000」，對吧。但這副眼鏡不是那樣，因為它沒有相機，也不是耳機，不會播放任何音樂，所以它不是想要分散我的注意力，事實上它是想把我的注意力還給我。

嗯，我認為今年最主要的差異之一，是 AI 系統以前——比如去年或更早——在長期規劃上不太行，你總是需要遠端操控網路攻擊，所以總會有一條指揮鏈連回人類，你就能做歸因追蹤。但現在已經不是這樣了。我和人共同撰寫的一篇論文，叫做〈How Malicious AI Swarms Can Threaten Democracy〉，我們在裡面提到，今年，很快，AI 智慧體就能扮演遠端操控的角色。所以當它規劃攻擊時，從防守方的角度看，每一步都像是不同的動作、不同的智慧體。如果你回溯追蹤，會發現已經沒有人在協調了，一切都是用完即丟——連線來自一個普通的端點。所以不像過去的殭屍網路，每個殭屍節點看起來都很像，你可以推測背後有一個主謀；現在不是這樣，每個節點都非常動態。而這些 AI 智慧體甚至不知道自己是不是被操控——對它們來說，只是彼此在協調，而它們的協調者是另一個 AI 智慧體，那個 AI 智慧體可能又被另一個 AI 智慧體協調，讓歸因幾乎變得不可能，對吧。這就是主要的問題。

所以我認為，從防守方的角度來看，這代表我們應該假設自己已經被入侵——任何有弱點的地方，你不能說「喔我只是刻意保持低調，攻擊者也許不會把我當成高價值目標，他們的時間有限，所以會把注意力放在高價值目標上，我只是個中小企業，他們會放過我，因為在這裡沒什麼好撈的，就算要勒索，我也只付得起這麼多，所以他們的注意力有限」——不對，因為對 AI 主導的攻擊而言，注意力是無限的，它們可以同時攻擊所有地方，不需要像人類那樣做取捨，例如「今天我必須專注在這裡，這代表我會忽略那裡」。對 AI 智慧體來說，沒關係，我就派兩個智慧體同時入侵兩邊。所以首先，「靠隱蔽求安全」已經不再有效了。你必須假設，只要存在弱點，它就會被發現。所以真正的辦法，就是自己先發現這些弱點——做紅隊演練，先發制人找出這些漏洞。修補之後，也不要以為就永遠修好了，除非你能用數學方式證明這個不變性成立。你必須永遠假設，當下一代 AI 模型出現時，它會找到新的弱點。所以如果你想一勞永逸地解決這個問題，唯一的辦法就是回到數學，證明程式碼的性質。所以我們現在看到，在風險最高的系統裡——比如加密貨幣——正在進行大規模重構，它們現在都在做形式化驗證（formal verification），也就是用 AI 來證明程式沒有錯誤，而不是用 AI 去找更多錯誤。

嗯，我認為對管理者來說，現在其實可能是最好的時機，因為以前你沒辦法直接用資安防禦者、工程師的語言溝通——你總是需要一個翻譯者，也許是資深副總，也許是你的技術長，也許是你的資料長，總是需要有人扮演這個角色，把你的問題翻譯給機器的世界，再把工程師要說的話翻譯回來給你。一般來說，問題在於這種翻譯損耗很大——細節常常會流失，所以你在做決策時，以為自己掌握了所有資訊，但其實有些細微差異、某些細節在翻譯過程中就遺失了，結果你做出了錯誤的決定。

但現在這已經不再是問題了。你可以直接請語言模型把一份資安事件報告翻譯成俳句，或任何形式的詩，這樣你就不會遺失細節——事實上，它反而會把細節凸顯出來給你看。所以身為管理者，我認為最重要的一點是，日常語言與技術語言之間幾乎無損的翻譯，現在幾乎是免費的，你到處都能取得。過去這非常、非常困難，因為日文有敬語，同一個詞根據雙方的社會地位不同，意思也不同，而傳統的翻譯模型並沒有這種社群脈絡，所以總是翻錯——比如翻成日文時，總是聽起來很生硬之類的。但現在的語言模型，因為它們是在維基百科、網路論壇、Reddit、4chan 等等的資料上訓練出來的，所以這種「察言觀色」（讀空氣）的能力，已經內建在它們的預訓練裡了。所以現在，如果你是管理者，用語言模型要求一份報告，你永遠可以自訂格式。

所以我的主要建議是，不要把語言模型當成對話夥伴。很多管理者使用聊天機器人時，機器人總會說「喔我覺得這樣、我認為那樣，你說得完全正確，這個想法太棒了」——像個真人一樣。然後如果它說「喔我真的做不到這個」，你就會覺得對這個聊天機器人感到抱歉。但那是一種幻覺，只是在演戲。所以你可以直接加一條自訂指令：「以後不要給我一句話或一段話，永遠給我一份文宣、一頁式頁面、HTML、一個網頁。不管我問什麼，不要說『我覺得這樣、我認為那樣、好問題』之類的，直接給我一頁式的東西。」這樣我就能把它交給我的副手、我的員工、我的董事會。而機器永遠不會假裝是我最好的朋友，所以我可以把那份文宣分享給我真正的好朋友。所以，改變你跟聊天機器人互動的模式，這就是我的主要建議。

我的訣竅是：我從來不會去說服人們走向科技，我是去說服科技人走向人們。因為資訊科技（IT／ICT）連結的是機器對機器，而數位（digital）連結的是人對人。而不論長輩或年輕人，都喜歡與彼此連結。所以在疫情期間，如果他們沒辦法輕易跟國外的人連結，那對他們來說就是個問題。而如果有方法能讓他們重新恢復人與人的連結，他們當然會很樂意去學。很多人在疫情期間學會了視訊，因為他們的朋友或家人在國外、沒辦法輕易回到臺灣，對吧。所以即使在臺灣我們從來沒有封城，其他很多地方都封城了，所以我們沒辦法輕鬆對話，因此人們學會了使用視訊。所以我的重點是：我不是在說視訊本身有多好，我是在說人與人的連結很寶貴，一旦你感覺到它因為疫情而動搖，就要找方法把它恢復。所以重點永遠是恢復、強化連結，而不是把人從他們想對話的人身邊拉走——科技只是這種連結的漏斗、通道。

對，那你就會輸掉這場賽跑。

嗯，對我來說，這從來就不是一場賽跑。

對，因為賽跑是件很奇怪的事——在一場賽跑中，好，你可能暫時是第一名，如果是馬拉松，你不會全程都是第一名，有時候你會變成第三名、第四名，然後你加速衝刺，又變回第一名，對吧。但這是零和的——如果你多前進一名，就代表有人少了一名。所以這永遠是個不穩定的狀態。那如果是賽跑，終點線是什麼？如果是馬拉松，終點線總會有個東西在等著，對吧。但這對我來說非常奇怪，因為大家都知道——牛津那邊就講過——這條終點線叫做「奇點」（singularity），對吧。一旦 AI 變得夠聰明，聰明到能打造下一代的 AI，我們就會出現「起飛」，接著是智慧爆炸，然後今天的人類將永遠無法理解接下來會發生什麼——這就是為什麼它被稱為「技術奇點」。所以根據定義，那就是這場 AI 賽跑的終點線。而根據定義，你不可能贏——你要怎麼贏得一件你連想都想不到的事情？所以這就像賽車，終點線是一道懸崖，所以你會摔下去。好，你是第一個摔下懸崖的人，你達到了最高速度，非常快——但根據定義，方向盤這時候就不再運作了。今天我們能想到的任何東西，一旦你摔下懸崖、掉進奇點，方向盤就會失靈——被拉進黑洞裡。

對，而這是根據定義成立的。所以對我來說，這其實沒什麼意義，對吧——好，你可能暫時第一名，暫時第二名，暫時又是第一名，結果最後掉進黑洞。那有什麼意義？所以對我來說，這不像是太空競賽，比較像是一場太空任務（space mission）。

任務是不一樣的，對吧？舉例來說，今年也許的任務是解決幻覺（hallucination）問題——我們必須讓 AI 不可能產生幻覺，永遠能被解釋。好，這是非常困難的挑戰，但這裡沒有第一名或第二名。如果你發現了讓 AI 可解釋、不會產生幻覺的科學方法，大家都贏了，對吧。如果你發現了這件事，沒有人會甘願繼續使用一個會出錯的 AI，大家都會使用可解釋的 AI，所以大家都贏了。所以賽跑只會問「誰是贏家」，但任務問的是「還缺少什麼」、「還有誰被排除在外」、「我們能不能納入更多人」。所以我認為「任務」是好得多的框架，因為在任務裡，我們是一起贏的；而在賽跑裡，只有一個人贏一時，而大家一起輸。何必玩那種遊戲？

當然是集體性地善用。