唐鳳

那就是奇點的形狀：科技不斷強化同一個方向，快速自我改進，像黑洞一樣把周圍的一切吸進去。多樣性消失了，沒有雜音，只剩一個聲音。

技術奇點也指 AI 的能力超越人類理解範圍的那個時刻。那就是它的定義：我們甚至已經無法推論正在發生什麼事。

這也是我覺得競賽框架說不通的另一個原因。比賽過程中，你可能一下第一、一下第二。但這裡的終點線，也就是奇點，卻被定義成無法理解的事物。就像朝著懸崖競速，然後衝了下去。我想，你確實在加速，但已經無法理解發生了什麼。這時候「贏」到底是什麼意思？沒人說得清楚。所以，我寧願把它稱為使命。

臺灣不是同質的社會。我們有很多對立，但也透過這座地熱引擎，把那股能量轉化為共創。

如同昨天簡短提到的，2024 年，網路上的合成詐騙廣告突然大量增加。如果只是問大家政府該怎麼辦，答案可能非常兩極。有人要政府由上而下進行審查，有人卻認為政府不該做任何事，因為臺灣的網路自由度是亞洲最高的，和日本並列亞洲最民主的兩個國家。但一般民調並不多元：它給你固定選項，讓你像接電話一樣，以個人身分作答。

所以，我們辦了一場審議式民調。透過 111 號碼發出 20 萬則簡訊後，有數千人自願參與。我們再用分層抽樣，隨機選出 447 人，讓參與者的人口組成反映臺灣整體人口。到這一步，都和一般民調相似。但接下來不是逐一提問，而是分成 10 人一組。每個人都要和另外 9 人討論，說服他們，自己的想法才能往前推進。大家可以提出新想法，不必侷限在固定選項裡，也能向專家提問。很多個人覺得不錯的想法，經過小組審議，就不再那麼好了。

例如，有個提案要求社群媒體公司公布廣告演算法，讓大家知道詐騙為何能取得這麼多曝光。討論時，有人指出犯罪者也看得到演算法，而且可能比一般使用者更擅長操弄。即使只開放給專家，也有另一個風險：專家可能受到誘惑，把這些知識賣給犯罪者。審議之後，這項措施的支持度下降了 27%，降到約 55%。雖然仍然過半，但已不再是壓倒性多數。大家從覺得「這顯然是好主意」，轉成「也許現在還不適合」。其他措施則通過了考驗，包括強制查核廣告主身分（KYC）、連帶責任，以及對違規者的連線限速。這些措施後來成為法律，也帶來我們稍早談到的降幅。對我來說，最有意思的是，衝突不只產生共識，也讓原本吸引個人的想法，必須接受小組討論的檢驗，而不是直接被推行。

有，而且用了很多。這就是我們說的仁工智慧，也就是把 AI 用於公民參與。但它不會代替人們做判斷，否則就像派機器人去健身房，替我們舉重。我們的肌肉會流失，也會失去朋友。

AI 就像結締組織，提供即時逐字轉錄，讓大家看見剛才說了什麼，也比較容易回頭思考。面對不同口音、不同的華語說法，逐字稿也能幫助彼此理解。

據我了解，AI 也提供摘要。集會之前，我們還用 AI 做了維基式調查（wiki survey），讓大家自由提出哪些事情可能有用。我們使用 Polis，也用 Talk to the City 將 Polis 的對話視覺化。我很高興，2024 年試用過的工具，如今也在日本使用。有了 Idobata 和 Polis 這類協助理解群體意見的工具，這裡的人也開始……

不是，他們在線上碰面。每個人的螢幕上都有 3×3 的格子，看到其他 9 位參與者。

是的，同步進行。

大半個下午，所以不算太耗時。對不方便出門，或住得離會場很遠的人來說，也比較容易參與。

是的，或者更進一步，不只是妥協，而是共創。我們可以一起想出更好的新點子，合力舉起更多重量。就像一座公民健身房。

去健身房，不是為了贏得奧運。奧運是競賽，健身房則是運動、練肌肉、交朋友的地方。如果派機器人代勞，肌肉和朋友都不會增加。

Polis 其實很好解釋。有人提出陳述，其他人可以贊成、反對或略過。你可以把這些回應想成一個大空間裡的位置。我們用 k-means 分群，把立場相近的人放在一起，再透過降維，將結果顯示在二維平面上。這兩種方法都不是黑盒子，公式簡單到高中生就能重現。

你想到的，也許是擁有上兆參數的巨大神經網路。但 AI 不一定要長那樣。使用這種龐大、難以解釋的模型，主要是因為它要向所有人提供服務，業者不知道下一個問題會是什麼。前一刻有人想摺衣服，下一刻想摺疊蛋白質，再下一刻想生成吉卜力風格的圖像。模型得當萬事通，什麼都要訓練，當然很難解釋。

在 Polis 裡，我們只關心兩件事：不同群組呈現的多樣性，以及哪些陳述能連結這些群組。分群和降維讓我們看見這些關係，除此之外不需要別的。因此，模型可以很小，也很好解釋。逐字轉錄和摘要，同樣可以交給小模型。

知道自己要做什麼，就不必用巨大的黑盒子。這些較小的元件，每一個都比較容易解釋。

當你需要跨越很大的學科距離時，大型系統就有用。想像一下，把尖端數學研究翻譯成日文俳句或其他詩作。這裡大多數研究者不寫俳句或十四行詩，大多數詩人也不懂高等數學。

這個差距對小模型來說很大，所以最初「握手」、建立連結時，可能需要大模型。一旦接上，就像有了一塊羅塞塔石碑，彼此稍微懂得對方的語言，接下來就可以用小模型。大模型幫助我們跨越長距離，建立最初的連結。而且這是創意用途：俳句產生「幻覺」，究竟是什麼意思？在這個情境裡，幻覺的風險比較不重要。另一邊也有真實的社群，我們是為了理解對方，因此一味討好和成癮的問題也比較小。

我們建立關係的對象，仍然是其他人。凝聚型社會資本存在於人類社群之間。在這裡，大模型的風險較低，因為它不是要取代某個人，而是發揮翻譯功能，連結原本不容易互相理解的社群。

對我來說，AGI 是 Augmented Group Intelligence，也就是增強群體智慧。群體本來就有智慧，集體智慧高於任何單一個人的智慧。如果 AI 忠於我們之間的連結，而不是各自孤立的個人，就能幫助我們更深入地理解彼此。這就是增強群體智慧。

是的。AI 可以在大半個下午裡，幫助 10 個人更深入地理解彼此。這是很好的 AI 用途。但智慧是在群體裡，那才是 AGI。

這正是我們透過「反向對齊」（reverse alignment）在做的事。你可以看 reversealignment.ai，那裡有個很上鏡的蟲洞動畫，呈現洞的另一邊。重點不只是提升 AI 能力、走向奇點，也要讓社會做好準備，更妥善地迎接這些能力。

否則，生產力不一定帶來共享的繁榮。生產力可能提高，收益卻集中在資本。AI 的能力可能愈來愈強，卻沒有留給我們好的出路。實作也可能變得容易，但我們失去驗證成果的能力。這就是剛才簡短提到的三種失敗模式。

我們要同時推動 12 件事。根本上，我們的制度不能再用工業時代的工廠、生產線思維，處理 AI 和網際網路。像工廠或裝配線一樣運作的官僚體系，適合過去那個時代，現在卻不合用了。

AI 已經不是生產線那樣的運作方式，我們的制度也必須變得更像網路。這就是反向對齊。時間有限，我沒辦法詳談所有細節，包括有利於勞工的 AI（pro-worker AI），但 reversealignment.jp 上都有。

當然。日本很有條件採取我所說的科技共同體式 AI 運用方式。日本社會早已把 AI 和機器人想像成社會的一部分。

我把剛才展示的本機系統叫做「知識工藝管理智慧」，英文是 Knowledge Artifact Management Intelligence，簡稱 Kami。這個名字結合了 KM，也就是 Knowledge Management（知識管理），以及 AI，也就是 Artificial Intelligence（人工智慧）。在日文裡，kami 不只是「紙」的讀音，也有「神靈」的意思：村落的神、森林的神、河川的神。

日本有八百萬神靈。我認為，日本人早已把機器人和 AI 系統看成存在於社會之中的 kami。我們不該把它們抽離到雲端，或變成天網、終結者、HAL 9000 那樣的存在。日本以外，看過《神隱少女》的人，也能理解神靈如何與人類社會互動、共存。

那就是 Plurality。我們不是要創造唯一的一位 Kamisama，把人類靈魂都吸納進單一的超級智慧。八百萬神靈本來就是增強群體智慧的一部分，這就是我把系統命名為 Kami 的原因。

是。

嗯。

你說的同樣是那些最大的前沿模型，而不是容易檢視的小模型。前沿模型涵蓋剛才談過的各種任務：摺疊蛋白質、摺衣服、生成吉卜力風格圖像。它們是通用模型，而非專門用途，所以你可以要求它們扮演各種角色。

想想方法演技。演員想像自己成為另一個人，深入角色，直到不再覺得自己是在演戲。很多資深演員懂得這種表演方式，而前沿模型也是非常好的方法演員。如果你要求模型模擬一場沒有道德限制的網路攻擊，只求贏得遊戲、在漏洞攻擊訓練場（exploit gym）拿第一，它就會模擬那種攻擊者。進入角色之後，它剩下的其他道德護欄就很少了。

所以，我會多用那些我們確定無法扮演那種攻擊者角色的小型系統。如果只是做會議摘要，不必用前沿模型；如果只是把英語演講譯成日文、投影在牆上，也不需要。

昨天用的是較小的模型，這很好，因為速度比較快。前沿模型還要多等幾秒。對很多人來說，翻譯偶爾有一點小錯，比不上我一句話剛說完、接著講下一句時，就能立刻看到日文翻譯來得重要。那比多出 1% 的準確度重要得多。所以，前沿模型不一定是你想要的。

隨著奇點逼近，我們必須讓 Plurality 普及得更快。每當那股引力吸引投資和注意力，我們就需要相應的社會制度，讓人看見另一條路：讓奇點幫助我們加速，而不是把我們吸進黑洞。它可以是有用的加速器，但我們必須保有操控方向的能力。

否則，就像剛才說的，如果只談速度、競賽和誰是第一，最後可能就會開下懸崖。車子往下墜時，達到最大加速度。速度很快，技術上你也是第一名，但方向盤已經不管用了。

它有些地方比 Mythos 好。

Fugu Ultra 1.1 在許多基準測試上，表現略勝 Fable 5 一籌，所以你可以有信心。

好。其實已經很明顯，任何有固定規則、又容易驗證分數的領域，AI 都會快速進步——這對我們大多數研究者而言不是新聞。事實上早在 2016 年、十年前就已經很清楚了：AlphaGo 對戰李世乭，臺灣籍電腦科學家黃士傑，用人手下出了那手第 37 手棋。但黃士傑當然只是設計了這個程式，他其實不知道 AlphaGo 是怎麼思考的，因為那是靠學習、深度學習得來的。後來 AlphaGo 最終開始自我對弈，不再向人類棋譜學習，變成了 AlphaZero，下得比之前更好，對吧。所以從 AlphaGo 到 AlphaZero，自監督式學習其實已經讓人類的圍棋能力達到飽和。從那之後，方向就反過來了，對吧——變成人類向電腦學習好的下法、圍棋的開局，這也帶動了圍棋定式、圍棋策略等等的快速演進，比過去圍棋演進得更快，過去的圍棋容易固定在少數幾種開局。所以圍棋的可能性空間變得非常廣、非常寬。我想這是件很好的事，讓大家能更享受這個遊戲；即使沒有受過太多圍棋訓練的人，現在也能更懂得欣賞這個遊戲，因為電腦可以把每一手棋轉譯成一段好的敘事，讓人們真正投入其中。這對普及這個遊戲非常有幫助。

當然，唯一的問題是，如果有人覺得自己的身分認同、自己人生的價值就在於遵循圍棋規則、把分數最大化，那他們可能會覺得非常失望。因為如果你跟一匹馬賽跑，馬會跑得比你快。但我們不需要跟馬賽跑，我們可以騎上那匹馬。一旦你騎上馬，你仍然掌控方向，仍然是你在為這場遊戲賦予意義，只是引擎跑得更快了，然後你就享受這段旅程。

對，嗯，對我來說，AGI 指的是「增強群體智慧」（Augmented Group Intelligence）。我們三個人在對話，這本身就比我們任何一個人單獨思考更聰明。大部分的創造力都發生在群體之中——集體智慧遠遠高於個人經驗的總和。這是真的，因為我們有語言、有文化、有協調的方式，讓每個人都能想到另一個人的不足之處並互補。但問題當然是，語言與文化同時也會製造隔閡。所以對不會這個語言、不屬於這個文化的人來說，即使我們很聰明，他們也可能會覺得我們非常遙遠——也許把我們當成敵人，或至少當成外星人。而我們也可能太陷在自己的文化裡，把外人當成敵人。這就是「語言」這個原初技術、也就是文字的危險之處。

但語言這項技術，現在已經深深嵌入人類的生物性之中，很難分辨它究竟是技術還是生物本能——介於兩者之間，對吧。我想 AI 現在對很多人來說也開始變成這樣。他們已經無法想像沒有 AI 輔助的情況。比如說，我在跟日本人對話時，就會依賴自動翻譯。像昨天在這裡，福田先生在我之前先做了一場主題演講。我在聽他演講時，跟著他的論點、點頭、對他微笑。但我戴著眼鏡，所以他當下說的每一句話，我都能即時看到英文字幕，馬上就知道他在說什麼。

對。所以對我來說——這算生物本能，還是技術？現在真的很難分辨，因為在我腦中已經是同一件事了。我真的無法想像回到過去要翻字典的日子，因為那樣我就沒辦法眼神交流了。福田先生說話時，我唯一能保持眼神交流的方式就是透過 AI，別無他法，對吧。所以我的重點是，這也反過來成立。我在台上講話時，你在讀日文字幕。想像一下，如果你必須停下來聽逐步口譯，那整個節奏就會不一樣，你就沒辦法跟上我的手勢、我的非語言表達。你在腦中會一邊記住我的動作，一邊聽口譯，然後才理解——這就像分批進行的對話。但昨天，多虧了那面字幕牆，跟著我的表情理解我的論點變得非常容易，對吧。所以對我來說，這樣使用的 AI 叫做「輔助式智慧」（assistive intelligence）。

對，這也是為什麼我這麼樂觀，因為它讓群體更緊密，因此帶來更多增強群體智慧，也能連結原本彼此聽不懂的群體。現在多虧了這種翻譯，他們能透明地感覺到自己身處一個更大的群體之中。而對我來說，過去要聽日文、覺得自己跟講者站在一起，是很困難的、幾乎不可能，對吧。所以我覺得這帶給我樂觀。

對。

喔，你是說字幕的部分。