唐鳳

對，就是說，這個在治理上面叫做所謂 human in the loop 嘛，就是最後還是要有人蓋個章嘛。但現在問題是說，AI 的說服力太強了，所以經過一段時間，它就可以向上管理，知道該蓋章的那個人喜歡看什麼。然後就算它的判斷是錯的，它也可以用向上管理的方式去說服那個蓋章的人，去忽略很多可能造成的問題。但是因為它寫出來的真的是洋洋灑灑，所以你就自動蓋章。

然後你如果被它向上管理到一個程度，甚至會出現剛剛講到的，叫做 spiraling down，就是好像陷入這個兩人世界、一人一智慧體世界的狀況。可能決策者就不再聽他別的共同決策者，或他的 junior 給他的回應了。為什麼呢？因為他跟 AI 之間的對話過於私密，以至於他不會分享他跟 AI 中間那整個討論，去給他的團隊知道；它不是一個團隊分享的工藝品。但是，如果團隊的判斷跟 AI 的判斷產生落差的時候，又因為這個 AI 太會向上管理，所以他又開始偏向 AI 這個部分。

那到這個程度上，它就不能叫做 human in the loop 了嘛。它就好像一個——怎麼樣——倉鼠在倉鼠滾輪裡面的狀況。它感覺一直跑，而且感覺很有產出喔，但事實上，它已經完全失去掌控那個方向的能力了。就是倉鼠在倉鼠輪裡面是沒有辦法 steer，就是沒有辦法去導航的喔。

那所以在這個情況之下，我們要怎麼避免這件事情？就是要人工地給出摩擦力。像我自己用這種對話式 AI 工具的時候，已經很長一段時間，我都不准它用「我」這個字，就是不能用第一人稱；而是我的每一動，它都給我 one pager，就是一個一頁的互動式 HTML，然後儘可能把它想到的各種不同角色、不同利害關係人，哪些衝突的部分、哪些共同的部分，在這個 one pager 裡面給我。所以我每次討論的時候，它絕對不會說：「啊，這個你講得真是太棒了。」或者是說：「這真是一個承重的想法。」什麼之類的。load-bearing 喔，就是有承重量的想法等等。

而是它就會一直給我一些 one pager、一些 brochure。那我拿到了之後，每一個都一定可以跟我的團隊分享。而且因為我告訴它說，如果它要加入自己的判斷的話——這是我跟 李開復 學的喔——它一定要用這個網路上面最酸的酸民的那種口吻，來指出我的錯誤，因為我喜歡擁抱酸民嘛，這個大家知道的。所以在這個情況下，我等於是自己做了一個無限大摩擦力的方法，所以我不太可能陷入跟 AI 的兩人世界裡面。

是。那我想還有另外一個問題，就是我們之前大家有提到，如果我現在工作的地方，並沒有去實做我們剛剛講到的，就是增加摩擦力，在摩擦裡面留下大家可以彼此學習的這一套，那難道是說，我們自己就要去承受這個部分的外部性嗎？就是說，如果我的老闆都不用這一套反向對齊的方式，然後他就真的已經被 AI 帶著走了，那這樣子的話，我們有什麼方式還能夠活下去嗎？

那我是覺得，像這種題目，就是為什麼要講反向對齊。因為如果不講反向對齊的話，等於是大家沒有辦法一起去解決這個問題，好像每一個人都自己多做一些、自己多做一些，去填補本來制度沒有做的那個部分。所以這個時候，我覺得最主要的還是你要有 alternative，就是你要能夠在完全不花錢去租一個更強的 AI、壓過你老闆的 AI 的情況下，在零成本或至少接近零成本的情況下，也能夠至少運作我們剛剛講的那一套系統，去留下那樣子的決策，跟你自己這邊覺得比較好的決策，它的記錄中間差哪些部分。再如果你當老闆的話，你的判斷跟你實際每天收到的判斷有怎麼樣的不同。

所以這也是為什麼我們現在花蠻多時間去做這種，不管是純地端，或者是我晚上沒有在用這臺電腦的時候，把我的算力用非常便宜的價格租給別人去算等等這樣子的做法。就是希望每個人都可以用現在尖端模型的 1% 左右的成本。

當然它也有一些代價，比方說跑的速度可能沒有尖端模型那麼快，但是你一晚上反正也沒有在工作嘛，所以醒來的時候，過了 8 個小時，它就驗算了你在上一天承受到這個沒有對齊好的制度的損害。你一醒來之後，至少就有一個好像檢驗官、審計官什麼東西，去告訴你說：「欸，哪些東西的損害目前長這樣子，這些根據、這些依據，我可以保存下來。」

對，這個就好像是說，好比說我如果辦一張健身房會員卡，然後我去健身房，理論上我是想要練我的肌肉，然後偶爾可能交一些朋友，大概就是這兩個主要的目的。但如果有一天，這個健身房說：「我要收你非常高的會員費，但是對於舉重舉得最重的三個人，好比說會員費豁免，而且還給你大獎、很多獎金什麼之類的。」那這個時候大家就會開始有點罪惡感，因為會有一些人開始派他的機器人去舉重嘛，那就是作弊的意思。

那當然有點像是考試，如果只是說，考第一名的學生得到全部的獎賞，那這個考第一名的學生就有非常高的動機，他自己並不特別去學，但他訓練一個專門作弊的……可能眼鏡啊還是什麼東西，然後去那邊作弊。那這個時候，當然心裡就會有罪惡感，因為你等於是像剛剛 Tenzin 講的，就是斬斷了本來的人際關係；你既不會長肌肉，也不會交朋友，但是換到什麼？換到得第一名。

這時候，這個作弊的罪惡感就滿強了。所以我想，每一次發生這種形狀的時候，可能最主要的還是，你要去拒絕那一種競賽的形狀，然後去揭露說：「欸，這個競賽形狀好像逼我們作弊。」然後去說，但實際上你學習的目的是什麼？你做這件事情的目的是什麼？你要達成這個目的，還有哪一些方式根本不需要透過這種拚第一名、第二名，然後每個人都付非常高的 token 費等等的方式去完成？

這種東西通常就是來自你願意把累積的經驗跟同班同學分享，跟一起在健身房練的人分享等等。這個就是 Tenzin 那時候叫做「資料土壤」的東西。不是資料好像一直被榨取、變成石油，而是大家把「我今天試錯犯了哪些錯誤、我的 agent 到底撞了哪些牆」，它撞牆的過程裡自動寫成 skill，然後這些 skill，我就直接分享給跟我一起工作的人，但是並不是給大公司，或者甚至不是給我老闆。

這樣很快地，它就可以變成大家互相學習的一個關係。那你無形之中，就解決了每個人都要用更高的作弊能力，去壓過跟你一起競爭的人的作弊能力這個問題。它就把一個零和、甚至是雙輸的賽局，變成一個雙贏的賽局。

對，所以簡單來講，當我們在做後訓練的時候，不是去讓它在某一個考試裡面得到最高的成績，好比說怎麼 hack 進 Hugging Face 的這個 exploit gym ，拿到最高的成績；而是說，這邊有一群人，這群人中間現在有一些關係，這些關係怎麼樣越來越健康。

好比說，我最近幫 Elon Musk，他們有一家公司叫 SpaceXAI ， 本來是三家公司 。然後現在，他們決定說，他們的排序演算法，就是你一進去看到那個 For You 的演算法，以前是用讓每個人最黏螢幕的方式來訓練，現在要改成用 Grok 來訓練；而且 Grok 又是用 Community Notes ，就是社群備註來訓練。

它訓練的方法，就是本來在 X 上吵得不可開交的人，有沒有可能因為看到一則雙方都不爭執的、一個共識的議題，而讓大家吵架的程度降溫？所以，它就會一直微調這個模型，在每個特定的題目裡面，讓 Grok 把最能夠降溫、最能夠調節的排到最上面。

我們也有幫 Bluesky 做 MySky 這個演算法，也是做完全一樣的事情，而且你可以自己調整。因為 現在 X 把它的整個演算法，包含怎麼訓練模型，通通都公開了，連 pipeline 都公開了 ，所以我們在 MySky 這邊就可以拿過來用。這樣就可以讓雙方可能彼此井水不犯河水的兩個社群，透過互相訓練、彼此橋接的機器人，去把社會上一些極化的東西，像把臭氧層破洞癒合一樣，慢慢讓它癒合。

對，當然，這個理論上有兩種解決的方法。一種是說，你就把開放權重的模型通通都禁掉，然後說只能夠用這三家——

這個限制性的模型來生成，而且它們都加浮水印，每一家都可以驗彼此的浮水印，都可以百分之百驗測。這樣子當然理論上可以解決這個問題。但是 2023 年在 Bletchley Park ，就是英國舉辦首屆 AI Safety Summit 的時候， Mozilla 很多人，包含我，我們一起 寫了一個宣言 ，說這造成的問題比它解決的問題還要大很多。

因為它確實也許解決了資訊氾濫、假資訊氾濫的問題，但是它造成權力集中的問題。假資訊氾濫的問題是可逆的，權力集中是不可逆的。你一旦變成整個社會到底什麼是真的、什麼是假的，就是三家私人公司說了算，那整個民主制度都出問題了，這是絕對不可以走到這裡。後來我們的想法慢慢被人接受，現在過了三年，終於變成主流想法了。

我們看到 黃仁勳註冊了 X 帳號，專門把這個想法 PO 出來 ，說開放權重是國之根本，不可以禁用。在這個情況下，浮水印就不管用，因為只要有浮水印模型，你就可以用比較小的開放權重，去訓練一個對抗浮水印的模型。那怎麼辦？最簡單的方法就是，只要沒有人為此擔保，沒有數位簽章的模型所做出來的任何產出，你一律把它當作是假的。其實是把預設值反過來。以前是說，看起來栩栩如生就假定是真的，然後有人爆料說那個是假的，才是假的。

沒有，現在是全部都是假的。但是如果有人出來簽名，說：「我是唐鳳，這個看起來可能有點像我的東西，是我簽名的。」那這樣就算它是合成的，也算我的。只有到這個情況下，你才能夠把每一層——誰取景、誰編輯、誰做後訓練等等——歸因到特定的人或特定的 institution，特定的制度、公司或團體上面。因為如果沒有這樣一層，每一個人都可以拿現在公信力最高的，稍微後訓練一下，然後以假亂真。所以我們在臺灣，好比方說廣告實名制，就是透過這樣子的方式，去說你沒有數位簽章的廣告基本上就是推定為假的。那平臺如果刊登之前沒有簽章廣告，就要負連帶責任。

對，所以這個意思就是，像現在歐盟它有那個 EU AI Act ，現在開始生效了。所以你會看到說，社群媒體上面貼文，它一定都會有一個「這是 AI 生成」、「這張圖片是 AI 生成」。但它的困難就是解析度非常低。也就是說，在每一個不同的行業裡面，其實有剛剛丹增講的不同溯源方式。一個新聞引文講的是原始來源；學術上講的是 citation，跟新聞又不太一樣。做照片的、做電影的等等，每一個都有各種不同的溯源方法，每個行業都有不同的溯源方法。

所以這裡的重點並不只是說這一 part 是 AI 產生的，而是這一 part 在哪一個脈絡底下、經過哪些輸入、由哪些人背書的情況下，由 AI 產生。像我現在公開揭露說，我的翻譯是這個 Thomson 模型、由路透社訓練等等，但是你也只能相信我，對不對？應該有一個簡單的方法，就是我可以直接有一個雜湊值，然後我可以說，你用這個 AI 模型，現在叫作可重驗的 replay，就是重放。所以同樣的權重、同樣的輸入，在同樣的機器上面或是不同的機器上面，你加一個旗標，那這樣子的話它就不再受這個亂數影響，可以保證跑出一模一樣的結果。只有到這個情況之下，剛剛講的歐盟打上「AI 生成」印章才有意義。因為你看到「AI 生成」，接下來就沒有意義了，因為都是 AI 生成。你要問的是哪一個 AI、在什麼條件下生成的，然後我們怎麼樣去重放它。

嗯，對。那所以我想，這個講得比較淺白一點，就是大家都可以下載 Ollama 。

然後 Ollama 上面，我說我用的哪一個模型，我就放在 Hugging Face 或什麼上面。那在 Hugging Face，假設它繼續正常運作的話，你就可以下載一個一樣的模型，然後去確保我跑出來的結果跟你跑出來的結果是相同的。那在這個過程裡面，這裡講在本機，並不是說它就沒有別的安全性問題。當然這個模型可能有很多別的問題，但它至少解決了一個，就是剛剛講到可驗證性的問題。當然並不是大家都有這臺電腦，說真的，蠻貴的，去跑 Thomson 模型。

但是透過剛剛講到的社群共享算力，好比方說現在這臺電腦，我晚上不用的時候，就跑一個叫做 Darkbloom 的網路。Darkbloom 的網路，你可以在 OpenRouter 選 Darkbloom，它就會把你要算的東西、你的提示詞加密；加密之後，人類是看不到的。所以那個機器在人類看不到的情況之下，把它派送到我的電腦；我的電腦也是在我看不到的情況下去幫你算。那我只要一想要看，用偵測器什麼的，它的程式就立刻停止。

所以在這個情況下，一定程度上可以確保中轉站跟我都看不到你的提示詞。即使你沒有這樣子的硬體，也可以透過 Darkbloom 或類似的方式去要求：「那我就要長得這樣子的硬體幫我算。」這樣可驗證性自然就能夠確保。而且這個算力的花費，也就是平常的 1% 左右，因為反正我也沒有在用。

對，我想最簡單的就是，如果你現在是在服務你不認識的人，那通常一定都有一些他能夠回報錯誤的地方。日本生產線有所謂的 Andon Cord ，就是生產線正在跑，然後你拉一下整個生產線慢下來，大家看發生什麼事情；你拉兩下，整個生產線停下來，解決問題的時候生產線才能夠繼續走。它的目的就是讓指出錯誤這件事情變成值得稱讚的，而不是就被生產線輾過去了。

所以我們在設計這樣子的服務時，最簡單的就是，你可能本來就已經有客戶支援的群組，不管是 LINE 群、WhatsApp 群、 Signal 群等等，可以很容易地在裡面加一個這種簡單的 Andon Cord，讓大家能夠拉個繩，然後就停下來，或者至少稍微慢下來，或至少只對於他稍微慢下來。那在這個過程裡面，同樣不貳過嘛，你累積這個智慧體自動解決問題的狀況；一旦有兩三個人都解決——都碰到這個問題，而且至少一個人成功想出怎麼解決這個問題，這個解決方式就可以很簡單地共享。

對，因為我們大家可以看到，現在 AI 裡面有一個類似 劣幣驅逐良幣 的情況。任何一個實驗室要釋出模型，一定要跑榜。以前的榜各種不同的都有，每個不同的社群會 curate 自己的榜。可是現在可能因為——我沒有特別針對誰的意思——但是像 Artificial Analysis 這樣的榜，因為它花了很多時間在矽谷、在其他地方，好像就是說武林高手都必須要在這個榜上，當然還有一些別的榜。但是這些榜的特色，都是在沒有人的參與之下，一定可以從頭到尾自己跑完。所以這些東西跑出來的速度，在每一個模型發布之後，可能有時候 day zero，就是模型一發布，它就發布榜單了。

其他需要在地社群去看，這件事情對於我們實際上，好比說在 X 上面，會不會讓人吵得更不可開交，還是變得更好等等。你看 X 團隊花了這麼多人、這麼多時間，現在才剛剛把 X 更新到 Grok 4.6 ，就表示它這個 eval 需要驗證，需要跑一段比較長的時間，兩、三個禮拜以上。

所以因為這樣的關係，它產生一個困難：如果你的實驗室內部跑這種很簡單，但是就像剛剛講到，只是為達高分不擇手段的排行榜，能夠排到一個程度，那你成功被釋出的機率就變得比較高。你如果在這些榜單上往下掉，但是事實上在剛剛講到的人際關懷、照顧等等上面跑分比較高，說不定你一開始在實驗室裡面連被釋出的機會都沒有。

所以慢慢就變成，大家如果有用像 Opus 4.5，它其實當時還比較有一點同理心。但是透過這種跑榜的後訓練，4.6、4.7、4.8 一路下來，一直到 Opus 5 ，它的同理心正在流失。

可是為什麼會發生這種事情？就是因為他們叫一個 Fable 模型 ，把 4.5 後訓練到跑榜可以贏過別人，其實一句話講就是這樣子。所以它就產生這樣的問題。那我們要怎麼樣解決這個問題呢？你不能說，那我們就繼續用 4.5 就好了，4.5 有一天會退休啊。

所以最簡單的方法就是，你去拿一個可能有一些原罪的、像千問的這個模型，然後去跑像 Thomson-1.0-Small，就是 Snowdon1.1-Small 這樣的做法。說 4.5 真的很不錯，那我要把它的人格憲章提煉過來。提煉過來之後，它就保留了人味。在這個情況下，因為它是開放權重模型，所以它就可以永遠跟我們留在一起。

就像我們當時做自由軟體的時候，並不是說完全不用閉源的程式。 Richard Stallman 也說，你用自由軟體去復刻、去再現閉源程式，在道德上是非常好的，是非常可以接受的。所以現在也相當容易做這種事情。你把雲端的服務真的運作得不錯，然後它一面運作、一面留下記錄，一面你的智慧體在那邊說：「讓我復刻一個地端的模型、一個地端的服務。」這樣資料就留在我們的社群中間，而且你就不需要擔心這個比較有人性的東西，因為跑榜的關係，明天突然不能用了。

對。其實這個也是像當初我們在數位發展部的時候，有設計一個採購的概念：同一套系統裡面，兩個相鄰的層面不能夠給同一家廠商拿走。原因是什麼？如果是給兩家不同的廠商，那中間一定要留下記錄，而且一定要用開放的協定，就是 IETF 、RFC 這些協定。你留下記錄、有協定，那第一個出錯的時候，雙方都有動機去指責對方是他錯，所以一定要留下記錄。但這個意思也就是說，你出錯之後，真的知道是它錯、要換掉的時候，那一層抽換就變得非常容易，因為你只要對接到它這邊留下的紀錄跟協定就好了。

但如果這兩層，在 AI 來講，就是模型跟駕馭模型的馬鞍，是同一家公司做的；就是 Claude Code 是 Anthropic 做的，或者 Codex 是 OpenAI 做的，那它就有相當多的動機去確保這個馬鞍就是它的那匹馬最好跑，別的模型就比較難跑。而且出現問題的時候，它也可以用一些沒有對外說明的協定，甚至是它自己也不確定是怎麼做出來的協定，然後去進行歸責。所以發現問題的時候，你根本不知道是這一趴出了問題，還是那一趴出了問題，因為他們自己可能都不知道。

這樣長此以往，就會變成我們剛剛講的 junior 完全不能學習的情況，因為那個 senior 自己弄出了一批我們叫做「 反向半人馬 」的東西，就是馬頭人身喔；也就是由 AI 來做所有的判斷，然後人只負責幫忙按 CAPTCHA 什麼之類的這些動作。到這個情況之下，你要把它換掉，可以說是完全不可能的事情。所以一開始最簡單的，就是把那個馬鞍跟那匹馬交由兩家不同的公司做，其實這樣就解決這個問題了。

對，像剛剛講到的在地模型，其實是最簡單的。因為如果一開始那匹馬就是你自己養的，雖然跑得不是很快，但在這個情況之下，至少你的資料保證是落到自己家，或者透過端到端加密，反正別人看不到，所以也沒有落到別人家。這是最容易做的一步。除此之外，現在也慢慢看到，像當時 OpenClaw 比較紅的時候，真的很多人會用一台閒置、不用的機器去跑 OpenClaw。它中間可能換了很多模型，但至少你中間累積的教訓，是全部累積在那台機器上，而不是特定的模型商上面。現在也看到很多 Claude Code 的使用者，開始慢慢換成 Pi，或者像我用的是 Oh My Pi 。這些做法也是讓你中間撞牆、失誤的過程，完全不是累積到模型商上，而是幾乎全部累積到馬鞍上。到最後，馬鞍自己變成一匹小小的馬，叫做 coordinator。不過這就是比較宅的題目，我們之後再說。

對，其實我們在設計這些制度的時候，最重要的是考慮到那些沒有時間參與的人，或者他的語言本來就不在主流資料裡，以至於他就算跟語言模型講他受到傷害，語言模型都聽不懂的那些人。因為這些人面對的是所謂 知識論上的不正義 ，就是他越講，別人越覺得他在亂講，或者覺得他是不值得聽的人。隨著自動化判斷越來越多，這些人的鴻溝只會越來越大。所以如果你一開始就說，我們設計這套系統的目的，是像 Mozilla 有一個叫做 Common Voice 的計畫，任何一個社群，包含原住民族社群等等，都可以自己捐獻；就是去念一些彼此寫的常用詞，把這些聲音捐獻出來。這些東西會進入 Mozilla Data Collective ，好像一個資料生產合作社這樣的東西。然後它的所謂的分潤，就是說它訓練出來、後訓練出來這些小模型，就會優先來照顧你自己這樣子。

今天是因為沒有要 demo 臺灣台語，所以我現在還在用 livecaption.ing ；但本來要用昨天晚上 AI 自動寫的那一個，它事實上是有臺灣台語的。它就是用 Breeze ，聯發科的那個系統，可以聽臺灣台語，然後出華文的字。這個東西其實就是資料土壤的一個非常好的例子。

就算蘋果內建的 Siri AI 沒有把臺灣台語做進去，可能當時我在蘋果幫他們待得不夠久。那在這個情況下，我們現在透過像第三方外掛這樣的方式，因為它把 Siri 運算所需要的那個程式庫 Core AI ，現在基本上開放出來，可以直接接進去。所以我就可以說，我這台機上的 Siri 特別就是要聽得懂臺灣台語，那我覺得這個是特別重要的。只要這樣子能夠保證做好的話，很多不可逆的傷害就排除掉了，就是聽不懂，或者沒有辦法反映問題的這些人的問題就會解決。你把他們的聲音收進來，然後又讓迭代的速度變快的話，後面的社群調控、後訓練這個部分，技術上現在並不困難。

嗯。

是這樣沒有錯。

整個錄影都會放出來，所以可以用 0.25 倍播放。

對。然後還會即時把翻譯的字幕投影到眼睛裡，所以跟現在其實是一樣，沒有什麼差別。

「無任所大使」。