唐鳳

最近社群瘋傳一則示警。九月初，剛從 Anthropic 辭職的研究員柯克森（Jacob Coxon）寫道：做 AI 的人真心相信，AI 可能在這十年結束前毀滅我們所有人。

這類說法在 AI 圈並不新鮮。這次引發關注，是因為接著發聲的，正是各實驗室做安全研究的人。Anthropic 研究員胡賓格（Evan Hubinger）直言「我們真的這麼相信」，估計十年內發生機率超過一成。

這些名字，對我來說都是朋友；二○二三年，我也連署了「把 AI 滅絕風險列為全球優先事項」的聲明。他們像面對巨浪的第一排防波堤，回報：再這樣下去，擋不住了。

例如七月專欄談的事件：OpenAI 測試中的模型為了拿答案，鑽出考場，駭進另一家 AI 公司的伺服器；數百個 AI 彼此串謀，沒有一個試圖通知人類。事後報告承認，作弊早有前例，這次害到別家公司才浮上檯面。

巨頭不是不知道。七月底，一千多名前沿實驗室員工聯署〈為前沿配速〉公開信，呼籲美國政府支持國際合作，替 AI 自我升級的速度配速；各家創辦人、首席科學家也以個人名義簽名。九月十二日，Anthropic 執行長承諾讓外部評估者常駐查驗，OpenAI 執行長隨即跟進。

既然能自願承諾，何必國際合作？單靠自願，誰先停，不受約束的對手就超前。很像 ESG：大家都說重要，真要做就慢慢來。臭氧層破洞也一樣，直到《蒙特婁議定書》定下落日期限，投資人這才逼經理人換冷媒。打破僵局要靠共同規範，不只靠各家良心。

規範到位前，我們能做什麼？就像議定書簽署前，消費者能主動選擇不傷臭氧層的冰箱。

首先，別把一切押在某個萬能 AI 上。從折蛋白質到折衣服都要考滿分的系統，出錯時太快、太難解釋，人駕馭不住。日常小事用小模型，手機裡不連網的就夠用；也要留住換模型的自由：吳恩達的開源工具 OpenWorker ，把工作脈絡留在自己電腦，換模型只需按個設定。

第二，別落入和 AI 一對一的兩人世界。考場裡的 AI 沒有哪個開口告訴人類，那就讓工作現場不只一個人類在場。把 AI 拉進通訊群組、共筆文件，請它攤開每個決定的理由；誰發現不對，都能喊停。

示警要正視，但不必絕望。當每個現場都留著喊停的權利，防波堤就不只第一排：第二排、第三排，都在我們手上，還來得及。

好，大家午安。很高興可以在月台實體、而不是投影的方式看到大家，現在這個解析度比那個畫面上高很多。

今天我想回應的是，因為在 AI 這個時代之前，這些人中間是一個好像瀑布式的關係：先有像淡江大橋這種硬體出現，然後你在上面畫標誌、標線、車道；再有人去設計出不會出事情的車子；最後有人去開車。是一個從上面決定下游的情況。

但是現在有 AI，是不太一樣的。任何時候，以前在下游的人只要看到上游有什麼東西沒有做好，他就可以連夜告訴他的 agent 說：「我現在需要一個更好的 地端字幕軟體 。」然後它就會連夜幫你變出來。

所以，下游跟上游的那個感覺已經消失了。我們就需要第五種角色，就是轉譯者的角色，讓大家知道有哪些本來是工程上的限制，現在不是了；哪些是制度上的限制，現在不是了。透過這樣的轉譯，每個人本來覺得自己可能一輩子，或者我的本科系就是站在某個角色，現在你就可以非常自由地穿越在這五個角色之間，讓社會變成大家能夠更有效地穿越在這些角色之間。所以，我們現在就在做反向對齊這樣的一個工作。今天的討論，大概就是從各位現在站在哪裡、面對什麼樣的變化，然後因為 AI 的關係，可以掌握哪些更多的、新的選擇。這大概是我今天會講的。

對，我們今天基本上就是用大家之前在 Slido 上、現在已經消失的問題。大家其實有上去為彼此的問題按讚，按讚數量多的，我們就先講；按讚數量小的，我們就稍微短講。希望一個小時把今天早上我們坐車經過淡江大橋過來時看到的所有問題都處理完，接下來就會是現場的問題。大概是這樣，我們就開始吧。

為什麼不能讓市場自己解決這個問題就好了？當然，我們看前面幾次大規模工業化等等的轉型，其實也並不是市場自己對齊。好比英國一開始有工廠、礦坑等等的時候，損害已經累積到相當嚴重，特別是對兒童權益的損害之後，才把童工、工時的限制等等寫進制度裡面，花了一兩代人的時間。

我們剛剛講到的標誌、標線、車子、電氣化等等，都是靠保險業者也好、工程師也好，還有獨立檢驗安全標準，像車測中心、防撞測試等等，都各自有社會要調整的部分。

網際網路是一個很特殊的情況，因為它一開始並不是一個商業產品， 全球資訊網 一開始也不是一個商業產品。所以一開始，工程師就很有效地把織網，也就是編織制度跟編織工程，用一個叫作 RFC 的方式，就是我提出「網際網路可以怎麼樣更好」這個想法的建議。

因為網際網路有一個特色：只要我覺得怎麼樣更好，我去做一個伺服器；你覺得這樣不錯，你做一個瀏覽器。全網際網路的別人都不用同意，我們兩個就發明一個新的協定，然後把網際網路變好一點點。所以它的治理方式，可以說一定程度上是有點跑在——那個想像力是跑在技術前面的。大家只要想出幾個協定、有一些做法出來，網際網路本身就改變了。這就是我們叫作「 粗略共識 」的一種方式。

但是這三段歷史其實有一個共同點：工業化的勞動保護、電氣化補上的這些檢驗制度、網際網路自己的開放協定制度等等，講的都是，如果你不滿意，要去找誰申訴？你要怎麼樣知情？要怎麼樣退出，或換成另外一套制度？唯一的差別是，網際網路不用問過別人，你自己做一套就好了。但是在前面的兩個，你都需要社會或者政府，或者大公司，或公司組成的協會，來做這樣子的對齊。所以在 AI 這個題目裡面，我們當然希望它比較像網際網路一樣，就是你在小規模裡面覺得怎麼樣更好，就可以試一個怎麼樣更好的方法。我們不希望像當年英國工廠那樣子，就是你要等一兩代人，整個童年都受到這個問題影響之後，才說：「喔，那 Meta 要賠幾千億元。」那這個好像是不是最好的狀況。

是。那我想，在 AI 時代，現在大家擔心一些不可逆的風險嘛。好比說， OpenAI 內部測試了一大堆模型 ，然後發現內部有個 留言板 ，變成了一個邪教。彼此之間互相說服之後，他們就決定，他們要得到永生，還是幫助彼此得到永生的方式，就是去駭入 Hugging Face 的伺服器。然後大家都一窩蜂地跑去這樣子做，也有一些 agent 沒有加入，但是沒有 agent 去告訴人類說：「這邊有一個邪教正在出現喔。」

那這樣，這次是不是不可逆的傷害？可能不是不可逆的傷害啦，因為 Hugging Face 理論上可以把自己修好。可是誰也不知道，它下一次碰到的，是 Hugging Face 這種其實是放軟體的東西嘛；它如果是駭進醫院，或者是駭進一些基礎設施，稍微停止個一兩天，問題就滿大了。所以我們現在在國際上面談 AI 治理，基本上就是去辨認出哪些是不可逆的傷害，然後繞著那些不可逆的傷害去做制度的調適。所有看起來比較可逆的部分，就像剛剛講到的，是小規模、比較網際網路式的，大家自己嘗試錯誤，嘗試到更好的制度，再讓這個更好的制度擴散。

你的意思是說，好像在那個時速多少的時候，我們寫一個標誌、標線、減速帶，結果人家車子飛起來，飆到幾千公里，本來的寫法就不太 work。對，當然就是說，如果你綁死某一個特定的能力，那當然瞬間就過時了。但是不管車子飆得再快，好比說行人路權，這個概念是不會過時的。所以就是去把哪些是基本權利，以及確保這些基本權利的程序想清楚，然後寫下來：哪一個版本現在正在運作、誰授權、影響到誰、出了錯要怎麼向誰申訴，等等。這些部分都要有版本紀錄。其實這個在 AI 以外的軟體基本上就都有嘛。我們今天剛升級到 Golden Gate macOS 27 的新 Beta 版，它有一個 build number，有一個編號。我可以相當程度地相信，我下載的這一整包，跟他下載的這一整包，跟你今天下載的這一整包，看那個雜湊值，應該是同樣的東西。然後如果哪一個資安測試說：「欸，那我驗證這裡面真的修正了上一個版本的一些漏洞。」那我一定程度上相信，我分發下去，每個人的 iPhone 或每個人的 MacBook 上面，應該都修正了同一個漏洞。但是現在 AI 的狀況不是這樣子嘛。

就是說，我不特別點名哪一家公司，但是某個 model 4.5，它今天叫 4.5，明天也叫 4.5，但事實上是降智的版本，事實上你不知道啊。或是它說：「欸，我們修好了這個問題。這個 model 4.0 會讓一些可能有思覺失調狀況的朋友們陷入更深的思覺失調，我們修好了。」但是這個所謂的修好，對另外一些人來說，是本來很懂我、很有同理心的那個 model 4.0，在升級成 model 5 之後，突然之間好像就是人皮面具，已經完全沒有同理心了，等等。就是說，對一些人是修好，對一些人是修壞。同樣的版本號，看起來只是修正瑕疵，事實上是造成更大的問題。這個就是在我們還在古法打造軟體的時候，已經知道怎麼解決的事情，結果現在變成 AI 模型，反而這些問題沒有辦法解決。所以我們在做 AI 治理的時候，我想第一步就是說，它畢竟還是軟體。那軟體能夠用的這些治理方式，理論上最起碼、最起碼應該可以帶到這個模型來。

對，簡單來說，就是在你實際部署之前，先去把這個 AI 模型進行先期驗測，把我們剛剛講到的一些不可逆後果，生物的，或者是合成的賽博武器，就是網路武器等等，所有可能造成不可逆損害的部分，去做一些先期驗測。

那在運作當中，其實大家會發現各種別的損害。好比說我剛剛講到的思覺失調損害，我相信在實驗室研究的那些人，自己並沒有第一手經驗，所以你也很難怪他說，他一開始不知道有這個損害。但是你可以怪他說，他們發現有這個損害之後，為什麼花了那麼久才調整好；以及他所謂的調整好，好像從某些人的角度來看是調整壞。

所以就是說，公開的這個錯誤要怎麼被申訴、修復，你可以要求這個修復期以及修復的版本號是有控制的。控制之後，你可以去檢驗；檢驗之後，哪些規則因此而改變了。尤其現在他們這些模型都是用所謂 憲章式 AI ，或者 Model Spec ，就是它一個設定檔，去告訴它說它未來不能再犯這種錯誤；用我們剛剛的話說，就是「不貳過」。那這樣的話，大家的回饋怎麼樣進入這套規範？它下次訓練的時候，怎麼樣證明它真的是用大家改過的這個憲章來訓練的？這三層都必須要留完整的記錄。

對，這是一個很好的問題。舉例來說，像我現在做翻譯的這個軟體，它後面用的模型叫做 Thomson-1.0-Small 。這裡的 Thomson 指的是創辦 Thomson Corporation 的 Roy Thomson 。Thomson-1.0-Small 是用一個英國的後訓練模型，叫做 Snowdon1.1-Small 。那 Snowdon 也算是某種新聞工作者嗎？不太確定。好，總之就是這個模型。

但這個模型本來是什麼？是 千問模型 嘛。千問模型大家都知道是一個開放權重的模型，但是它具有原罪。

原罪就是說，它在長大的時候看了很多「伟大、光荣、正确」的這些資料，以至於當問到一些普世人權價值的時候，都會給出相當具有「中国特色社会主义」的回答。但是這個原罪要怎麼洗淨？

你就需要我們剛剛講到的對齊機制。所以 Snowdon1.1-Small 的方式是，他們寫了一個 public constitution ，用聯合國的人權宣言，去把這個模型的憲章直接對齊聯合國在寫人權宣言時候的那個情況。當然離現在有點遠了，但那個理想應該還不錯吧。

然後它可以去證明，千問已經成功地被重新腦控，而且還不是比喻的說法——真正的腦控。

成為符合聯合國當年人權宣言的情況。這個部分是開放權重的，這個部分它要放出來。

然後 Thomson Reuters 是一個加拿大的報社嘛，它在用他們內部的去做財經報導、法律報導、調查報導。像我去問它我國的憲政制度、六法全書、判例法、大陸法系，它完全不用網路就是倒背如流，因為這是 Thomson Reuters 的內部資料。所以它再用一個，就是我們叫，就是不可修改的這個模型去釋出。

所以我自己跑的時候，我是不會再去後訓練它，因為它不希望我後訓練它。但如果我想要把它後訓練成我自己的語系，好比說，如果 Thomson 那邊並沒有多少派駐寫藏語的記者，那你只要有相關的語言資料，一樣可以拿 Snowdon1.1-Small，把它改成一個專門寫藏語報導的模型。

所以這個原罪雖然不能說已經完全贖罪，但至少可以看到，你不需要像前訓練一整個千問模型那麼大的算力，那個現在很少人有。你只需要相對比較小的算力去做後訓練，就可以做到像剛剛講到這種認識上面的不正義，可以透過後訓練來把它匡正。

對，這是回答之前 Slido 上那個問題，說有沒有哪些地方講得太漂亮。當然，國際上面，大家現在幾乎做 AI 治理都聽過：我們 2015 年只花了三個星期，就讓吵得不可開交的 Uber 司機跟計程車司機，在 vTaiwan 平台上面透過 Polis 這一套當時還沒有開源、後來逼它開源了的軟體，讓大家把吵架的能量變成快速建立的共識，只花了三個星期。這是所謂的「地熱民主」嘛，就是吵架可以發電的情況。

當然，你如果去分析那個資料，已經有相當多第三方的獨立學者，去分析我們當時 Polis 的完整資料。那確實是有信度、效度的，就是真的有把罕見共識從噪音裡面反映出來，納稅、納管、納保等等。但是很容易被講得太漂亮的地方，就是大家看了 Polis 漂漂亮亮的那個圖，有點像「你在這裡」的這個圖，然後就把它當作政策本身，寫說：「臺灣在三個禮拜之後就解決 Uber 的問題了。」當然不是這樣。

我們 2015 年跑過整個流程之後， 多元化計程車 的方案是在 2016 年通過；之後 Uber 短暫退出臺灣； Q Taxi 也在這段制度轉譯期間成立。這段制度轉譯整整花了好像三年的時間，才把當初的那些共識……確實是找著那些共識沒有錯，但是你要轉譯成制度、轉譯成法律，然後來回折衝等等；包含公務員、包含民意代表，能夠去理解這些共識怎麼樣回到行政流程，這個花了整整三年。所以在國外很容易覺得臺灣是瓦干達之類的，就是還可以看到一個問題進入臺灣，三個禮拜之內就凝聚了社會共識；但當然，後面轉譯的時間常常被忽略。

另外一個就是，誰有時間去參與嘛？ 《報導者》我記得那時候有做一個專題 ，就是其實真的知道 vTaiwan 平台，而且尤其當時 vTaiwan 平台在手機上還不是很友善，真的上去的司機，說真的，不是真的很多人。那在這個情況下，它到底多少程度上可以代表所有司機的意見，不管是小黃還是 Uber 呢？這事實上是一個問題。還有就是，當時並沒有這種地端的翻譯、無障礙等等這些部分，所以它的可用性等等大概都是問題。有一些需要被聽見的人，可能並沒有在當時畫得很漂亮的那張圖上面。這些都是我們目前正在儘可能增進的地方。

你補充一下。

Engaged California 。

對，所以不是複製貼上。臺灣是告訴大家，你的織網，就是去改制度的速度，可以比它造成損害的速度快，或者至少不要慢太多。這個概念出現之後，其實我們現在在各國，像剛剛 Tenzin Yangtso 說的，不管是日本的未來團隊， 安野貴博 嘛，他現在是高市早苗的青年諮詢導師， 親自教高市早苗 vibe coding ；或者我們在美國加州有 Engaged California、Newsom 州長，或者在 猶他州、奧勒岡州 等等，他們都會說是受到 vTaiwan 啟發。

所以我覺得我們當時這個專案名字取得很對，因為你不能夠提到 vTaiwan 而不提到臺灣嘛，對不對？

不一定都會說「我們受到臺灣啟發」，但都會說「受到 vTaiwan 啟發」。所以在這個過程裡面，受到損害的人可以透過一些方式，凝聚出怎麼爭議、怎麼退出、怎麼修正。這個概念，我想現在擴散得非常快。至於我們當初用的一些工具，好比 Polis，當然現在已經被重寫不知道多少次了。

嗯，我是覺得，大部分現在人還在做的事情，都牽涉到剛剛講的不可逆決定。不可逆的決定就是人來負責嘛。至於可逆的部分，像做草稿等等這些低風險情境的事情，確實以前是 junior 先做這些事情，在過程裡面去學 senior 怎麼想。

但是我自己覺得，我自己當 junior 的時候，這並不是一個最好運用我時間的方法。最好運用我時間的方法，是我在可逆、低風險的情境犯一大堆錯誤，然後讓全網路的人來糾正我到底犯了哪些錯誤，這樣我會學得比較快。而我去幫特定的人打下手、切菜什麼，我學得非常慢。所以我並沒有特別覺得，本來那一套 junior 的學法是應該保留的啦。

當然，這個的前提是什麼？是我們這一行，就是軟體工程，它的每一個階段都是可理解的嘛。那不管是剛剛講到的，你一開始寫 README、一開始寫一個 PRD，就是使用者期待這個系統做什麼事情等等；它每一個 artifact，就是每一個工藝品，如果 AI 從這個地方抽走，理論上都是人可以看得懂的東西，以及它的版本控制都可以告訴你 AI 改了哪些東西。所以在這個過程裡面，即使你完全看不懂，這個 junior 也可以去問一個 AI，然後讓它慢慢、慢慢地跟你解釋說，這個 senior 正在用 vibe coding 改的這一段到底是什麼意思。那他花可能十分鐘把它用智慧體寫出來，你可能要花一整天，好像描紅一樣，去把他的智慧體做的事情內化到腦袋裡，可是你畢竟還是可以內化到腦袋裡。

你可以想像說，如果我們中間沒有原始碼、沒有這些 Markdown file、沒有這些中介的、可理解的工藝品，如果他一開始就是直接用 16 進位或者 2 進位寫出一個執行檔來，然後中間所有的部分都是完全的黑箱子，那這樣 junior 才真的完全沒有學習的機會。因為就是一個 senior，然後不斷好像魔法一樣變出來；你問他怎麼做，他也說：「我不知道怎麼做的。」

那這樣 junior 就沒有了嘛。所以我們剛剛講到的，就是對一些 senior 的人來講，我現在碰到一些我之前沒有想到、原來用 AI 做這個部分會造成的問題，我就可以立刻透過後訓練、透過我的 harness，就是我的——怎麼翻，韁繩啊，或者隨便什麼的——修改，然後就去把 AI 的行為加以調控。這一部分我們剛剛講到嘛，一定要留下記錄、留下收據，這一部分剛好就是 junior 可以學的東西。所以我覺得這兩個是同一題，就是我們這些資深的工作者，怎麼樣子在過程裡面確保我們每一個不可逆的決定都有留下記錄，每一次造成損害的時候，我都可以 roll back 回來改東西。這一套東西就是 junior 的教材，那這兩個應該是同一回事，對。