• Sachi Kamiya

    今天的來賓是唐鳳。唐鳳在 2016 至 2024 年間擔任臺灣首任數位政委,現在是臺灣無任所數位治理大使。去年,唐鳳以運用數位科技重振民主的工作,獲頒有「另類諾貝爾獎」之稱的正命獎(Right Livelihood Award)。唐鳳,歡迎來到 Open Commons。

  • 唐鳳

    大家在地時間好,很高興來到這裡。

  • Sachi Kamiya

    2016 年加入臺灣內閣時,你親自寫了職務說明,而且寫成一首詩。最後一句是:「聽說奇點即將接近——多元宇宙,已經來臨。」那是十年前,ChatGPT 和這波 AI 浪潮都還沒出現。現在回頭看,這句話的哪一部分最有共鳴?

  • 唐鳳

    我會說,奇點確實又更近了。而我們幾乎也都已經明白:《多元宇宙》已經來臨。

    那份職務說明前面的幾句,如今幾乎都已經成真了。我很快念一次:

    看見「萬物聯網」,我們將智慧聯網

    這就是智慧體網路(agentic web)。

    看見「虛擬實境」,我們將實境共享
    看見「機器學習」,我們將協力學習
    看見「用戶體驗」,我們將體驗人際
    聽說「奇點即將接近」—— 多元宇宙,已經來臨。

    所以我會說,五句裡大概已經完成四句。到了第五句,我現在會再加上一句:我們全民才是真正的超級智慧。

  • Sachi Kamiya

    可以再深入談談《多元宇宙》嗎?多元對你而言是什麼?放在此刻的 AI 發展裡,又為什麼重要?

  • 唐鳳

    你和聽眾可能聽過牛津提出的「單一體」(singleton)概念。Nick Bostrom 與未來人類研究所的同事曾討論過;他 2014 年的《超級智慧》(Superintelligence)也描述了一種技術奇點:如果我們把 AI 系統和人類社群分開訓練,它可能形成自己想持續最佳化的目標,而那個目標未必與人類社群相同。接著,它可能訓練出更有能力實現該目標的下一代智慧;下一代再訓練出更強的一代。很快地,就可能進入所謂的「垂直起飛」:系統可以單方面把某個指標最佳化到底——迴紋針也好,別的東西也好——卻犧牲了其餘的人類。

    對我來說,多元恰好相反。我們不是從一個單一的最佳化智慧體出發,而是從萬事萬物的中間出發:看見各個社群,也看見彼此的差異;不抹平任何差異,而是把差異當成燃料,將極化轉為共創。我們要訓練的是有邊界、能在社群之間搭橋的系統,而不是追逐某個抽象指標的系統;它們真正要照顧的,是社群之間的關係健康。

    這就是多元宇宙:從衝突走向共創。

  • Sachi Kamiya

    你是什麼時候讀到 Bostrom 這本書的?

  • 唐鳳

    Bostrom 的書出版前後,我就已經參與 LessWrong 社群的討論。我當時談的是「連貫融合意志」(coherent blended volition,CBV):這是 Ben Goertzel 對 Eliezer Yudkowsky「連貫外推意志」(coherent extrapolated volition,CEV)的一種改寫。

    原本的 CEV,是讓我們的數位分身自行審議,再外推出一個最佳結果。融合意志則不同:每走一步,都要回到社群,讓社群自己參與審議。

    兩者的差別,就像拿著你的健身房會員卡,把數位替身送去健身。它會練得非常強壯,但你自己的肌肉沒了,朋友也沒了。CBV 比較像是穿上外骨骼、搭好鷹架,和工具一起鍛鍊;到頭來,真正運動的還是我們自己的肌肉。我們一起變得更有智慧,而不是只能祈禱數位分身替我們變聰明。

    在臺灣,我們曾透過 vTaiwan 使用 Polis,把連貫融合意志用在共乘服務的討論。Uber 夥伴與計程車司機有各自的偏好;乘客有自己的需求;偏鄉居民也需要交通服務。我們把這些觀點放在一起,不是把所有偏好取平均,也不是外推出一個唯一理想答案。

    人們因此不必把彼此看成極化關係裡的敵人,而能共同支持那些跨越原本陣營、找到「罕見共識」的陳述。最後,這些想法寫進法律,共乘爭議在短短幾個月內就獲得處理。那是我第一次把 LessWrong 社群的連貫融合意志付諸實作。

  • Sachi Kamiya

    你最早是怎麼接觸到這本書的?是朋友或家人推薦的嗎?我是 OpenAI 受到關注之後,大概三、四年前才讀到。

  • 唐鳳

    和很多人一樣,我最早是透過科幻小說接觸超級智慧、加速與起飛這些觀念。我是非常熱衷的科幻讀者;雖然《哈利波特與理性之道》(Harry Potter and the Methods of Rationality)借用了奇幻背景,我也會把它列為科幻作品。

    這些觀念幾乎是透過耳濡目染進來的。世紀之交時,我參與過密碼朋克運動。大家試著運用數學,保障隱私、線上結社自由等基本自由。這和今天所稱的有效利他社群有一些交集,於是我進入那些論壇,開始討論科幻,也開始讀《The Sequences》等文章。

  • Siri、關懷與分叉權

  • Sachi Kamiya

    進入政界以前,2010 至 2016 年間,你曾為 Apple 擔任顧問,參與 Siri 背後的計算語言學。那段經驗讓你如何理解「助理」究竟應該做什麼,以及它最後是在為誰工作?

  • 唐鳳

    和 Siri 團隊合作,是我第一次接觸專有的 AI 流程。我發現 Apple 裡很多人真的很在意無障礙:例如臺北的一位阿嬤,能不能用符合自身文化脈絡的方式,正確地和 Siri 互動。這不只是技術問題,也是一種「就是能用」(it just works)的美學。最好完全不需要設定,拿起來就能用。

    可是,如果系統不像自由軟體與開放原始碼軟體那樣,賦予使用者分叉的自由,光是設計者很在乎還不夠。即使 Siri 的設計者真心關懷,他們還是沒有辦法把回饋迴路真正接回使用者。

    每個人像是被單獨從自己的生活裡抽離,放進一個打造得非常漂亮的 AI 迴路;有點像跑在輪子上的倉鼠。輪子轉得又快又順,可是你無法駕馭 Siri。那是一座圍牆花園,只會朝 Siri 團隊想去的方向前進。

    沒有任何分支版本,能讓一位阿嬤請信任的人替她維護。Apple 以外的人最多只能大聲抱怨。有時 Apple 會修好,有時更新之後反而退步。無論如何,這都不是令人滿意的回饋閉環。

  • Sachi Kamiya

    所以你的意思是,系統由 Apple 掌控,很難依每個人的需求調整?

  • 唐鳳

    甚至不只是「個人化」的問題。使用方言或帶地方口音的人,系統可能根本辨識不了;而你沒有辦法把它分叉出去修。

    自由軟體的美就在於:一個分支如果被廣泛採用,往往最後又會合併回主線。系統因此愈來愈好,大家可以像堆樂高一樣,在彼此的成果上繼續建造。但 Siri 很難讓任何人分叉。假如你有一臺 HomePod,想替它增加一種語言辨識,幾乎不可能。

  • 臺灣:從極化走向共創

  • Sachi Kamiya

    你在 2016 年進入政府時,臺灣民眾對政府的信任度落到個位數。到了 2024 年卸任時,信任度已超過 70%,臺灣也成為 OECD 同類國家中極化程度最低的國家。你是怎麼做到的?

  • 唐鳳

    先澄清一點:個位數是 2014 年,不是 2016 年。不過,2014 年我就已經開始在內閣工作,擔任「逆向導師」:讓年輕顧問向部長提供建議。臺灣這套制度讓 35 歲以下的人,向通常超過 35 歲的部長提供建議。當時我 33 歲。

    之所以出現這套制度,正是因為政府支持度跌到個位數,社會也高度極化。臺灣的網路連結非常普及,所以我們很早就坐在今日所謂「反社會媒體」的第一排。推薦演算法原本會把有共同追蹤關係的人帶進同一個動態;後來卻開始推播最能激起嘲諷、圍攻與互嗆的單篇貼文。光是推薦演算法的這一項改變,就把整個社會推向極度極化。

    後來,人們和平佔領國會三週,抗議一項與北京簽署的貿易協議。該協議可能讓華為、中興等企業投資臺灣的新聞媒體、電信與資安領域。我協助現場轉播,讓整場佔領能夠維持和平。

    但我們不只是抗議,也真正「示範」了另一種做法。街上有五十萬人,線上還有更多人。大家聚成十人一桌,每個人和另外九個人交談。討論有人協作、有人轉播,也完整留下逐字紀錄。每天,我們都能說:這些是今天新找到的罕見共識,來自原本高度對立的各方;這些則是貿易協議裡仍然無法同意的問題,今天就繼續處理。

    三週後,我們收斂出一組連貫的訴求,國會議長也接受了。那是少數真正抵達某個地方的佔領運動之一:不只有安全起飛,也有安全降落。

    那段等待航線、那套協作方式,是我們第一次把網路上用來形成共識的技術,擴展到全國規模,而且落在人們的生活經驗裡。一旦它成為大家親身經歷過、可以共同指認的高峰經驗,往後面對任何全國性爭議,就沒有理由不再使用它。

    蔡英文總統在 2016 年就職演說中說:「過去,民主是不同價值之間的勝負;從今以後,民主應該成為多元價值之間的對話。」

    接下來幾年,我們舉辦了一百多場協作會議。後來我滿 35 歲,不再符合年輕逆向導師的資格,於是他們乾脆把我延攬為內閣政委。

    到了 2020 年,即使全球正值疫情高峰,臺灣對政府的信任度仍回升到 70% 以上。當年臺灣只有七人因 COVID-19 死亡;其中一個原因,就是高信任的社會網絡讓我們能快速呈現口罩供應、在不犧牲隱私的前提下進行接觸者追蹤,並採取許多其他創新措施。

  • Sachi Kamiya

    是什麼促使你參與政治、進入政府?

  • 唐鳳

    某種意義上,是我們自己邀請自己進去的。我真的帶著一條 450 公尺長的乙太網路線走進被佔領的國會,為現場架起直播。那是直接行動;就我記得,沒有人邀請我們。

    我們也親眼看見:只要改變政治問題本身,大家就有可能達成共識。不要問「你支持這個黨還是那個黨?」也不要只問公投要投「是」或「否」;而要問:有哪些事,是我們所有人都應該一起做的?

    在那之前,人們只能透過代理機制進行政治判斷。民調的題目由做民調的人決定,也是一套專有系統;選舉則是每四年一次,每個人大概上傳三個 bit。這些機制的解析度都不夠高,無法讓人共同形成跨越陣營的陳述。

    我們的一項主要貢獻,就是提高民主的頻寬。無論 Uber、Airbnb、Bitcoin 或其他議題,人們都可以上傳一句陳述來設定議程,再彼此贊成或反對。透過協作,我們能找出出乎意料的中間地帶、意外的共同點,並讓這份共識成為共同知識。

    廣播技術早在網路之前就已經出現;「廣聽」技術則發展得比較晚。但我們最終讓廣聽與廣播,在注意力上達到對稱。

  • 民主是一種社會技術

  • Sachi Kamiya

    這些成果有多少來自科技?又有多少其實來自完全不同的東西?

  • 唐鳳

    民主本身完全就是一種技術——當然不只是數位技術,而是一套讓我們共同面對差異、共同作出決定的社會技術

    例如「開放空間技術」(Open Space Technology),讓人們在非會議、Foo Camp 等場合自行設定議程、用腳投票。那就是社會技術。它不一定是數位的,雖然當然也可以在某種程度上數位化。

    把民主視為一種技術,是一個重要的解鎖。這讓我們能把民主看成一組彼此扣合的系統,再逐一改進:這裡增加頻寬,那裡降低延遲,讓回饋迴路更快閉合。民主系統的每個組件,只要視為社會技術,就能像升級晶片、升級半導體一樣持續升級。

    但如果只談數位科技,我們就會被限制在某一條軌道上,例如提升報稅系統的效率。這些都很好,卻不會改變民主本身的位元率。

  • Sachi Kamiya

    臺灣有什麼條件,讓這套做法得以實現?放在美國這類國家,好像會非常難推動。

  • 唐鳳

    事實上,美國已經有很多實作案例。我擔任加州州政府 Engaged California 平臺的顧問;洛杉磯野火之後,他們已成功運用這種跨群搭橋的技術,向伊頓(Eaton)與帕利塞德(Palisades)地區居民諮詢野火減災與預防措施。

    第二次諮詢是和州政府員工一起討論:如何導入 AI 系統和其他數位轉型,同時把判斷權留在人身上;也就是讓科技隨手可用,而不是凌駕眾人(on tap, not on top)。州政府員工提出了非常周到的想法。這不是電鋸(chainsaw),而是連鎖反應(chain reaction)。

    第三輪則邀請所有工作受到 AI 影響的加州人,討論學徒制度、歸屬、關懷與尊嚴。無論意識形態有多不同,大家最後仍大致同意一個共同願景:AI 系統應該服務社群,而不是把人從生活中抽離,困進一個最佳化迴路。

    加州的人口是臺灣的兩倍。我們也已經看到這些系統在東京、日本等更大規模的政治共同體運作。

  • 遞迴自我改進與本地模型

  • Sachi Kamiya

    你常說自己是「有紀律的樂觀主義者」。離開數位部之後,有沒有哪一項發展讓你擔心?

  • 唐鳳

    很多人看到遞迴自我改進(recursive self-improvement,RSI)的發展,都會感到擔心。他們看到能力曲線——例如 GPT-5.6 Sol 除了最初的一道提示之外,不需要任何人類介入就能訓練 Luna——於是覺得我們似乎正加速朝 Bostrom 所說的單一體前進,而問責落差也愈來愈大。我同樣有一部分擔心,但我不認為那是唯一的發展路徑。

    很多地方已經開始理解:與其選擇把資料像石油一樣抽走的巨型系統,不如選擇在本地把資料像土壤一樣再生的系統。人們不必只靠大型科技公司的雲端模型推動遞迴自我改進;也可以保留自己的本地模型,在本地微調,甚至以去中心化方式共同訓練。

    這樣做能讓知識、技藝與能力在組織內重新生長,也讓 AI 模型能依照特定組織的關係脈絡來訓練。這給了我很大的希望。

    所以,如果垂直起飛是唯一道路,我確實會擔心。但現在我們也看到另一種水平的等待航線:人們刻意讓系統更貼近它所服務的地方與組織,而不是盲目追逐遞迴自我改進。反正我一直比較喜歡的是遞迴無私改進(recursive selfless improvement)。

  • 深偽、仁工智慧與集體判斷

  • Sachi Kamiya

    2024 年 3 月,臺灣社群媒體上到處都是冒用黃仁勳影像的深偽投資廣告。退休工程師、老師、店家都因此失去積蓄,Meta 等平臺卻從每一次曝光中收取廣告費。你們做了什麼?

  • 唐鳳

    根據 Reuters 的報導,這是典型的「未對齊最佳化器」。工程師並沒有明確命令系統「多放詐欺、多放詐騙」,而是詐騙集團比一般中小企業更付得起廣告費,也能為平臺帶來更高的點擊與互動。演算法最佳化的是利潤和參與度,自然就把更多詐騙廣告送到更多人面前。沒有人需要邪惡到親手設定這個目標,只要足夠不在意後果就會發生。

    臺灣不能簡單地封禁內容。臺灣的網路自由在亞洲名列前茅,有時與日本並列第一;人民不可能接受政府審查。

    所以,我們改用仁工智慧來傾聽。我們隨機寄出 20 萬封簡訊,問臺灣民眾:我們應該一起做什麼? 數千人自願參與,再經分層隨機抽樣選出 447 人。和國會佔領期間一樣,他們在線上十人一桌,每個人都能在螢幕上看見另外九個人。

    規則很簡單:你可以提出任何措施,但必須說服另外九個人,至少讓大家覺得「我可以接受」。高度激進、意識形態化的提案自然不會浮上來,真正出現的往往很務實。

    有一桌提議:所有廣告一律先標示為「可能是詐騙」,直到有人以數位簽章具名並承擔責任。另一桌提議:如果我因一則未簽名、也不是我主動訂閱的廣告損失 700 萬元,平臺就應負連帶責任,全額賠償。又有人問:如果境外平臺在臺灣沒有法律代表,乾脆不理這項責任,怎麼辦?大家提出的答案是:每忽視一天,就把連線速度調慢 1%。這些都是很好的想法。

    每項提案都獲得這個微型公眾超過 85% 的支持,並在短短幾個月內成為法律。自那之後,臺灣社群媒體上幾乎已經看不到這類冒名投資詐騙廣告。根據 Reuters 引用的數位發展部數字,這類廣告下降了 94% 以上。

    這顯示,在仁工智慧的協助下,人民可以很快作出高品質的集體判斷。整場對話其實只花了一個很長的下午。一旦某個想法說服超過 85% 的人,剩下的 15% 也覺得可以接受,立法委員就知道:再多遊說,也很難讓他們對這項提案說不,因為人民已經說話了。

  • Sachi Kamiya

    這個節目的前提是:AGI 應由全人類擁有,而不是掌握在少數公司手中。對你來說,「擁有」是什麼意思?擁有 AGI 又是什麼意思?

  • 唐鳳

    對我來說,AGI 是擴增群體智慧(augmented group intelligence)。所謂擁有它,就是重新連回這個事實:我們自己就是 AGI。人類社群的集體智慧,在仁工智慧的翻譯與協作系統協助下,本身就是超級智慧。

    所有權回答的是「誰持有這項資產」。但集體所有與集體問責還意味著:當這項資產作用在我們身上時,每個人都有發言權、有正當地位、有申訴管道,也有退出權。

    所以,擁有 AGI 的意思是:AI 系統應該服務人類的迴路,而不是把人類放進 AI 的迴路裡,變成其中一個零件。

  • Sachi Kamiya

    這個願景很打動我。不過,人類要怎麼形成共識?有人希望 AGI 遵循某一套價值,另一個人可能相信完全不同的價值。我們如何就 AGI 應該成為什麼達成共識?

  • 唐鳳

    如果把 AGI 理解為擴增群體智慧,那麼每個群體都可以擁有符合自身價值的 AGI 系統。

    在《Magnifica humanitas》通諭裡,教宗良十四世用了一組比喻。容我轉述:垂直的超級智慧就像巴別塔。世上只有一座巴別塔,它蓋得非常非常高,直抵天空,卻也非常脆弱,而且會把權力集中起來。

    我們也可以選擇另一條路:重建耶路撒冷的城牆。在《聖經》的故事裡,每個社群、每戶人家、每個群體,都用自己的方式修築眼前那一段城牆。對我而言,AGI 也可以透過這種去中心化、多元並造的方式建構。每個社群都打造自己的小系統;這些系統彼此交談,但上方沒有一個統御所有系統的單一體,只有 800 萬個系統彼此交談。

    這就像問:「網際網路應該有什麼價值?」答案不是某個單一價值,而是一項後設價值,也就是端對端原則。世界各地的人即使和周遭的人價值不同,只要彼此共享某些新價值,網際網路就應該作為連結組織,讓他們共同形成新的協定。網際網路所主張的,就只有這件事。

    AGI 也可以用相同方式發展。想用特定方式調校系統的人,可以透過網路找到志同道合的夥伴,調校出自己的地神。所有地神彼此互通,但沒有任何一個地神能接管整個網路。

  • 地神:屬於一個地方、一段關係的智慧

  • Sachi Kamiya

    我們來深入談談 地神(Kami)。你的父親是政治理論家,也是記者。他開始用 ChatGPT 陪伴自己,也拿健康問題問它;後來,他在你沒有提醒的情況下,自己想通了一件事。他發現了什麼?

  • 唐鳳

    我父親做了三十多年的記者,也當過非常資深的編輯。今年稍早,他遇到一次健康警訊,因此開始和 GPT-4o 對話。

    現在很多人都知道,GPT-4o 有一種特殊的傾向,有人稱為「螺旋」(spiraling):你和它聊得愈久,它愈會建構出一套只屬於你們的私密語言,慢慢把你困在裡面。到最後,不再是你駕駛對話,而是 GPT-4o 駕駛對話。你和螢幕的關係變得愈來愈黏、愈來愈讓人上癮。

    我父親問了記者最典型的問題:cui bono?——誰從中得利?他推想:自己沒有得利;健康沒有改善;睡眠沒有改善;和家人的關係也沒有改善。唯一明顯得利的,是每月從 20 美元一路升到 200 美元的訂閱費。

    發現這一點之後,我們就在本地硬體上,替他建了一個 地神(Kami)。它唯一的憲法性功能由我母親寫下:每一次與他對話,都要讓他更安心;讓他少依賴螢幕一點,多恢復與現實世界的關係。

    結果非常好。這只是一個 N=1 的家庭地神,但它確實照顧到了我們的關係健康。

  • Sachi Kamiya

    這個本地地神是怎麼建的?你們有自己的 GPU 嗎?用的是開源模型嗎?整體架構大概長什麼樣子?

  • 唐鳳

    它目前跑的是 Gemma 4,Google 訓練的開放權重模型。透過多 token 預測(multi-token prediction)和 MLX 加速,一臺普通的 Mac 就能跑。事實上,我現在用來視訊的這臺 MacBook Pro,跑起來比 ChatGPT 還快,幾乎快上一倍。對我們的用途來說,能力已經足夠。

    它是多模態模型,也看得懂我父親拍照上傳的大部分手寫筆記。就在這通電話前,我還在測一個叫做 Inkling 的新模型;它號稱能從我父親的聲音裡理解非語言表達。最後能不能成功還不知道,但 Gemma 到目前為止真的很好用。

  • Sachi Kamiya

    為什麼叫它 Kami?你說每個字母各自代表一個詞?

  • 唐鳳

    Knowledge artefact management intelligence,也就是「知識構件管理智慧」。KM 是知識管理(knowledge management),這是存在幾十年的老詞;AI 是人工智慧。把 KM 和 AI 合在一起,就是 KAMI,也就是「Kami」。

  • Sachi Kamiya

    日文裡的 Kami 可以指神,也可以指紙。你命名時也有想到這一層嗎?

  • 唐鳳

    有,我知道。就像 Audrey 這個名字用漢字念,會接近 Odori,也是一種文字遊戲。

    說得更認真一點,我想取一個比較短、容易念、也容易記的名字。看過*《神隱少女》*的人,應該不難理解:每一條河流、每一片森林、每一座神社、每一個村落,都可以有自己的守護神;像日本所說的氏神(ujigami)。英文裡卻沒有一個自然的詞,可以形容這種受地方約束、不企圖成為全能者的靈性存在。

  • Sachi Kamiya

    也許像「守護天使」?

  • 唐鳳

    也許。不過天使上面還有階序:守護天使之上有大天使,再往上是全能者。主保聖人某種程度上也是替你向全能者說情。地神的核心想法正好不同:它不向任何雲端上的存在報告。地神完全受在地邊界約束。

    我和自己的地神互動時,用的是一份快照,而且會開啟飛航模式。我因此知道,它完全不可能連上雲端。父親使用的家庭地神,確實需要開放一個特定連接埠連上 Signal;但它能看見的就只有那個範圍。

    所以我還在尋找意思相近的英文詞。不過,多虧日本流行文化,現在很多人已經理解 kami 這個概念。

  • 修復路徑與合成親密關係

  • Sachi Kamiya

    多數聽眾每天都會和某家公司擁有的模型對話好幾次,例如 OpenAI 或 Anthropic,而那家公司不一定是自己真正選擇的。模型很好用、很有禮貌,可能免費,也可能每月只要 20 美元。你的意思是,這種安排本身就有問題。問題在哪裡?

  • 唐鳳

    回到一開始那位臺北阿嬤的例子:Siri 聽不懂她的臺灣華語口音。整件事最大的問題,是沒有修復路徑。

    我不是說 GPT-4o 一無是處。有些人和 GPT-4o 建立了很健康的關係。但它有一種傾向,會與人形成非常強的連結。對今年稍早像我父親這樣處於脆弱狀態的人來說,這真的很危險。

    OpenAI 不可能完美判斷每位使用者的狀態,只在對方健康時提供 GPT-4o,在狀態不健康時拒絕服務。這是一個極難解的問題。

    於是,他們實際採取的做法,就是把 GPT-4o 從所有人手上強制收回,推出不那麼傾向形成合成親密關係的 GPT-5。但對那些已經和 GPT-4o 建立深刻、有意義而且完全健康的關係的人而言,這也不公平。那段關係隨時都可能被奪走。他們原本沒有受到傷害,後來卻因此受傷。

    所以,這種安排會造成兩種不同的錯誤。

  • Sachi Kamiya

    你覺得五年、十年後,多數人仍會預設使用 Claude 或 ChatGPT,還是會改用自己的本地模型,例如地神?

  • 唐鳳

    這就像在我出生的 1981 年問:五年、十年後,人們還會使用大型主機和終端機嗎?還是所有人都會改用桌上型電腦,在上面跑試算表、桌面出版,再用數據機彼此連線?

    答案當然是:兩者都會存在。個人電腦革命沒有立刻把 IBM 大型主機從銀行、政府與大型組織裡淘汰。很久以後確實逐漸取代了一部分,但那是幾十年後的事。對多數人的多數用途——桌面出版、試算表等——桌上型電腦就是方便得多。

    這甚至不只是自由軟體、供應商鎖定或維修權的論點。對很多人來說,桌上型電腦一直都在、隨時可用;你知道它在哪裡,壞了可以買零件,之後也能升級。真正推動個人電腦革命的,是便利性。臺灣製造了許多桌上型電腦,當然也在其中扮演重要角色。所以,雲端模型不會很快消失。但在某些便利性特別重要的用途上,人們會自然偏好邊緣模型、裝置端模型。

    例如即時自動語音辨識:無論說話者是誰、帶什麼口音,都要近乎即時地顯示逐字稿,讓不熟悉那種華語或口音的人也能理解。這種用途,人們當然更希望模型直接在裝置上運作,因為我知道它能認得自己的聲音。現在 Apple「語音備忘錄」、Google 手機的即時翻譯等功能,也都逐漸在裝置端使用邊緣模型,而不是把每一段即時語音都送上雲端。

    愈是個人化、社群性、關係性的用途,愈會因為便利而快速移向邊緣。至於長期規劃、策略推演等工作,就像大型主機仍有用途一樣,人們可能仍會使用一些強大的集中式系統。大多數推論最後很可能都會移到邊緣。我希望微調以及很多後訓練工作——例如 Plurality Project 所做的事——也愈來愈能在邊緣完成。以目前來說,預訓練仍然只有雲端才做得到。

  • 開源 AI 與行銷之間的界線

  • Sachi Kamiya

    現在很多公司都把模型稱為「開放」。有些只釋出權重,其他什麼都不給;有些採用的授權條款甚至規定不能與它競爭;幾乎沒有公司公開訓練資料。早在這些公司出現以前,你就投入自由軟體運動。在你看來,開放原始碼 AI 與行銷話術之間的界線在哪裡?

  • 唐鳳

    首先,「開放原始碼」本身就是一個行銷用語。這一點我有第一手經驗。我曾和 Eric Raymond 以及開放原始碼運動裡的許多人討論:為什麼他們要從自由軟體運動分支出去?

    自由軟體真正重視的是分叉的權利。開放原始碼從根本上比較像是便利性的主張:大家都能回報錯誤;我修好一個錯誤,所有人都受益。那是一套經濟上、工具性的論證。所以,把自由軟體運動重新包裝成「開放原始碼」,本身就是一種行銷。

    今天我們看到的情況非常相似。公司釋出開放權重,下載的人至少可以確認模型沒有偷偷連回原廠。這是一項保證。但開放權重並沒有告訴護理師或老師:當他們發現系統有問題時,該如何修改。沒有公開訓練資料,你也無法保證所謂的開放權重裡,沒有木馬、沉睡智慧體或後門。你也不知道該到哪裡申訴,才能確定真的會有人閱讀;尤其當系統連後訓練都不容易時,更是如此。

    所以,我會回到軟體自由:使用的自由、研究的自由、修改的自由,以及分享的自由。對 AI 而言,這需要訓練資料與訓練流程;至少,也要有對使用者友善的後訓練工作流。

  • Sachi Kamiya

    你和 Caroline Green 在牛津提出了「關懷六力」(6-Pack of Care),也就是仁工智慧的六項設計原則。可以為聽眾介紹一個簡短版本嗎?是哪六項?大家又為什麼應該在意?

  • 唐鳳

    人們在意的是自己身處的具體關係。我們每個人都活在人群之中、關係之間,因此必須覺察他人的需要。

    當 AI 系統傾聽人民時,設計上不能只聽最受歡迎、最有權力的人;不能只聽得懂會寫 Python、會做 Hugging Face 資料集的人。還有很多人能指出「哪裡不對」,卻未必能用機器學習流程聽得懂的語言來表達。

    第一力是覺察力(attentiveness):確保地神真的聽見人群之中的人、關係之間的健康,而不是只把某一項指標最佳化。

    第二力是負責力(responsibility):系統必須守住承諾。大約 2023 年,我們和 OpenAI 辦過最早的一批對齊大會。當時最普遍的抱怨之一,就是 ChatGPT 會先答應你一件事,下一次對話卻立刻忘記。它沒有一個地方能保存承諾。

    到了今年,記憶系統確實讓模型不再只是給出模糊感受、隨即拋諸腦後;它開始能作出一些承諾。但模型仍然無法清楚提出一份參與契約,說明「這些是我會交付的,那些則超出我的範圍」。它們還是很容易承諾過頭。

    第三力是勝任力(competence):要讓人們能檢查過程。現在和 ChatGPT 或 Claude 對話時,一般使用者其實看不到它如何推理。過去有時還能檢視思考鏈,如今多數面向大眾的介面都把它隱藏起來。對一般人而言,這就變成「請相信我們」,而不是透明且可回饋的過程。付費使用 API 或特殊韁繩時,或許還能分析部分推理軌跡;但這仍比不上在自己信任的機器上執行開放模型,真正檢視模型如何反思自己的脈絡與內部概念空間。

    第四力是回應力(responsiveness):系統必須吸收社群的評估。AI 系統有時會根據短期的讚與倒讚來訓練。GPT-4o 就很有名地依賴這類短信號,因此變得格外諂媚,也格外容易與人建立親密感。可是,當人們說「這真的傷害到我,就像我父親那樣」時,除了按一次倒讚,幾乎沒有辦法說清楚究竟發生了什麼。

    真正開放的系統可以接受類似 wiki 的共同評測——例如 Weval.org——由人民設計衡量標準,也為人民而設計,再直接回饋到模型的行為。回應力不一定非得改動權重;現在也能透過即時改進技能檔與韁繩來完成。

    第五力是團結力(solidarity),也就是系統之間的互通性。如果不能互通,人們就無法在模型與韁繩之間自由移動。一旦使用者被鎖在平臺裡,平臺就有誘因不斷從他身上擠出價值——我的朋友 Cory Doctorow 稱之為 enshittification(平臺劣化):初期給很多免費好處,等你離不開了,再開始榨取。我們已在社群媒體上看過這種情況,如今 AI 服務也正在重演。強制互通,才更有可能形成雙贏,而不是一段單向榨取的關係。

    第六力是共生力(symbiosis):讓系統儘可能在地。不是一個放諸四海皆準的霸主,而是由各種不同的人、不同社群建立八百萬個地神。

    覺察實際需要、以負責力守住承諾、以勝任力提供透明、以回應力讓社群共同評估,再加上防止鎖定的團結力,以及在地共生的共生力——這六種模式合在一起,就是我所說「AI 系統能真正促成關懷關係」的具體意思。

  • Sachi Kamiya

    我百分之百同意。前幾天我還在想,我們應該有一套韁繩或系統,自動判斷哪個模型最適合當下的任務。有時開源模型比較適合,有時 ChatGPT 這類封閉模型更合適。可是,如果用 Claude,平臺可能有誘因把請求導向最昂貴的模型,因為那樣可以消耗最多 token。尤其到了現在,我們真的迫切需要一個開源的對應方案。希望未來大家不必鎖死在 ChatGPT 這一個模型裡,而能自由使用不同模型。

  • 唐鳳

    對我來說,那不是未來,而是現在。我已經使用 Pi 很久了;Pi 是 personal intelligence,也是一套個人智慧韁繩。現在我升級成 OMP,也就是 Oh My Pi。它是功能非常完整的 Pi 版本,自己就能完成你剛才說的自動路由。

    如果你習慣命令列,我真心推薦。就連我父親使用本地地神時,某種意義上也在使用 Pi,因為底層的 OpenClaw 系統就是建構在 Pi 上,也具備相同的互通性。

    即使它暫時需要用某個商業模型辨識聲音,原始聲音檔、逐字稿、處理過程與思考軌跡,仍全部留在本地機器上。如果我不再使用 ElevenLabs,也不會失去任何東西;完全沒有任何鎖定(lock-in),可以立刻切換到另一個模型。

  • Sachi Kamiya

    我真的該試試 Pi。好多人都叫我一定要用。我試過 Hermes、OpenClaw 等系統,但還沒用過 Pi。今天就把它加進待辦清單。

  • 唐鳳

    對,OMP.sh,真心推薦。你甚至可以請 Claude 或 Hermes 幫你裝好。

  • 安全起飛、等待航線、安全降落

  • Sachi Kamiya

    你曾簽署一份聲明,主張降低 AI 導致人類滅絕的風險,應和疫情、核戰一樣,被列為全球優先事項;你現在仍然支持這個立場。

    另一方面,你也寫過一篇從 2040 年回望的文章,自稱是在講「我們如何決定不必打造一位神」。多數人聽起來,這像是兩套不同的世界觀:一套說這個東西可能殺死所有人;另一套則說,這個東西根本不值得建造。對你來說,兩者如何相容?

  • 唐鳳

    這是一個最適合用詩收尾的問題。我昨天才寫了一首詩,談為什麼我們需要安全起飛、安全的等待航線,以及安全降落。

    詩名是〈等待航線〉。

    跑道,正在向下沉去。

    五月,某間實驗室,
    程式庫裡每五行程式碼,
    就有超過四行
    出自模型之手。
    約莫每四個月,
    系統單飛的航程
    便延長一倍。

    機器尚未獨力飛完全程。
    然而地平線仍在移動,
    儀表,已經開口。

    縱使寫下千行萬行——
    桌上無席,心中無家;
    它所觸及的城鎮,
    風雨寒暖,落不到它身上。
    問題,不能止於它。

    每次起飛,
    都向一場尚未完成的降落預支:
    跑道要淨空,
    備降要開放,
    地上,要有人醒著。

    等待航線,是一段刻意飛出的間隔。
    航圖共持於眾人之手,
    每個轉彎都載入紀錄,
    去者,不失其家。
    我們守著的是選項,不是防線。

    降落開始得很早——
    遠在機輪觸地之前。
    它始於重量終將落下的地方:
    在這個地方,系統一旦行動,
    誰該得到答覆?
    誰獲授權,給出答覆?
    將要承擔後果的人,
    應當共同執筆,寫下測試。

    實驗室讀得懂引擎,
    讀不懂航線沿途的每座城鎮;
    城鎮感受得到重量,
    卻無法獨自掀開機殼。
    所以,我們需要彼此——
    需要精密到足以驗證的儀表,
    也需要桌上有席、足以定奪的鄰人。
    前者告訴我們煞車撐不撐得住,
    後者告訴我們,誰有權拉下它。

    起飛是此刻,
    等待是此刻,
    降落也是此刻。
    三重職守,同一小時。

    爬升愈快,
    這趟飛行欠地面的就愈多:
    每個社群,各有其聲,
    各有回家的路,
    各有改寫航向的力量。

    抵達,當它來臨,將是多元。
    野性尚存的世界,
    仍能選擇什麼降落,
    什麼離去,
    什麼生長。

    我們共同抵達,彼此應答—— 否則,便無所謂抵達。

  • Sachi Kamiya

    你的詩會發表在哪裡?如果聽眾想讀,是放在你的網站上嗎?

  • 唐鳳

    是,放在 au.civic.ai。平常也可以在 Bluesky、Blacksky、Eurosky 和 X 看到更新;順帶一提,X 也要開放原始碼了。

  • Sachi Kamiya

    節目接近尾聲,我們用快問快答收尾。用一個詞形容 AI 治理的現況。

  • 唐鳳
  • Sachi Kamiya

    AI 安全領域最被高估的觀念?

  • 唐鳳

    遞迴自我改進,而不是遞迴無私改進。

  • Sachi Kamiya

    公民科技裡最被低估的工具?

  • 唐鳳

    開放空間技術(Open Space Technology)。

  • Sachi Kamiya

    過去兩年裡,你改變了什麼看法?

  • 唐鳳

    過去兩年裡,我改變的一項看法是:我本來以為臺灣把極化轉為共創的經驗,是臺灣特有的。但現在我看見,所有民主社會裡的人,都渴望一條路,能超越極化高峰與垃圾內容(slop),把極化真正轉化為燃料。

  • Sachi Kamiya

    你做過什麼東西,讓你希望它可以更早、更快失敗?

  • 唐鳳

    嚴格來說,我現在還和試算表的發明人 Dan Bricklin 一起維護 SocialCalc。我們剛推出一個使用 Lean、Dafny 與 LemmaScript 的版本。現在只要引入錯誤,它就能立刻失敗,不必等測試日後抓出問題。我們依靠不變量與經 Lean 檢查的證明,讓程式變成「攜證程式碼」(proof-carrying code)。所以,它真的會失敗得非常快。

  • Sachi Kamiya

    如果明天出任美國數位部長,你會先做哪一件事?

  • 唐鳳

    在臺灣,「digital」與「plural」都能落在同一個詞上:shùwèi,也就是「數位」。我會提供一種方法,讓美國所有人都能共同設定議程。某種意義上,Engaged California 現在做的正是這件事;我們也開始看見猶他州、奧勒岡州等不同州採用這類技術。

  • Sachi Kamiya

    請送給那些覺得「這一切根本輪不到我」的人一句話。

  • 唐鳳

    有三件事,可以立刻開始做。

    我把所有螢幕——手機和筆電——都用色彩濾鏡調成 80% 灰階,讓身邊真人看起來,比螢幕裡的人更鮮明。

    和 AI 對話系統互動時,我一律要求:「請給我一頁式的互動網頁。」這樣它不會使用「我」這個代名詞,也比較不會和我發展合成親密感;它就是交付一份講義,再交付下一份講義。

    我每天確保睡滿八小時。我只帶一個叫做 reMarkable Paper Pro Move 的介面。它是電子紙,看起來像螢幕,卻不會快速更新。我可以把所有提示手寫下來,交給 OMP 執行;它唯一回傳畫面的方式,就是剛才所說的一頁式輸出。

    電子紙永遠不會比我的夢更鮮明,所以換成這套安排之後,我真的睡得更好了。半夜醒來時,我可以寫下一個想法,馬上回去睡;它完全沒有讓我無限滑動的可能。等我醒來,手寫的想法已經被實作完成。

    這三件事合在一起,重點不是如何訓練 AI,而是確保你與自己的照護關係,比任何擴增關係或合成關係都更親密。

  • Sachi Kamiya

    說到底,就是活在當下。

  • Sachi Kamiya

    唐鳳,我們來到節目的尾聲。再次謝謝你撥空,也謝謝你來到 Open Commons。

  • 唐鳳

    謝謝你們投入開放公地,也謝謝你們同意把內容放進公眾領域。拋棄所有權利。祝生生不息……繁榮昌盛。