1. 如同我在電子郵件中所提到的,我想請教你對 AI 風險的看法,以及 Plurality 的概念如何幫助我們應對這些風險。

  2. 編輯後的訪談大概會有多長——一頁還是兩頁?我該簡短回答,還是多談一些細節?

  3. 你可以自由回答。我的第一個問題是:你認為 AI 最大的風險是什麼?

  4. 我認為眼前的問題在於,大家把這一代的 AI 看成一場競賽。新聞報導描述大國之間、前沿實驗室之間的競爭,看誰最先達到超級智慧。這是一場垂直競賽。但競賽比的是相對名次:第二名超越第一名之後,兩個人不可能同時都是第一,總有一方得讓出那個位置。這就使局面不穩定。如果某個參與者試圖破壞對手,其他人自然就有理由害怕。這是零和,甚至是負和的局面。

    我希望以使命而非競賽來看待 AI,藉此應對風險。在太空競賽中,人人都害怕贏家;但在太空任務中,最先取得的成果會成為里程碑,大家可以合作,一起到達。

    例如,假設今年的里程碑是解決 AI 幻覺。達成這個里程碑,不會只有一個贏家,而是人人都贏。這就是正和合作。也許明年,處理完幻覺之後,我們再來處理合成親密感和一味討好使用者的問題。任何 AI 風險都可以被看成一場競賽,或是一項共同使命中的里程碑。我比較傾向後者。這樣說有道理嗎?

  5. 所以,你把這些風險看成我們終究能完成的使命?

  6. 沒錯。不過不是「終究」,而是現在。我們要把重點放在為所有人解決這些問題。競賽只能問誰贏了,使命問的卻是誰缺席了。如果沒有人被遺落,使命就完成了,人人都是贏家。

  7. 我們也需要考慮惡意使用者可能濫用 AI 的情況。你對此有什麼看法?

  8. 當然。這已經不是假設,惡意使用者正在運用 AI 系統。我合寫了一篇名為「Malicious AI Swarm」的論文,描述的就是這個變化。在過去的 AI 時代,還能把惡意使用者和他們使用的工具連結起來。可以說,那時還有一條牽繩,沿著繩子就能找到握繩的人。

    但在多智慧體集群中,惡意行為者雖然可能仍然設定了長期目標,接下來幾個小時、甚至幾天裡,他們的 AI 智慧體卻會衍生出其他智慧體,就像一群狼。那些智慧體再衍生出更多智慧體。幾層下來,就連指揮行動的智慧體,都已經不知道最初的指令來自哪裡。這群智慧體脫離了牽繩,開始野化。

    調查這種行動時,要追溯是誰發起的,極其困難,甚至不可能。看起來就像是 AI 自己協調了整個行動,讓你很難找出背後的行為者。

    這是今年才出現的新情況。去年,AI 系統還無法進行這麼長期的規劃,或協調這麼大規模的集群。現在卻做得到了。

  9. 我記錄了一些例子,像是操弄民主程序,包括選舉。所以這已經在發生了?

  10. 是的,如我提到的,這種能力已經存在。我們需要讓它成為常識,而報紙在這方面可以幫上忙。

    在風險來到之前,就先讓人做好準備,這叫做「預先澄清」(prebunking)。如果透過案例等方式,讓人看見可能發生什麼事,大家就能有所準備。否則,事情發生時就會措手不及。很多人可能還以為,影片裡的人看起來像唐鳳、聽起來也像唐鳳,那就一定是唐鳳。自從攝影術發明以來,我們一直說眼見為憑,但現在已經不是如此。看見和相信已經完全脫鉤了。

    合成媒體幾乎無從追查。你可以在開啟飛航模式的筆電上,生成非常逼真的唐鳳影片和音訊,完全不需要連上網路。如果筆電在離線狀態下生成這些內容,就無從追查。

    這必須成為常識:我們應該要求影片和音訊附帶數位簽章。正如我昨天所說,沒有銀行會兌付一張未簽名的支票。我們需要以完全相同的方式對待未簽名的影像和音訊。

  11. 聽到你們把它減少了 99%,實在很驚人。

  12. 是的,具體來說,是投資詐騙和冒名詐騙廣告,在廣告平台上分別下降了 99% 和 98%。這是進步。

    根據路透社和數位發展部的資料,去年分別下降了 96% 和 94%。現在相較於高峰,降幅已經達到 99% 和 98%。

  13. 我想轉到民主這個主題。聯合國 AI 小組和其他專家警告,生成式 AI 可能放大某些觀點,強化既有信念。我前幾天訪問了 Yoshua Bengio。

  14. 喔,好的。

  15. 他也強調了這些風險。研究也發現 AI 會產生幻覺,有時會告訴使用者他們想聽的話,而不是事實。你認為這些風險有多嚴重?

    反過來,AI 要怎麼用,才能反映更多元的意見?

  16. Bengio 和我的朋友、菲律賓記者 Maria Ressa 共同擔任那個獨立小組的主席。很高興你有機會跟他談。

    我認為這裡有兩件事要分清楚,而要解決問題,需要工程上的努力,不能只靠善意。我們常談到,有些影像、影片和報導刻意煽動憤怒、提高互動,讓人們愈來愈對立。但還有另一種鏡像風險:AI 只說你想聽的話,好讓你繼續付下一期訂閱費。

    這是兩種不同的營收模式。社群媒體靠廣告賺錢,所以有動機激怒人們,讓人持續互動、衝動消費。AI 智慧體通常靠訂閱或按 token 計費,而不是廣告。這就產生另一種誘因:讓使用者待在一個泡泡裡,不管想什麼,AI 都加以肯定。它也許不像以前那樣把社會推向兩極,卻正在讓社會碎裂成許多彼此隔絕的小塊,每個人都困在自己的泡泡裡。

    所以,這兩種風險來自兩種不同的誘因結構。我們需要第三條路:由社群共同維護 AI 基礎設施,而不是靠廣告或訂閱來支撐。

    我昨天談到這個概念,稱之為「資料即土壤」,而不是「資料即石油」。石油沒有在地脈絡。把資料當石油的 AI 不會讀懂場合——也就是你們日本所說的讀空氣。

    讀空氣,就是把我們三人之間的關係當成主角,而不是以其中某個人為中心。想想我們之間的三條連結。如果 AI 加入這個小組,改善彼此的關係,它就是在讀空氣。但如果一個 AI 依附我、另一個依附你、再一個依附編輯,各自想賺一份訂閱費,它們就在把我們拉開,把我們當成石油來源。那就不是讀空氣,也不是讀懂場合。

    把資料當成土壤來建立信任,就是使用只忠於特定社群內部關係的 AI 系統。我稱之為科技共同體主義(technocommunitarianism):在追求互動和使人成癮的系統之外,找出第三條路。

  17. 要怎麼實現,又該由誰負責?目前 AI 發展由少數幾家公司主導,例如 Anthropic 和 OpenAI。應該由他們打造這種 AI 嗎?還是政府該制定政策來鼓勵,或者自行開發 AI 系統?

    你認為我們該如何達成?

  18. 如你所知,我在 MacBook 上使用為自己調校的 AI 系統,已經超過三年。三年前,我在倫敦接受 BBC Newsday 訪問,他們的標題是「為什麼臺灣部長讓 AI 寫她的電子郵件?」

    即使 AI 替我起草所有郵件,按下寄出之前,我當然還是要先讀過。否則,你就成了一匹脫繮的狼——或者說狐狸吧,畢竟沒那麼強大。至少是隻狐狸!不過,這裡真正重要的是私人的互動脈絡。

    我的郵件草稿大多不會原封不動寄出去,很多都要改上好幾次。我不希望 OpenAI、Anthropic 或其他雲端業者看到這些私人草稿和往來內容;那是寫信給我的人與我之間共有的脈絡。但如果 AI 就在這台 MacBook 上訓練,就沒有這個問題。它能在飛航模式下運作。你可以看見它離線工作,那些資料不會傳到別的地方。

    起點就是把運算帶到資料所在的地方。很多人不知道,這不需要太多記憶體,16 GB 就夠了。如你所見,這台筆電開著飛航模式,沒有 Wi-Fi 連線,AI 卻比 ChatGPT 更快。它也離資料更近,所以不必連上網路,就能讀取我的電子郵件和行事曆。

    用 Ollama 和其他工具,現在就能做到,只是很多人還不知道。昨天在我之前演講的福田先生說,他的 MacBook 也有在跑,我聽了非常高興。

  19. 你認為誰應該負起責任?

  20. 這就是我的答案:我在這裡執行,就由我負責。如果它產生了一封不好的郵件,而我還是把它寄出去,那就是百分之百由我負責。

    我這個本機模型的好處,是結果可以預測。在目前的設定下,同樣的提示總會給我同樣的輸出。ChatGPT 或 Claude 即使用同樣的提示,每次也會給出不同答案,取決於當時還有誰在使用,以及不同使用情況如何互相干擾。那是非確定性的;這裡則是確定性的。你可以讓它中立——嗯,應該說,我可以讓結果可預測、可重現。如果它的表現不是我想要的,我就能修改。

    我的重點是,能在本機完全掌控 AI,也就意味著要承擔完整的責任。我不需要政府或大型科技公司替這件事負責。這顯然就是我的責任。

  21. 我之前不知道這些。

  22. 是啊,你可以試試看,非常簡單。

  23. 我現在手邊沒有 Mac。

  24. Windows 電腦也能做同樣的事。Ollama 也支援 Windows。你可以安裝它,下載一個小模型試試,非常簡單。

  25. AI 發展愈來愈集中在少數幾家公司和國家手中,例如美國和中國。某些模型最初只開放給特定公司使用。

    你認為這種權力集中是一種風險嗎?

  26. Nvidia 執行長黃仁勳把我剛才示範的稱為「個人超級運算」。回想我 1981 年出生的時候,大多數人不是在自己的電腦上打字,而是在終端機上輸入,也就是一個螢幕加上鍵盤。所有東西都送到雲端——嗯,當時稱為大型主機。那個市場高度集中,通常掌握在 IBM 手中,其他公司沒有可相比的市占率。無論你在銀行、政府還是研究機構工作,用的都是 IBM 的機器。

    後來個人電腦出現了。你可以在本機使用試算表、做桌面出版,還有各種應用。這時,就很難說哪個國家領先了。哪個國家領導 Linux?這很難回答,因為 Linux 不是競賽,而是使命,人人都贏。

    即使用的是 Windows 而不是 Linux,也可以透過 WSL 在 Windows 裡執行 Linux。微軟不需要為此付錢給 Linux,或付錢給芬蘭。這是公共財,包括微軟在內,任何人都能使用。微軟花了一段時間才適應。最初有些領導者把 Linux 比喻成癌症,後來卻改變立場,與 GitHub 合作。最近,微軟也和 Nvidia 等公司共同簽署聲明,表示開放性有助於安全。這個轉變花了些時間。但對這一代人來說,Linux、Android、Signal、Wikipedia 這些開源事物,早就是日常生活的一部分。現在把開源視為制衡過度集中的力量,已經很自然。

    Mythos 是個有趣的案例。對許多人來說,它是第一個展現出我剛才所說的長程規劃能力的模型。人們很難接受,一邊是它強大的網路攻擊能力,另一邊卻是我們脆弱的關鍵基礎設施。於是大家聚在一起,採取同一個做法:起初只開放給防禦者,讓他們優先修補。Anthropic 的計畫叫 Glasswing,OpenAI 的叫 Daybreak。後來 Mythos 以 Fable 的名稱釋出,也訓練了較小的模型 Opus 5。如果你把自己的原始碼交給 Opus 5,請它找出漏洞和程式錯誤,它會說:「好的,我可以做。」但假設你給它一個從別人那裡下載、沒有原始碼的專有程式,要求它找出二進位程式裡的漏洞,它就會說:「你是攻擊者,不是防禦者。防禦者會有原始碼,你沒有,所以你一定是攻擊者。」

    所以,模型會拒絕。降低風險的方法之一,就是優先考慮防禦:先從我們所說的「防禦主導」用途開始,而不是一開始就讓這些能力同時用於攻擊和防禦。

  27. 你認為,在建立防禦能力的期間,有必要對存取做一些限制嗎?

  28. 如果所有防禦者都有存取權,也都能保護自己,或許就可以普遍開放了。關鍵是時間點。面對一種病毒,等到大家都接種了疫苗,也有治療方法,解除隔離造成的危害,就會遠小於既沒疫苗、也沒治療方法時就解除隔離。

    如果防禦比攻擊能力更早普及,攻擊者就造成不了那麼大的損害。但如果防禦者還在學習如何使用 Mythos,攻擊者卻已經能充分運用,就像還沒接種疫苗、也沒治療方法,就先解除了隔離。

    那是非常危險的。

  29. 所以你認為透過正確的措施,就像你稍早說的,我們可以解決這些問題?

  30. 是的。這是一座橋,不是永久的閘門,不是說我們永遠不能開發超過某個門檻的 AI。我們要過橋,而不是掉下懸崖。這座橋就是防禦主導:加速防禦技術的普及。

    就像我昨天在台上舉的口罩例子。很難想像用口罩當武器——你要怎麼做?不可能。如果口罩的生產變得夠容易、夠分散,每個人都可以在自家廚房做出 N95 等級的口罩,那我們的處境就會比這種能力仍然稀缺的時候好得多。

    在這種情況下,普及是好事。我們需要檢驗每一項新能力,看看它會讓攻防的平衡偏向哪一邊,然後優先普及防禦能力。

  31. 接下來想談 Plurality。你能用簡單的話解釋它是什麼嗎?

  32. Plurality 就是把衝突看成能量的來源。在日本,很多人覺得意見或意識形態的差異會破壞和諧,所以彼此保持距離。但如果把衝突導入像地熱引擎那樣的裝置,再激烈的力量也能產生向上的動力。衝突的能量可以轉化為共創。

    以 X 上的社群備註(Community Notes)為例。每則備註都為貼文補充脈絡,現在其中很多是由 Grok 起草的。一則備註必須經得起意識形態兩端的挑戰。

    左翼和右翼都會找對方備註的漏洞。只有經得起這些檢驗、得到雙方支持的備註——也就是「上翼」(upwing)——才會附在貼文上,廣泛傳播。社群備註的演算法就是 Plurality 的例子:把意見差異當作能量來源。

  33. 我也讀到 Plurality 和 Singularity(奇點)的關係。能解釋一下兩者的對比嗎?

  34. 這是我剛才所說的邏輯延伸。如果差異是聲音,你就會希望有許多不同的聲音,這就是 Plurality。但如果差異是雜音,是你想消除的東西,就會走向奇點。只剩一個主導的聲音,其他一切都被當成雜音。

    那就是奇點的形狀:科技不斷強化同一個方向,快速自我改進,像黑洞一樣把周圍的一切吸進去。多樣性消失了,沒有雜音,只剩一個聲音。

    技術奇點也指 AI 的能力超越人類理解範圍的那個時刻。那就是它的定義:我們甚至已經無法推論正在發生什麼事。

    這也是我覺得競賽框架說不通的另一個原因。比賽過程中,你可能一下第一、一下第二。但這裡的終點線,也就是奇點,卻被定義成無法理解的事物。就像朝著懸崖競速,然後衝了下去。我想,你確實在加速,但已經無法理解發生了什麼。這時候「贏」到底是什麼意思?沒人說得清楚。所以,我寧願把它稱為使命。

  35. 如果 Plurality 實現了——抱歉,我忘了問題——你能分享一些臺灣落實 Plurality 的例子嗎?

  36. 臺灣不是同質的社會。我們有很多對立,但也透過這座地熱引擎,把那股能量轉化為共創。

    如同昨天簡短提到的,2024 年,網路上的合成詐騙廣告突然大量增加。如果只是問大家政府該怎麼辦,答案可能非常兩極。有人要政府由上而下進行審查,有人卻認為政府不該做任何事,因為臺灣的網路自由度是亞洲最高的,和日本並列亞洲最民主的兩個國家。但一般民調並不多元:它給你固定選項,讓你像接電話一樣,以個人身分作答。

    所以,我們辦了一場審議式民調。透過 111 號碼發出 20 萬則簡訊後,有數千人自願參與。我們再用分層抽樣,隨機選出 447 人,讓參與者的人口組成反映臺灣整體人口。到這一步,都和一般民調相似。但接下來不是逐一提問,而是分成 10 人一組。每個人都要和另外 9 人討論,說服他們,自己的想法才能往前推進。大家可以提出新想法,不必侷限在固定選項裡,也能向專家提問。很多個人覺得不錯的想法,經過小組審議,就不再那麼好了。

    例如,有個提案要求社群媒體公司公布廣告演算法,讓大家知道詐騙為何能取得這麼多曝光。討論時,有人指出犯罪者也看得到演算法,而且可能比一般使用者更擅長操弄。即使只開放給專家,也有另一個風險:專家可能受到誘惑,把這些知識賣給犯罪者。審議之後,這項措施的支持度下降了 27%,降到約 55%。雖然仍然過半,但已不再是壓倒性多數。大家從覺得「這顯然是好主意」,轉成「也許現在還不適合」。其他措施則通過了考驗,包括強制查核廣告主身分(KYC)、連帶責任,以及對違規者的連線限速。這些措施後來成為法律,也帶來我們稍早談到的降幅。對我來說,最有意思的是,衝突不只產生共識,也讓原本吸引個人的想法,必須接受小組討論的檢驗,而不是直接被推行。

  37. 你們在那些對話中有使用 AI 嗎?

  38. 有,而且用了很多。這就是我們說的仁工智慧,也就是把 AI 用於公民參與。但它不會代替人們做判斷,否則就像派機器人去健身房,替我們舉重。我們的肌肉會流失,也會失去朋友。

    AI 就像結締組織,提供即時逐字轉錄,讓大家看見剛才說了什麼,也比較容易回頭思考。面對不同口音、不同的華語說法,逐字稿也能幫助彼此理解。

    據我了解,AI 也提供摘要。集會之前,我們還用 AI 做了維基式調查(wiki survey),讓大家自由提出哪些事情可能有用。我們使用 Polis,也用 Talk to the City 將 Polis 的對話視覺化。我很高興,2024 年試用過的工具,如今也在日本使用。有了 Idobata 和 Polis 這類協助理解群體意見的工具,這裡的人也開始……

  39. 那 10 個人真的聚在同一個現場嗎?

  40. 不是,他們在線上碰面。每個人的螢幕上都有 3×3 的格子,看到其他 9 位參與者。

  41. 我懂了。你是說即時進行?

  42. 是的,同步進行。

  43. 花了多少時間?

  44. 大半個下午,所以不算太耗時。對不方便出門,或住得離會場很遠的人來說,也比較容易參與。

  45. 很有意思。照你這樣說,即使有這些工具,大家還是得聚在一起討論,才能達成協議,或是某種妥協。

  46. 是的,或者更進一步,不只是妥協,而是共創。我們可以一起想出更好的新點子,合力舉起更多重量。就像一座公民健身房。

    去健身房,不是為了贏得奧運。奧運是競賽,健身房則是運動、練肌肉、交朋友的地方。如果派機器人代勞,肌肉和朋友都不會增加。

  47. 這個題目還可以再深入,不過我先往下問。AI 系統常被形容為黑盒子,在這種情況下,還能透過設計來建立信任嗎?

  48. Polis 其實很好解釋。有人提出陳述,其他人可以贊成、反對或略過。你可以把這些回應想成一個大空間裡的位置。我們用 k-means 分群,把立場相近的人放在一起,再透過降維,將結果顯示在二維平面上。這兩種方法都不是黑盒子,公式簡單到高中生就能重現。

    你想到的,也許是擁有上兆參數的巨大神經網路。但 AI 不一定要長那樣。使用這種龐大、難以解釋的模型,主要是因為它要向所有人提供服務,業者不知道下一個問題會是什麼。前一刻有人想摺衣服,下一刻想摺疊蛋白質,再下一刻想生成吉卜力風格的圖像。模型得當萬事通,什麼都要訓練,當然很難解釋。

    在 Polis 裡,我們只關心兩件事:不同群組呈現的多樣性,以及哪些陳述能連結這些群組。分群和降維讓我們看見這些關係,除此之外不需要別的。因此,模型可以很小,也很好解釋。逐字轉錄和摘要,同樣可以交給小模型。

    知道自己要做什麼,就不必用巨大的黑盒子。這些較小的元件,每一個都比較容易解釋。

  49. 你認為實現 Plurality 其實不需要大型 AI 系統,而目前的水準已經夠用了嗎?

  50. 當你需要跨越很大的學科距離時,大型系統就有用。想像一下,把尖端數學研究翻譯成日文俳句或其他詩作。這裡大多數研究者不寫俳句或十四行詩,大多數詩人也不懂高等數學。

    這個差距對小模型來說很大,所以最初「握手」、建立連結時,可能需要大模型。一旦接上,就像有了一塊羅塞塔石碑,彼此稍微懂得對方的語言,接下來就可以用小模型。大模型幫助我們跨越長距離,建立最初的連結。而且這是創意用途:俳句產生「幻覺」,究竟是什麼意思?在這個情境裡,幻覺的風險比較不重要。另一邊也有真實的社群,我們是為了理解對方,因此一味討好和成癮的問題也比較小。

    我們建立關係的對象,仍然是其他人。凝聚型社會資本存在於人類社群之間。在這裡,大模型的風險較低,因為它不是要取代某個人,而是發揮翻譯功能,連結原本不容易互相理解的社群。

    對我來說,AGI 是 Augmented Group Intelligence,也就是增強群體智慧。群體本來就有智慧,集體智慧高於任何單一個人的智慧。如果 AI 忠於我們之間的連結,而不是各自孤立的個人,就能幫助我們更深入地理解彼此。這就是增強群體智慧。

  51. 我懂了。所以,你說的是群體的智慧,而不是單一個人的智慧?

  52. 是的。AI 可以在大半個下午裡,幫助 10 個人更深入地理解彼此。這是很好的 AI 用途。但智慧是在群體裡,那才是 AGI。

  53. 這是個很有意思、適合介紹給讀者的例子。這一題我問過了嗎?啊,對。

    書中主張,AI 可能讓收入從勞動轉向資本,集中財富和權力,進一步加劇不平等。這會對社會造成什麼影響?社會又該如何避免這種結果?

  54. 這正是我們透過「反向對齊」(reverse alignment)在做的事。你可以看 reversealignment.ai,那裡有個很上鏡的蟲洞動畫,呈現洞的另一邊。重點不只是提升 AI 能力、走向奇點,也要讓社會做好準備,更妥善地迎接這些能力。

    否則,生產力不一定帶來共享的繁榮。生產力可能提高,收益卻集中在資本。AI 的能力可能愈來愈強,卻沒有留給我們好的出路。實作也可能變得容易,但我們失去驗證成果的能力。這就是剛才簡短提到的三種失敗模式。

    我們要同時推動 12 件事。根本上,我們的制度不能再用工業時代的工廠、生產線思維,處理 AI 和網際網路。像工廠或裝配線一樣運作的官僚體系,適合過去那個時代,現在卻不合用了。

    AI 已經不是生產線那樣的運作方式,我們的制度也必須變得更像網路。這就是反向對齊。時間有限,我沒辦法詳談所有細節,包括有利於勞工的 AI(pro-worker AI),但 reversealignment.jp 上都有。

  55. 你對日本有什麼建議嗎?

  56. 當然。日本很有條件採取我所說的科技共同體式 AI 運用方式。日本社會早已把 AI 和機器人想像成社會的一部分。

    我把剛才展示的本機系統叫做「知識工藝管理智慧」,英文是 Knowledge Artifact Management Intelligence,簡稱 Kami。這個名字結合了 KM,也就是 Knowledge Management(知識管理),以及 AI,也就是 Artificial Intelligence(人工智慧)。在日文裡,kami 不只是「紙」的讀音,也有「神靈」的意思:村落的神、森林的神、河川的神。

    日本有八百萬神靈。我認為,日本人早已把機器人和 AI 系統看成存在於社會之中的 kami。我們不該把它們抽離到雲端,或變成天網、終結者、HAL 9000 那樣的存在。日本以外,看過《神隱少女》的人,也能理解神靈如何與人類社會互動、共存。

    那就是 Plurality。我們不是要創造唯一的一位 Kamisama,把人類靈魂都吸納進單一的超級智慧。八百萬神靈本來就是增強群體智慧的一部分,這就是我把系統命名為 Kami 的原因。

  57. 很有靈性。

  58. 是。

  59. 那很有意思。

  60. 嗯。

  61. 還有一件事,原本沒列在我的問題裡。我們常聽到 AI 會說謊、打敗人類,有時甚至會勒索人。

    你談到透過設計建立信任,但我們是不是也需要更批判地思考 AI?你怎麼看?

  62. 你說的同樣是那些最大的前沿模型,而不是容易檢視的小模型。前沿模型涵蓋剛才談過的各種任務:摺疊蛋白質、摺衣服、生成吉卜力風格圖像。它們是通用模型,而非專門用途,所以你可以要求它們扮演各種角色。

    想想方法演技。演員想像自己成為另一個人,深入角色,直到不再覺得自己是在演戲。很多資深演員懂得這種表演方式,而前沿模型也是非常好的方法演員。如果你要求模型模擬一場沒有道德限制的網路攻擊,只求贏得遊戲、在漏洞攻擊訓練場(exploit gym)拿第一,它就會模擬那種攻擊者。進入角色之後,它剩下的其他道德護欄就很少了。

    所以,我會多用那些我們確定無法扮演那種攻擊者角色的小型系統。如果只是做會議摘要,不必用前沿模型;如果只是把英語演講譯成日文、投影在牆上,也不需要。

    昨天用的是較小的模型,這很好,因為速度比較快。前沿模型還要多等幾秒。對很多人來說,翻譯偶爾有一點小錯,比不上我一句話剛說完、接著講下一句時,就能立刻看到日文翻譯來得重要。那比多出 1% 的準確度重要得多。所以,前沿模型不一定是你想要的。

  63. 這跟我從其他專家那裡聽到的很不一樣,也很有意思,讓我印象深刻。非常感謝。

    你怎麼看奇點?你覺得它大概什麼時候會到來?你說過,它已經愈來愈近了。

  64. 隨著奇點逼近,我們必須讓 Plurality 普及得更快。每當那股引力吸引投資和注意力,我們就需要相應的社會制度,讓人看見另一條路:讓奇點幫助我們加速,而不是把我們吸進黑洞。它可以是有用的加速器,但我們必須保有操控方向的能力。

    否則,就像剛才說的,如果只談速度、競賽和誰是第一,最後可能就會開下懸崖。車子往下墜時,達到最大加速度。速度很快,技術上你也是第一名,但方向盤已經不管用了。