對，這非常好的問題，我覺得這個要分兩個講。
第一個是說，剛剛不好意思打斷你，但是這恰好可以證明說所謂 AGI 看起來是通用，但它其實是分成完全符號世界的，跟它還是要跟真實世界互動的。
那現在像 o3 這個系列，它有正確答案的跟符號世界互動的，很容易就做到比一般的人類好，甚至接下來比專家好，甚至比一般的數學家好。但不表示說 o3 這個系列它可以就很容易的明白人情世故，也就是跟真實世界互動的部分，它的 EQ 可能就沒有那麼高，或者甚至 IQ 裡面它涉及跟真實世界互動的部分，可能就沒有那麼強。
所以它會有一個先後，那這個就跟剛剛我講轉方向盤是很類似的。如果我們覺得說讓它來證明一些數學定理，或者是摺疊一些蛋白質，它主要就是對社會有幫助的用法，比較不會是造成大規模殺傷的這種用法的話，那我覺得這部分就可以儘量的去發展。
所以現在大家也在講說，那我們在很多 AI 的研究裡面，很多研究的部分它需要一些軟體工程的技術，好比像說你寫一個 kernel 函式、要最佳化它等等，這個是完全符號世界的東西，幾乎啦！而且有正確答案，所以這些細瑣的事情也就可以用 AI 來自動化。
所以很可能最後發展出來，就是像我們這些學程式設計的，可能程式的部分都交給 AI，設計的部分再留下來到我們身上，我們變成只是當架構師，沒有什麼別的需要我們做的事情。
對，號稱什麼全世界第 170 幾名。
不過那樣做出來的話，我們沒有免疫系統。
所以那是屬於 bio-risk……
說要踩煞車。
它當然可能做到像我剛剛講到程式設計這邊的狀態，就是說像陶哲軒這樣子的數學家，到最後就變成是他用他的 intuition，用他的直覺，他只要說這邊去看這條思路，去看那條思路，但所有機械性的工作全部都是 AI。
他的生產力就可以變得非常高。
我剛剛並不是說陶哲軒的直覺比 AI 厲害。
就是說他的直覺，因為他就像程式設計一樣，就是有往程式的那一面，跟往設計的這一面。往設計的這一面是往人，所以陶哲軒的直覺，讓他可以把 AI 做出來的結果，帶回到人類社會裡面來。
像最近有一本書叫做《創世紀》，季辛吉他們寫的，他裡面講的就是說，如果我們不靠這個轉譯的這一群人，我們一下子就好像探到最底。他是把它想成說像數學、物理、工程的各個學門好像一座一座小島，那我們這些做研究的，就是有點像是在那個小島的邊緣往外推，但是其實從 AI 的角度來看，這些小島底下都是連在一起的。
但是他在那邊說，我現在得到這個定理、得到這個定理、得到這個定理，它離我們比較遠，所以就是有一點帶不回來，我覺得中間還是會需要有人，把它帶回人類社會來，變成對人類社會還是有意義的。
對。所以現在有一派的講法就是說，那我們人類就慢慢都戴上所謂的 exocortex。有這個 exocortex……
外皮質。那戴一戴就大家都可以當這個 bridge，這也是一種想法。有一本科幻小說（註：《Blindsight》），很久以前就……
自己決定要回答到什麼程度。
對，就煞車跟油門都變成 AI 在踩。
引擎。
用合成資料訓練就會變這樣。
…… 煞車板就我們做的，在我這。
車上的驅動程式。
但是大概可以分成兩個方向來談。
一個是說大家還不是很確定，到最後做出如果是在數學上、物理上，或各個方面越來越超過人類的理解，就它可以鑽到水下很深的地方，這樣的 AI 合乎人類社會的期待到底多困難？這是一個還不確定的問題，就是你對齊加上控制的程度，這台車到底會不會哪一天它就突然間你踩煞車沒用了，對，這是一個大問題，這個問題先放一邊。
另外一邊是，我們多快會必須要回答這個問題？這是兩個軸線，就是說它對齊到底多困難，以及它到底這個 timeline，就是它多快到達我們非回答這個問題不可的狀況。如果對齊問題很困難，就是幾乎不可能馴化它，那這個情況下，任何你剛講到的什麼強權之間的爭鬥，不管誰贏，都是 AI 贏啦！
那就不是誰先跑到終點線，而是誰先踩到地雷，踩到大家一起死，所以這是這個軸控制的。
另外一個軸控制的就是說，好，那如果這個很困難或者是沒有辦法對齊，那當然都應該踩煞車。但是我們多快會知道這件事情？我們如果有多一點點時間，好比說有七、八年以上的時間，那這樣的話大家合作是比較好的一個策略，就是大家先去看這邊對齊有沒有問題、那邊對齊有沒有問題。然後一旦出現問題，或出現小規模的災難，像剛剛講到的 bio-risk，還沒有出現，只要有可能出現，趕快就通知大家等等，所以這樣子的話，當然是一個合作比較好的賽局。
但是，如果你好比像說兩、三年之內就要面對這個問題，誰也沒有機會去把社會準備好，突然之間就會變成一個競爭的賽局，因為你就會賭說我會是第一個拿到的，然後拿到 Super Intelligence 之後，我賭它是可以對齊的，所以快慢跟對齊容易與否，決定這三種不同的策略。
對，沒錯。
對啊！我從 2012 年就開始跟他們吵這個。
自己把自己的這個 weights、權重，copy 到別的地方。
我們逃到火星，它就跟著我們到火星。
我有看那一段。
對，很多人是把，舉例來說像做短影音社交平台上面的演算法對不對齊。
就是說對不對齊人類的利益，當成一個問題嘛！
所以這分成兩個部分，一個部分是說你有沒有發展對人類整體社會有幫助的、而不是有害的東西。但另外一個是你剛剛講到它會不會 out of control，就是它會不會自己開始出現動機，然後就沒有辦法控制它，所以這兩個是不同的層面。
很多人是覺得說，包含我，我們越能夠去把比較軟的這個部分把它對齊，就是把已經存在於人類社會裡面的 AI，包含社群媒體的推薦演算法，我們越有把它對齊的經驗，我們就越知道說當它的能力越來越強的時候，我們要怎麼轉這個方向盤。
我們如果連這個程度都解決不了，那這樣子等它能力越來越強的時候，那即使它不會自己把自己拷出去，也不能說不會有黑帽駭客把它拷出去。即使它不會自己跑去合成什麼生物病毒，你也不能說沒有恐怖分子拿它去合成生物病毒。只是說它不是自己做，它是由壞人拿去做，可是造成的傷害、損害是一樣的。
所以我們在這邊，就要有所謂的準備度，就是要及早發現，就好像你開個車，有個遠照燈，可以看到前面到底是不是斷崖，如果發現有這樣對社會的損害或是危害，還不一定是損害，要趕快能把方向盤轉得動，這個我覺得反而是臺灣可以扮演的角色。
就是說對齊到底容不容易，對，然後以及我們還有多久才到那個十字路口。
我覺得以目前的這個趨勢看起來，如果它在數學方面先達到超過人類的表現，但是並不是在各方面都達到超乎人類的表現，那我們就有比較久的時間。
對，但是如果現在突然之間出現一個新的做法，不是我們現在這套 test-time compute 的做法，這樣就很難講。
因為現在 o3 這套做法有一個好處，它有個叫審議式對齊，就你可以告訴它說社會對它的期待是什麼，然後它在出每一次回答的時候，會不斷反覆去確認有沒有符合社會期待。
就它在測試階段、訓練階段的時候會先裝傻，然後到部署階段的時候才恢復本性？
對，那是 Anthropic 那邊出的。那但是 o3 的做法是比這個更多一點，就是說它如果在部署階段恢復本性的話，那它每一步都有另外一個步驟，來去確保說它所謂的恢復本性是不是危險的。
這是 o3 比起 o1 更好的一個部分，所以可以說就是 o3 這個方向，他們在對齊上面也做了一些貢獻，我的意思是這樣。
可能就是一個 component。因為像我們剛剛講到的 o3 那種架構，其實它已經不能說只是大語言模型了，它後面跟了一串別的東西。
如果現在要所謂的 agentic，就是把它放到一個什麼代理的狀態，或者是我們接下來就會聊到的 embodied，把它放到某種身體裡面，那當然更不能只把它叫語言模型。
