不是。比較可能的，其實是像我們之前 social media 的狀況，就是大家覺得說把大家連結起來很棒，但是可能沒有想到很容易就出現在上面會極化、會激化對立等等的這些問題，成癮等等這些問題。
所以就是說，在整個社會準備好之前就飆到那個地方，當然你說能力也許是可以開發到那裡，但是適不適合部署，適不適合放到這個社會上，這另外一個問題。
C-beams。
就是 o3 出來的時候。
就是以算數學來講。
不是每一個方面，算數學。
數學能力的。
就好像解決西洋棋一樣，把它解決掉。
就跟下圍棋一樣，它因為不需要跟物理世界互動。
沒關係，事後可以剪。
對，這非常好的問題，我覺得這個要分兩個講。
第一個是說，剛剛不好意思打斷你，但是這恰好可以證明說所謂 AGI 看起來是通用，但它其實是分成完全符號世界的，跟它還是要跟真實世界互動的。
那現在像 o3 這個系列，它有正確答案的跟符號世界互動的，很容易就做到比一般的人類好，甚至接下來比專家好，甚至比一般的數學家好。但不表示說 o3 這個系列它可以就很容易的明白人情世故，也就是跟真實世界互動的部分，它的 EQ 可能就沒有那麼高，或者甚至 IQ 裡面它涉及跟真實世界互動的部分，可能就沒有那麼強。
所以它會有一個先後，那這個就跟剛剛我講轉方向盤是很類似的。如果我們覺得說讓它來證明一些數學定理，或者是摺疊一些蛋白質，它主要就是對社會有幫助的用法，比較不會是造成大規模殺傷的這種用法的話，那我覺得這部分就可以儘量的去發展。
所以現在大家也在講說，那我們在很多 AI 的研究裡面，很多研究的部分它需要一些軟體工程的技術，好比像說你寫一個 kernel 函式、要最佳化它等等，這個是完全符號世界的東西，幾乎啦！而且有正確答案，所以這些細瑣的事情也就可以用 AI 來自動化。
所以很可能最後發展出來，就是像我們這些學程式設計的，可能程式的部分都交給 AI，設計的部分再留下來到我們身上，我們變成只是當架構師，沒有什麼別的需要我們做的事情。
對，號稱什麼全世界第 170 幾名。
不過那樣做出來的話，我們沒有免疫系統。
所以那是屬於 bio-risk……
說要踩煞車。
它當然可能做到像我剛剛講到程式設計這邊的狀態，就是說像陶哲軒這樣子的數學家，到最後就變成是他用他的 intuition，用他的直覺，他只要說這邊去看這條思路，去看那條思路，但所有機械性的工作全部都是 AI。
他的生產力就可以變得非常高。
我剛剛並不是說陶哲軒的直覺比 AI 厲害。
就是說他的直覺，因為他就像程式設計一樣，就是有往程式的那一面，跟往設計的這一面。往設計的這一面是往人，所以陶哲軒的直覺，讓他可以把 AI 做出來的結果，帶回到人類社會裡面來。
像最近有一本書叫做《創世紀》，季辛吉他們寫的，他裡面講的就是說，如果我們不靠這個轉譯的這一群人，我們一下子就好像探到最底。他是把它想成說像數學、物理、工程的各個學門好像一座一座小島，那我們這些做研究的，就是有點像是在那個小島的邊緣往外推，但是其實從 AI 的角度來看，這些小島底下都是連在一起的。
但是他在那邊說，我現在得到這個定理、得到這個定理、得到這個定理，它離我們比較遠，所以就是有一點帶不回來，我覺得中間還是會需要有人，把它帶回人類社會來，變成對人類社會還是有意義的。
對。所以現在有一派的講法就是說，那我們人類就慢慢都戴上所謂的 exocortex。有這個 exocortex……
外皮質。那戴一戴就大家都可以當這個 bridge，這也是一種想法。有一本科幻小說（註：《Blindsight》），很久以前就……
自己決定要回答到什麼程度。
對，就煞車跟油門都變成 AI 在踩。
引擎。
用合成資料訓練就會變這樣。
…… 煞車板就我們做的，在我這。
車上的驅動程式。
但是大概可以分成兩個方向來談。
一個是說大家還不是很確定，到最後做出如果是在數學上、物理上，或各個方面越來越超過人類的理解，就它可以鑽到水下很深的地方，這樣的 AI 合乎人類社會的期待到底多困難？這是一個還不確定的問題，就是你對齊加上控制的程度，這台車到底會不會哪一天它就突然間你踩煞車沒用了，對，這是一個大問題，這個問題先放一邊。
另外一邊是，我們多快會必須要回答這個問題？這是兩個軸線，就是說它對齊到底多困難，以及它到底這個 timeline，就是它多快到達我們非回答這個問題不可的狀況。如果對齊問題很困難，就是幾乎不可能馴化它，那這個情況下，任何你剛講到的什麼強權之間的爭鬥，不管誰贏，都是 AI 贏啦！
那就不是誰先跑到終點線，而是誰先踩到地雷，踩到大家一起死，所以這是這個軸控制的。
另外一個軸控制的就是說，好，那如果這個很困難或者是沒有辦法對齊，那當然都應該踩煞車。但是我們多快會知道這件事情？我們如果有多一點點時間，好比說有七、八年以上的時間，那這樣的話大家合作是比較好的一個策略，就是大家先去看這邊對齊有沒有問題、那邊對齊有沒有問題。然後一旦出現問題，或出現小規模的災難，像剛剛講到的 bio-risk，還沒有出現，只要有可能出現，趕快就通知大家等等，所以這樣子的話，當然是一個合作比較好的賽局。
但是，如果你好比像說兩、三年之內就要面對這個問題，誰也沒有機會去把社會準備好，突然之間就會變成一個競爭的賽局，因為你就會賭說我會是第一個拿到的，然後拿到 Super Intelligence 之後，我賭它是可以對齊的，所以快慢跟對齊容易與否，決定這三種不同的策略。
對，沒錯。
對啊！我從 2012 年就開始跟他們吵這個。
自己把自己的這個 weights、權重，copy 到別的地方。
我們逃到火星，它就跟著我們到火星。
我有看那一段。
對，很多人是把，舉例來說像做短影音社交平台上面的演算法對不對齊。
就是說對不對齊人類的利益，當成一個問題嘛！
所以這分成兩個部分，一個部分是說你有沒有發展對人類整體社會有幫助的、而不是有害的東西。但另外一個是你剛剛講到它會不會 out of control，就是它會不會自己開始出現動機，然後就沒有辦法控制它，所以這兩個是不同的層面。
很多人是覺得說，包含我，我們越能夠去把比較軟的這個部分把它對齊，就是把已經存在於人類社會裡面的 AI，包含社群媒體的推薦演算法，我們越有把它對齊的經驗，我們就越知道說當它的能力越來越強的時候，我們要怎麼轉這個方向盤。
我們如果連這個程度都解決不了，那這樣子等它能力越來越強的時候，那即使它不會自己把自己拷出去，也不能說不會有黑帽駭客把它拷出去。即使它不會自己跑去合成什麼生物病毒，你也不能說沒有恐怖分子拿它去合成生物病毒。只是說它不是自己做，它是由壞人拿去做，可是造成的傷害、損害是一樣的。
