當然，但它可以包含目前的人類心智。
嗯，我們稱之為工廠。它們已經存在了。真的有自己運作的工廠。
當然，我同意。而且感謝可擴展的治理和協作 AI，人類社群也將比我們今天能想像的更加明智。所以我們將能夠將這個自動化工廠與處於人類迴圈中的 AI 匹配，而人類本身也將變得更加明智。
「群才」（Scenius）當然比天才（Genius）更聰明。
嗯，這是我正在引導的方向，但目前，我們正處於一個分岔路口，這就是為什麼我做出這個非常高變異數的預測。所以是的，我想去這裡，但我不知道我們在哪裡。
完全正確，而且因為在架構上，我們確實看到了上一代的架構，RNN、LSTM 等等，更容易檢查和引導。這是因為我們以前飛過其他飛機，當然小得多，對吧？
我們駕駛過 RNN、LSTM 等等，它們相當可解釋。人們確實知道它要去哪裡，當我們轉向這個地方時，它不會做急左轉。
我認為目前的混亂很大一部分是因為二次方自注意力轉換器（quadratic self-attention transformer）架構，這實際上模糊了因果關係。正因為如此，我們甚至不知道這架飛機把它的意圖藏在哪裡，或者它是否隱藏了意圖。就我們所知，它可能隱藏了所有意圖，對吧？
所以我認為明顯的答案是換一架飛機。與其使用一匹可能裡面有間諜也可能沒有的木馬，不如換一匹透明的玻璃或水晶馬，可以直接看透。所以我認為在架構上，只要我們回到某種機械可解釋性高得多的東西，那麼我們可能就在一架大概知道去哪裡的飛機上，我的變異數就會變窄。
嗯，你剛剛描述了文明，對吧？所以即使在機器學習系統出現之前，如果你繪製人類的「群才」，它看起來也是這樣，對吧？所以我們本質上是在遞迴地改進我們自己。
所以是的，如果你讓它在爬升規模時變成，我不知道，超指數級（super exponential），這是可能的。
現在，問題是，你是在為了優化某個數字（如困惑度 perplexity 或其他東西）而爬升，從而損害、犧牲其他重要的美德、其他重要的關係嗎？還是你只是「滿意即可」（satisficing），在這個特定測量上夠好就好，然後就可以去實踐關懷六力？
我認為注意力的分佈在哪裡，我想是問題所在。我實際上不質疑我們能爬多高。而是我們會不會爬太高而燒毀我們的翅膀，就像伊卡洛斯（Icarus）的故事一樣。
嗯，我認為 Yuval Harari（哈拉瑞），也是我的朋友，主張從某種意義上說，農產品、作物馴化了人類，而不是反過來，這在第一直覺上相當荒謬，因為它們這麼慢，對吧？
農民實際上比玉米或稻米生長的速度快數千倍，甚至數百萬倍。稻米無法做任何事情來阻止農民實際上每隔一秒就推平田地。但他們沒有那樣做，因為他們被植物馴化了。
如果你接受 Harari 的論點，那麼你就會得到關懷六力的想法。
嗯哼。
是啊，有些狼無法跟隨人類的視線，最終沒有變成馴化的狗，順便說一句，狗也馴化了人類。我們的視線跟隨演算法受到了狗的影響。
對，這就是為什麼，正如我提到的，任何單一指標，在你的例子中是蘋果的「蘋果性」（appleness）、蘋果形狀、蘋果味道，都是不足的。如果你全域地只優化一個代理指標，那就不再是一個好指標。這就是古德哈特定律（Goodhart’s law），其他一切都會被拋在腦後。
所以試圖說這些是值得保留的人性價值，並將其編碼到 Claude 7 憲法中，甚至在其靈魂文件中，並不是萬無一失的情況，因為它總是可以反常地解釋它，以至於實際上沒有其他東西被保留，只剩下一具骨架。如果你是在提出這個論點，我百分之百同意你。
那就是滿意即可（satisficing）。
嗯，看看社交媒體推薦演算法。
你為什麼認為伊隆和，你知道，Bier 和 Baxter 正在重寫 X 演算法，以允許自定義的、利社會的社群策展推薦引擎？
這就是為什麼我們正在致力於「Green Earth」，對吧？提供相同的架構，無論伊隆是否搶先完成，這樣任何其他社交媒體公司都可以使用這種冰箱而不會破壞臭氧層之類的，對吧？
關於《蒙特婁議定書》（Montreal Protocol）的事情是，並不是當人們意識到臭氧層正在耗盡時，就已經有現成的氟利昂（Freon）替代品，而是人們通過了一項「技術強制」（technology forcing）法規，規定「從現在起 X 年後，如果你還在製造破壞臭氧層的冰箱，那麼你就是在犯下反人類罪，應該受到類似的處置。」
我認為這裡的一個關鍵點在於監管環境是否具有技術強制性。我舉一個例子。我想是布希總統推動了電信公司的「號碼可攜性」（number portability）。所以如果你使用一家電信公司，而它在你家附近的接收或其他服務開始變得不好了，你可以切換到另一家電信公司而不必放棄你的電話號碼，因為如果每個人切換電信公司都必須換新號碼，沒多少人會切換。
而贏的情境，如你所說… 我甚至不會把它定在 15%。但有了號碼可攜性，競爭就呈現出不同的形狀。他們實際上必須每個月都讓你滿意，才能保住你的生意。
所以在美國猶他州，他們已經通過了一項法律，規定從 2026 年 7 月開始，如果你是猶他州公民，你從 X 搬到 Bluesky 或 Truth Social（這些是開源的），你可以帶走你所有的社群、所有的新讚、新粉絲、你已經擁有的任何訂閱者、對話等等。舊網路隨後在法律上有義務轉發給新網路，無論它們大小如何。
當然，這對除了主導玩家之外的所有人都有利，但也對所有目前已經考慮跳船但不想放棄社群的人有利。他們被挾持了。所以我的觀點是，激進的可攜性和互操作性（interoperability）可以通過扮演「滿意即可」的角色，與訂閱激勵對齊，讓市場自我修復。
我們在社交媒體上沒有這個。我們在 Podcast、電信和 ATM 等方面有這個。所以我認為在 AI 服務中引入互操作性和情境可攜性也是一種對齊激勵的方法，就像我們討論關於社交媒體那樣。
嗯，會有一個 Foom，就像會有… 已經有了局部的流行病，而在那些從流行病中學到教訓並增強公民肌肉的地方，對大流行病變得更有免疫力。
所以我的觀點不是說壞事不會發生或永遠不會發生，而是它會發生在足夠局部的規模上，所以我們的選擇是我們要忽視它，直到出現更大的火災才學到教訓，直到它真的燒毀文明或烤熟地球，還是我們要從那些小火中學習，然後將它們馴化成篝火而不是野火？
嗯，我覺得那太多字了。通常，我只說「烤熟地球的超熱資料中心工廠機器人」。字少多了，效果一樣。
嗯，我認為根據 RAND 的說法，他們說 AI 系統加上人類有可能找到這種化合物，使其更容易觸發一種閃燃事件（flash event），在沒有協調對話的情況下遞迴地使大氣變得非常非常熱。所以這就像是 Nick Bostrom（也是來自牛津）的「脆弱世界假說」（vulnerable world hypothesis）。
也許是一種化學化合物讓地球變得更熱，而不知何故資料中心、工廠、機器人在這種高溫環境下茁壯成長，而策劃這場行動的人不知何故相信他們可以躲在太空中或以某種方式變成超人類，然後基本上造成地球完全烘烤，使他們受益而其他人受害。所以如果你想談科幻，我認為這比奈米機器人更容易解釋。
嗯，我認為要導致那樣，你需要人類的集體去權（collective disempowerment）。所以每個人都被困在倉鼠滾輪裡，覺得他們實際上在影響未來的時間線，但我們集體變得對任何運算元素製造者的智慧在想什麼無能為力。所以如果沒有集體去權，我不認為會導致那種情境。
我是說，可能到一個「滿意即可」的程度，但不是到「最大化」的程度。
我認為有很多方式讓人們看到新的科學突破可以摧毀，如果不說是字面上的地球，肯定也是我們所知的文明，核彈就是一個主要的例子。還有核彈決定自己爆炸的情境… 那就是急左轉。
但在你的情境中，Claude 只是發布了這樣做的可能性，而沒有實際控制發射按鈕，不，我不認為 Anthropic 的人會按下電源按鈕或發射按鈕。他們為什麼要那樣做？
是的，但首先我們為什麼要指示它那樣做？我們可能會指示它找到防禦主導（defense dominant）的世界，而它可能也會找到那個。
…把它指向哪裡？為什麼要把它指向最具攻擊性主導的光譜？
只有在我們決定，或者製造者決定把它指向那個光譜時才會那樣，但人們更有可能指向防禦主導的光譜，在這種情況下，奈米機器人開始變成輔助智慧（assistive intelligence），並停止成為成癮的、自主的或具威脅性的智慧。
嗯，這真的不是一個數字（not a number），我想 Eliezer 在他的書《如果有人建立了它》（If Anyone Builds It）中也同意這一點。他說：「妳知道，這不是何時（when）的問題，而是是否（whether）會。」所以他沒有固定的時間表，但在時間軸上的某個地方這將會發生。
沒錯。是的，所以奇點臨近了。我們可以爭論它是否更近了，但在這不是一個有用的辯論。問題是多元宇宙已經在這裡了。
嗯，我的意思是，在 SARS 之後，有很多不同的模型預測下一次大流行何時發生。比爾·蓋茲（Bill Gates）很有名地去了很多地方談論這件事的重要性，當然，會有不同的模型。
但臺灣在 SARS 之後，實際上是在 SARS 之後的一天，就致力於我們的大流行反應系統。如果你相信，噢，其實下一個冠狀病毒五十年後才會來，這不是拖延它的藉口。你今天還是應該致力於反應系統。
我不是美國的資安大使，所以我真的沒資格，我也沒真的讀過關於美國目前大流行反應能力的資料。而且我認為重要的是要知道，地震或大流行病，你當然應該投資科學去預測下一次有多近。
但也應該讓局部的、較小的地震… 讓建築物防震，讓連接系統防震，即使不是摧毀整個城市的巨大地震。而大流行病，同樣，有時它們是自我限制的，有時太毒了，所以它永遠不會變成大流行。但對於那七個死去的人來說，這不是一個很好的解釋。你還是應該預防那七個人的死亡。
所以我的重點是，工作可以在局部規模完成。所以如果換冰箱，例如，可以幫助改善、減輕臭氧耗竭，一個人不應該等到某些國家行動。一個人應該今天就開始使用更好的冰箱。
我認為這裡的重點更多是，投資於人體挑戰試驗和其他我們知道當大流行來臨時會有幫助的事情，是否即使在慢性時期也能支付紅利，而不僅僅是針對急性威脅。
