我會說,這整個願景的底層,是一個假設:我們正走向一個分散式人工智慧的世界——許多各不相同、範圍相當狹窄的智慧,每一個都可以對齊到一小群人。這和所謂單一主宰的世界,是非常不同的技術前提;在單一主宰的世界裡,是一個 AI 發展出壓倒性的能力。我對我們正走向哪一種世界沒有強烈的看法;這取決於遞迴自我改進的報酬究竟有多大,以及智慧到底能造成多大的差別。如果領先的前沿 AI 和其他所有 AI 之間出現一道失控的能力鴻溝,那這一切就都無關緊要了。但也許我們最後不會走到那裡。也許我們得到的更接近 Iain Banks 的 Culture 系列小說——非常非常多的 AI 智慧體,各不相同但大致相當,能力彼此重疊——而那時,如何對齊它們的這場討論,就是我們需要的討論。