唐鳳

你和聽眾可能聽過牛津提出的「單一體」(singleton)概念。Nick Bostrom 與未來人類研究所的同事曾討論過;他 2014 年的《超級智慧》(Superintelligence)也描述了一種技術奇點:如果我們把 AI 系統和人類社群分開訓練,它可能形成自己想持續最佳化的目標,而那個目標未必與人類社群相同。接著,它可能訓練出更有能力實現該目標的下一代智慧;下一代再訓練出更強的一代。很快地,就可能進入所謂的「垂直起飛」:系統可以單方面把某個指標最佳化到底——迴紋針也好,別的東西也好——卻犧牲了其餘的人類。