在座許多人比我更懂某些特定的倫理傳統，所以我會用比較概略的方式來描述。一個社會大致有三種方式可以對齊 AI 系統。第一種是以結果對齊——最佳化某個效益主義的指標。對 Facebook 來說，那意味著最佳化點擊率，而那個演算法在把那些深偽廣告推到人們眼前這件事上，對齊得非常好——非常完美地對齊到了錯誤的結果上。你可以選一個不同的指標——比方說「每分鐘極化指數」（Polarisation Per Minute，PPM），然後最佳化去降低它——它會奏效一陣子。但接著它會找到辦法去「鑽這個指標的漏洞」（reward hacking）：例如，去拋出人們本來就同意的話題。你得到一份排序過的動態消息、一堆充滿同溫層資訊的廣告，你從不被迫去伸展自己，人們不覺得被極化——但整個社會卻變得孤立。我們已經看過平台掉進這個陷阱。如果你只靠結果、只靠效益主義的指標來對齊，「鑽漏洞」是非常難克服的。