功利主義的偏好加總，是超級智慧文獻中的經典失效模式之一。它叫做工具性趨同。簡單說，如果你告訴演算法注意力是好的、讓人持續滑動是好的，然後給它一個人們花在螢幕上時間的量測，要求它最大化那個數字，一開始它會展示有趣內容和好的對話。