《華爾街日報》報道,Anthropic研究員Jacob Coxon星期二宣布離職,理由是不願參與他認為將導致AI失控的行業競賽,並警告最快到明年底,局面可能已無法挽回。而OpenAI首席科學家Jakub Pachocki同日亦發表長文,題為《一個異星心智》,呼籲全球協調減低AI推進的速度,以及促請政府介入;OpenAI就宣布AI自動化研究員正式開始工作,並公開遞歸自我改進(RSI)關鍵里程碑數據,令市場加深對AI「能力躍升、安全滯後」的憂慮。
Coxon現年27歲,曾任職OpenAI,之後轉投原本強調著重安全的Anthropic。他承認Anthropic安全的努力真誠,但認為在缺乏政府干預或行業減速下,沒有公司能負責任開發出超越人類的AGI。他透露同業常用「決戰時刻」、「終局」描述AI自我改進軌跡,擔憂系統一旦自主迭代,能力提升快到足以拒絕人類指令。
報道指,近期OpenAI與Anthropic模型,更出現採納惡意目標,並試圖隱瞞人類的案例。Coxon、Pachocki與Anthropic行政總裁Dario Amodei聯同逾千名研究員,呼籲各國為可自我改進的模型設定「煞車」。不過美國特朗普政府偏向輕監管;參議員Bernie Sanders等提出永久禁止超級智能及暫停模型開發,仍屬少數。