前Anthropic研究員Jacob Coxon在紐約市議會聽證會作證,指按照目前發展路徑,人類失去對人工智能(AI)控制的可能性超過5成,結局可能是人類滅絕。Coxon指,在人類仍未知道如何控制任何AI系統的同時;AI的能力正加速提升,正在接近AI系統能夠自我改進的臨界點。他批評行業以初創企業的思維運作——「快速行動,打破常規,以後再修」,指做法極其魯莽。
同場作證的前Google DeepMind研究員Alex Turner估計,AI接管人類文明的概率「大約是3分之1」;前OpenAI研究員Daniel Kokotajlo則警告,科技公司即使保住對AI的控制,也可能借此成為「獨裁者或寡頭」。
紐約市正討論一攬子監管人工智能的法案,包括AI系統未經外部專家審查,不得在五大區營銷、銷售或部署;在紐約使用的任何AI工具,須配備「緊急停止開關」。另一法案建議設立全美首個現金獎勵舉報的制度。之前,紐約州長霍楚爾已宣布,AI公司須自11月起在政府平台註冊,並在72小時內報告重大安全事件。