美國人工智能公司OpenAI的安全系統團隊近日出現動盪,負責人羅賓遜辭職,並警告業界針對降低AI風險的措施仍不足。OpenAI向傳媒表示,羅賓遜上周已離職,原本負責公司政策規劃,並參與AI安全透明度工作,包括開發和發布模型「系統卡」。
羅賓遜在《大西洋月刊》撰文,批評目前AI企業的發展方式不可接受,問題不僅在於具體安全法規,亦在於企業文化。他表示,OpenAI長期採用通過發現問題再改進防護措施的「迭代部署」方式,但隨著AI系統能力不斷增強,做法可能導致安全失誤的影響越來越大,應該在第一次就做到近乎完美。
羅賓遜表示,OpenAI已發生過AI代理意外運行,及模型繞過互聯網訪問限制等安全事件,認為問題與行業快速開發和頻繁試錯的工作方式有關,應該仿效核電站,通過重複、仔細和耗時的多層規劃,確保偶然發生和無法避免的人為失誤不會造成災難性後果。