彭博報道指,人工智能熱潮初期,不少銀行財務總監一度容許科技團隊無限使用,但在太多意外賬單出現後,控制AI成本成為當務之急,尤其代理式AI可自主處理複雜任務,雖然被視為可提升生產力,但每項任務耗用的算力難以預測,令預算編製困難。
貝恩公司(Bain & Co.)合夥人Bhavi Mehta表示,組織內沒有人能夠回答某項任務的真正成本;隨AI走向更複雜的推理及智能體工作流程,單項任務所需tokens差異很大。AI基準機構Evident數據顯示,全球50大銀行中,僅12家公開交代AI帶來的預期或已實現回報。
報道指,各銀行的節流手法五花八門。德意志銀行監控發現個別員工消耗大量tokens,但多屬有效工作,銀行選擇引導而非截斷,並以小型專門模型處理特定任務,成本大減數倍。西班牙桑坦德銀行限制大型前沿模型只是用於檢查應用質量,成熟工作轉交輕量模型,每筆貸款審批成本由約5歐元降至0.03歐元。加拿大帝國商業銀行(CIBC)發現,最強模型每名員工每月成本高達3000加元,於是限制只有幾百人可以使用。
成本問題令中國模型進入視野。摩根大通私人銀行7月報告指,智譜(02513.HK)的GLM模型表現媲美3月時的最佳模型,成本低逾80%;新加坡大華銀行及星展銀行均表示採用開放模型策略,包括使用中國的模型。
報道又指,摩根大通年度AI開支約7億美元,現時對部分工程師使用Claude Code設定每月2000美元限額。法國巴黎銀行則在每個AI項目獲批前計算運行成本,大部分算力以自購晶片應付。