Google揭示”空白參數”錯誤如何刪除了價值1350億美元的客戶帳戶
Google Cloud最糟糕的噩夢之一成真了,一個令人尷尬的故障導致它完全刪除了一個大型客戶的帳戶和資料備份。不幸的受害者是澳洲退休基金UniSuper,該基金為60 萬多名成員管理高達1,350 億美元的資產。該退休基金因此有長達兩個星期無法全面運作,只能慌忙從第三方備份中恢復。
事件始於5 月2 日,當時UniSuper 突然無法存取其託管在Google Cloud上的所有資料和服務,包括備份。不久後,兩家公司發表聯合聲明,承認是”不經意的錯誤配置”導致了資料刪除,但具體細節卻語焉不詳。 UniSuper 在5 月15 日完成全面恢復後才得以重新上線。
本週,Google終於詳細說明了出錯的具體原因。顯然,該公司有人在使用內部工具來設定UniSuper 私有雲服務時,不小心將一個參數留空。這個看似微小的失誤卻造成了災難性的後果:UniSuper 的帳戶被標記為在固定期限後自動刪除。
Google已就此事發布了簡要說明:
“在使用內部工具為客戶初步部署Google Cloud虛擬機器引擎(GCVE)私有雲期間,Google操作員無意中錯誤配置了GCVE 服務,原因是將一個參數留空。這造成了意想不到的未知後果,即客戶的GCVE 私有雲被預設為固定期限,並在期限結束時自動刪除。
事故發生後,Google指出,”客戶和Google團隊經過幾天全天候的努力,恢復了客戶的GCVE 私有云,恢復了網絡和安全配置,恢復了應用程序,並恢復了數據,以恢復全面運營。”
Google也承認沒有觸發”客戶通知”,因為這是透過Google內部工具無意中刪除的。整個事件肯定會讓大客戶UniSuper 感到震驚。
關於UniSuper儲存在Google Cloud儲存中的備份是否真的被刪除,存在著相互矛盾的資訊。最初,UniSuper 聲稱它不得不依賴第三方備份,因為它的Google備份也不見了。但Google的部落格稱,雲端備份不受影響,而且在恢復過程中”發揮了作用”。
值得稱讚的是,Google承諾採取廣泛的”補救”措施,以確保這種情況不再發生。他們已經刪除了有問題的內部工具,並將該功能轉移到客戶控制的介面上。他們還清理了自己的資料庫,並確認沒有其他Google Cloud帳號因配置不當而被刪除。
該公司重申,已採取強有力的刪除保障措施,包括軟刪除、提前通知和人工審批檢查。
對於數百萬雲端客戶來說,這無疑是一個令人震驚的事件,但谷歌強調這只是一個影響到單一客戶的”孤立事件”。他們堅稱不存在系統性問題,不會讓其他Google Cloud客戶面臨資料自發性蒸發的風險。