关注我们: 微信公众号

扫码关注我们

谷歌云、崩了 6 个小时。。。因 IDC 断电。。。

云头条 2026-11-04 23

2026 年 10 月 27 日,谷歌云公布伦敦区域数据中心大规模故障的最终调查报告。

19.png

2026 年 10 月 20 日,一处数据中心因外部电缆故障失去供电,备用柴油发电机未能自动启动,导致服务器、存储及网络设备断电,40 项云服务受到影响,主要故障持续 6 小时 8 分钟。

此次事故还影响到英国银行及公共服务。

Revolut、Lloyds、Halifax、HSBC 等金融机构的线上服务出现异常,部分用户无法正常完成银行卡支付、转账和取款。

Revolut 确认服务中断,但客户资金和数据安全。

英国法院及审裁处事务署(HMCTS)使用的远程庭审视频平台也出现故障。

Royal Mail、DPD、Rightmove 等服务同期收到用户故障报告,但并非所有异常均已确认由谷歌云事故直接引起。

调查报告显示,涉事数据中心承载伦敦区域(europe-west2)下属 europe-west2-b 可用区的部分基础设施,原本采用双路冗余供电架构(2N),通过 A、B 两路独立线路获取外部电力,另配备一路备用市电连接、柴油发电机和不间断电源(UPS)。

但在事故发生前,数据中心的供电架构已临时降为单路运行。

10 月 14 日,数据中心在季度发电机负载测试中发现问题,随后断开 B 路供电线路进行维修。

在维修期间,全部关键设备暂时依靠 A 路供电。

10 月 20 日 6 时 53 分(英国夏令时,以下同),外部供电网络发生地下电缆故障,导致 A 路电源中断。

由于 B 路已经断开,数据中心两条正常供电线路均无法继续供电。

按照设计,UPS 电池应在断电后维持设备短时间运行,备用柴油发电机则自动启动并接管负载。

然而,负责发电机启动的两套可编程逻辑控制器(PLC)均未发出启动指令。

调查发现,PLC 的电压检测线路连接在 B 路断路器上游。尽管 B 路断路器已经断开,上游线路仍然带电,控制器因此错误判断现场仍有正常电源可用。

PLC 控制逻辑没有同时检查供电线路的电压状态和断路器实际位置,导致备用发电机未能自动启动。

现场运维人员曾尝试通过 PLC 远程切换供电,但操作同样遭到控制系统阻止。

UPS 电池的设计独立供电时间仅约 5 分钟。

7 时,随着电池电量耗尽,机房发生全面断电,物理服务器、本地存储设备和网络交换设施相继离线,虚拟机、数据库副本及计算节点无法访问。

7 时 4 分,谷歌云自动监控系统检测到 API 错误率上升、任务提交超时以及基础设施失联,工程人员随即展开故障处理。

此次事故并未局限于断电的可用区。

7 时 9 分,区域流量调度机制和客户应用开始向其他可用区自动切换。大量计算任务、数据库故障切换和查询请求集中涌入 europe-west2-a 和 europe-west2-c,导致部分计算资源和处理容量达到上限。

与此同时,区域级服务控制平面仍需访问故障可用区内的元数据和目录组件。跨区请求持续超时,引发任务积压、数据库故障切换延迟,以及 HTTP 500、503 错误。

部分客户无法创建、更新或删除区域资源,存储写入操作也在故障转移初期出现错误。伦敦区域控制平面并未完全瘫痪,但部分功能受到影响。

工程人员随后调整区域流量路由,隔离已经离线的可用区,并重新分配计算资源,优先保障现有客户工作负载。

受影响的云产品包括 Google Compute Engine、Google Kubernetes Engine、BigQuery、Cloud SQL、Cloud Storage、Cloud Run、Cloud Spanner、AlloyDB、Pub/Sub、Looker、Vertex AI 相关服务等。

部分部署在故障可用区内的虚拟机、磁盘、数据库实例和 Kubernetes 节点无法访问。对于未提前配置跨区恢复能力的工作负载,故障期间无法自动恢复;部分已配置故障切换的业务,也因其他可用区计算资源不足或存储复制限制而恢复失败。

谷歌云确认,物理断电仅涉及 europe-west2-b 可用区的相关设施,但其他两个可用区的部分客户同样受到影响。此次事故未发现对伦敦区域以外的谷歌云区域造成影响。

在恢复过程中,现场工程人员于 7 时 54 分恢复备用市电供应,8 时 20 分完成机房供电恢复。

随后,服务器、网络设备和存储系统陆续重新启动。8 时 40 分,计算集群开始恢复,8 时 45 分,网络设备重新上线。

但供电恢复后,云服务并未立即恢复。

由于大量存储设备在断电时未能正常关闭,工程人员需要重新检查和修复存储系统。为避免进一步影响数据完整性,部分服务暂缓重新开放,存储恢复因此成为后续耗时较长的环节。

11 时 6 分,数据中心供电冗余经过验证,存储基础设施恢复至可以准备重新接入流量的状态。

11 时 45 分,工程人员开始逐步恢复进入故障可用区的业务流量。

12 时 11 分,谷歌云平台服务及 API 恢复可用,但部分 Compute Engine 虚拟机仍未恢复。

12 时 29 分,区域级服务及后台计算管理系统恢复正常调度,主要平台级故障结束。此时距离故障开始已过去 5 小时 29 分钟。

12 时 46 分,新建虚拟机功能恢复。

至 13 时 8 分,99.5% 的 Compute Engine 虚拟机恢复正常运行,绝大多数客户工作负载恢复可用。谷歌云于当天 15 时 3 分发布事故关闭通知,少量尚未恢复的工作负载继续接受处理。

事故发生后,谷歌云重新配置 PLC 控制逻辑,并分别于 10 月 20 日和 26 日完成相关验证。

10 月 26 日,备用发电机关键负载切换测试及紧急操作程序更新也已完成。更新后的程序增加了手动启动发电机、恢复正常供电及切换备用电源等操作要求,现场运维人员需定期演练。

根据 10 月 27 日发布的整改计划,受损外部电缆修复、恢复 A、B 双路正常供电、全面审查 PLC 控制代码等工作,原计划于 10 月底完成。最终报告没有确认这些后续项目的实际完成情况。

此外,谷歌云计划加强非标准供电配置的变更审批,暂停其他采用类似架构的数据中心的部分计划维护活动,并于 11 月 15 日前检查全球其他采用类似供电架构和 PLC 设备的数据中心,确认备用发电机能够正常自动启动。

在云平台层面,后续措施还包括完善重大故障的自动通知机制,以及扩大针对基础设施级故障的跨平台测试范围。

云头条声明:如以上内容有误或侵犯到你公司、机构、单位或个人权益,请联系我们说明理由,我们会配合,无条件删除处理。

关键词:

网友留言2

未查询到任何数据!
◎欢迎您留言咨询,请在这里提交您想咨询的内容。