全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 3602|回复: 39

cloudflare 出故障复盘了

[复制链接]
发表于 2023-11-4 15:35:36 | 显示全部楼层 |阅读模式
简单总结一下,

cloudflare 的三个互相 “独立” 的灾备机房,其中一个的所在地,有一次计划外的供电系统维护,然后搞崩了,UPS生效期间机房也没来得及开独立发电机,机房供电中断。

正常来说请求会reroute到另外两个机房,但是尴尬的是,另外两个机房部分子服务依赖于只有断电这个机房才能提供的服务,断电机房是核心地位,并非和另外两个完全冗余。所以就有了这么久的抢救,应该是互联网公司级别最高的事故了。
发表于 2023-11-4 15:52:54 | 显示全部楼层
质疑草台班子
理解草台班子
成为草台班子
发表于 2023-11-5 08:20:33 | 显示全部楼层
cloudflare这有点…前有配错交换机,不多久又搞个这个,这可靠性少了几个9了
发表于 2023-11-4 15:42:13 来自手机 | 显示全部楼层
放在国内这么久的故障得被骂死了
发表于 2023-11-4 15:39:25 | 显示全部楼层
近年来看到了太多的这类事情,当然是指大厂,所谓的灾备就是个PI
发表于 2023-11-5 13:03:24 | 显示全部楼层
imslc 发表于 2023-11-4 20:06
不就是断个电,就算是依赖核心机房,断电后没有及时启动备用电源,但还是可以启动柴油发电机的,启动柴油发 ...

断电后发现有短路,为了保护电路切断了电力供应,也包括发电机
为了恢复电力供应,必须进入机房排除故障,重启发电机
但是没有电,打不开门禁
打不开门禁,进不去机房,打不开发电机
打不开发电机,机房没有电,门禁打不开
门禁打不开,进不去机房,打不开发电机...
发表于 2023-11-5 09:57:33 | 显示全部楼层
cf 牛逼死了 每次出问题   回顾一下 都是小的错误 引发的大问题
发表于 2023-11-5 09:52:23 | 显示全部楼层
新加的域名大部分不能解析,换回原来的NS了
发表于 2023-11-5 02:45:07 | 显示全部楼层
dragonfsky 发表于 2023-11-4 16:00
这个错误也挺搞笑的 跟上次谷歌磁盘满了有的一拼

谷歌磁盘满了是哪一回,没赶上,有没有文章链接
发表于 2023-11-4 20:06:44 | 显示全部楼层
不就是断个电,就算是依赖核心机房,断电后没有及时启动备用电源,但还是可以启动柴油发电机的,启动柴油发电机也不需要一整天的时间吧,服务器关机后开机也需要一天多的时间?肯定不是这个原因。
发表于 2023-11-4 20:05:53 | 显示全部楼层
没想到草台班子论还能用在cf上
发表于 2023-11-4 15:36:29 来自手机 | 显示全部楼层
CF防护还是可以的
发表于 2023-11-4 15:37:13 | 显示全部楼层
表示还不能解析。
发表于 2023-11-4 15:37:28 | 显示全部楼层
造成什么严重后果或者损失了吗
 楼主| 发表于 2023-11-4 15:38:02 | 显示全部楼层
少年时 发表于 2023-11-4 15:37
表示还不能解析。

还有很多服务处于read-only状态,新配置暂时不会生效
发表于 2023-11-4 15:38:06 | 显示全部楼层
无法解析还是
 楼主| 发表于 2023-11-4 15:39:12 | 显示全部楼层
张维为 发表于 2023-11-4 15:37
造成什么严重后果或者损失了吗

边缘的服务没什么影响,其他就不知道了
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2024-11-3 04:15 , Processed in 0.067799 second(s), 9 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表