发现问题

今天看到有用户反馈，我们网站上的演示内容访问特别慢。经过测试果然是很慢，之前都是秒开的。页面打开后再访问很快，切换新页面打开又慢下来，甚至好几秒才能打开一个页面。

我的演示内容全部是静态HTML文件，通过腾讯云CDN加速。

测试直接访问服务器上的内容，速度很快，一切正常。然后又访问阿里云CDN上的内容，也正常。又试了一下七牛云，也正常。嗯，我们演示内容同时用了三个CDN，就是怕其中一个出问题，也是为了降低成本（哪家有便宜流量包就用哪家，嘿嘿）。经过测试，只有腾讯云CDN有问题。

于是果断切换CDN到阿里云，保证用户的正常访问。

接下来就开始排查故障了。

首先排查网络问题，北京电信宽带不正常、手机移动网不正常、腾讯云北京区服务器远程桌面也不正常。也让外地朋友帮忙测试了一下，发现有的地区是正常的。但至少北京地区是异常的。然后排查CDN配置问题，最近没有修改CDN配置，同样配置另外一个CDN域名却是正常的。然后排查源站，源站用的宝塔面板，最开始我想到的是防火墙，因为最近被攻击的厉害，设置了一些防火墙配置。我先把对应站的防火墙关了，不行！然后把服务器全局防火墙关了，也不行。

到这里我也是没辙了，只能在腾讯云发工单求助了。经过来来回回的沟通，工程师有一个关键回复：

这边过滤了下日志，发现有一些回源到源站5秒超时的日志请求，您可以看下源站是否有负载异常问题

于是我又回来查源站。什么系统加固、防篡改这些关掉，也不行。我开始怀疑是腾讯云CDN不行了，在工单里威胁工程师，不行我就换阿里云了。工程师说再看看，但也没法发现问题原因。陷入僵局。

再次排查发现端倪

打了一下午游戏，到晚上的时候，腾讯云工程师那边也没消息了。我又继续排查。我ping了另一个正常的腾讯云CDN域名，发现和有故障的是同一台分发服务器，那就排除腾讯云CDN区域故障。区别是两个源站不在一个服务器上。那台服务器十年不动一次，有问题这台最近折腾的投点频繁。于是进宝塔后台看了下操作日志，发现了一个关键点，最近禁了很多IP。难道我是把腾讯云CDN的回源服务器IP给封了吗？接着进入防火墙设置，IP黑名单里一看。果然，密密麻麻一堆。这里我也来不及仔细查看了，一键清空了IP黑名单。然后再测试，居然正常了。。。赶紧给工程师回复，把工单结了。

故障排除复盘

复盘一下整个过程，其实一早怀疑源站防火墙那里是对的。但是宝塔面板里关闭防火墙，并不会关闭IP黑名单，这是我没想到的。所以错失了解决问题的关键。另外就是日志真的很重要，出问题了要第一时间查日志。腾讯云工程师查日志发现了请求超时，我查面板日志发现了禁用IP。这样很快就能对症下药了。