Ethan's Blog

不负好时光

Googlebot 无法访问您的网站 —— 该和 DNSPod 说再见了

同时使用了 DNSPod 和谷歌站长工具的朋友最近可能都遇到了相同的问题:频繁收到 Google Webmaster 的邮件,通知网站由于 DNS 解析问题导致 Googlebot 蛛蛛无法访问索引,进而导致谷歌推迟抓取操作,通俗点说,谷歌推迟收录网站内容了。

我也是大概在十月底碰到这个问题,至今一个月了,经过一些了解和比较,我想说,“Googlebot 无法访问您的网站”—— 是该和 DNSPod 说再见了。立场明确,我认为这个问题的原因只有一个:DNSPod 由于某些原因降低了免费用户的服务质量。下面细说。

我是在 11 月底第一次注意到这个问题,当时我根本没多想,以为可能是墙的问题,当时也正好是三中全会期间,我觉得可能是这几天 “风声” 比较紧,也没太在意。后来过了几天,我想着放任谷歌不能收录总归不太爽,于是上网搜了搜,看看有没有办法解决。当时我完全没有往 DNSPod 这边想,我看到网上有网友说需要将目标地理区域设置成中国,我照做了,但是问题一点也没有解决。放一张最近收到的邮件提醒列表:

Googlebot 无法访问您的网站 —— 该和 DNSPod 说再见了

那么我为什么认定问题是 DNSPod 由于某些原因降低了免费用户的服务质量?

1、讨论方法:谷歌的蜘蛛访问不了我的网站(DNS 错误),这里面涉及几个主体:谷歌(或者说 Googlebot)、墙、DNSPod(DNS 服务方),完全可以使用排除法来确定问题的症结。

2、首先可以排除谷歌的原因。类似于公理,“Google 蜘蛛因为域名 DNS 无法解析从而无法索引网站,这事不多见。以 Google 的作风,它的蛛蛛应该不会过于恶意索引网站”(via 再见,DNSPod)。如果说单纯这样不足以取信,那么数以千万的中文站被谷歌正常收录也基本可以排除谷歌的嫌疑。

3、那么是不是墙的问题?首先确实墙是双向的,不排除这个可能,那么是否可以确证?我做了一个实验。除了这个站以外,我还有一个站也是使用的 DNSPod 的服务,在 11 月 14 日或者 13 日(我记不太清了),我将我的 www.jishuzh.com 的 DNS 修改为了域名注册商美橙互联 DNS,下面两张图为修改前后域名在 DNSPod 解析量的变化和谷歌站长工具显示的 DNS 错误数图:

Googlebot 无法访问您的网站 —— 该和 DNSPod 说再见了

Googlebot 无法访问您的网站 —— 该和 DNSPod 说再见了

从两张图中可以看出来,我确实在 11 月 14 日左右修改了域名 www.jishuzh.com 的 DNS 服务器,修改了之后,至少从那天开始至今,谷歌站长工具后台显示的 DNS 错误数减少到基本为零了。由此看来,墙没有阻挡住 Googlebot 访问我使用了美橙互联DNS的域名 www.jishuzh.com ,这么说起来,是墙的问题导致了 “Googlebot 无法访问您的网站” 不成立。甚至,说得极端一点,改变了 DNS 服务提供者之后,DNS 错误和 Googlebot 无法访问您的网站的问题基本不出现,已经可以认定是 DNS 服务方也就是 DNSPod 的问题了。

4、如果说使用排除法的话,在这里可以下结论了,“Googlebot 无法访问您的网站” 是由于 DNSPod 由于某些原因降低了免费用户的服务质量,但是这样显得太过匆忙,我还要来继续说说 DNSPod。我的结论是:DNSPod 由于某些原因降低了免费用户的服务质量,既然是降低了,那自然需要比较和证据。

4.1 DNSPod 的免费服务在某个时间段后缩水了

同为免费服务,我的 www.jishuzh.com 可能是在 12 年的时候添加的,当时 DNSPod 的服务是备受好评的,可以看到在线路类型中到现在还是能设置很多的线路,而今年年中添加的 ethanblog.com 则不行了:

Googlebot 无法访问您的网站 —— 该和 DNSPod 说再见了

由此看来,DNSPod 对免费服务也是有区分的,在某个时间段之前的服务还是稳定和较好的,而之后的则发生了变化。这还是表面上的缩水,针对这个问题在 http://www.v2ex.com/t/80749 有更详细的讨论,还有 DNSPod 创始人 @naizhao 来出来说话了,也提到了 Googlebot 的问题和原因,虽然我认为他的全是 P 话加推卸责任加牢骚。

4.2 缩水的结果是服务质量的下降,表现在 “Googlebot 无法访问您的网站”

之前就说过,我有两个站在 DNSPod,jishuzh.com 是在 12 年加入使用其服务的,ethanblog.com 是在 13 年 6 月左右加入使用其服务的,以 13 年 6 月之前的某个时间为分水岭,这个时间点后,DNSPod 由于某些原因降低了免费用户的服务质量,直接表现就是 “Googlebot 无法访问您的网站” 错误出现的频率和强度大小:

Googlebot 无法访问您的网站 —— 该和 DNSPod 说再见了

5、以上所有都是我个人在使用 DNSPod 之后的一些想法,就像一个某某产品使用心得一样,并没有其他任何目的。也欢迎其他朋友一起探讨使用心得。也许有人要说了,使用别人的免费服务还有这样挑剔和牢骚,不太好。但是,我想要说清楚一个概念,免费,仅仅意味着可以提供功能受限的服务但绝不能提供功能有缺陷的服务。就像提供免费的食物,你可以在口感上有瑕疵,但你不能使用过期变质的食物。更何况,对企业来说,免费是为了品牌与口碑,是为了最终的收费与盈利。

6、替代方案。没有了 DNSPod,说实话,很伤脑筋。国内域名注册商暂时用回自己的 DNS,Godaddy 注册的域名没办法,还是要使用第三方,暂时试用 https://dns.he.net/,如果可靠,以后就常用了。或者还有更好的,也请推荐给我。

7、关于 Googlebot 无法访问您的网站和 DNSPod 的恩怨情仇,更多例子和讨论请点击: