AWS S3 屏蔽了Googlebot对我的图片URL的访问——以下是我的恢复方法

发布日期: 2024年8月28日 来源:SEO Round Table

早在六月中旬,我注意到谷歌在谷歌搜索和发现中没有显示我的许多图片,一些读者也向我指出了这一点。因此,我使用了方便的谷歌搜索控制台URL检查工具,发现我用于托管图片的这些S3 URL阻止了Googlebot的抓取。这是本人对我的图片URL所遇到的索引/抓取问题的一个案例研究。

由于这个AWS的错误,我的图片在谷歌搜索和谷歌图片中的展示量下降了83%。访问本网站的图片搜索相关点击量下降了76%。即使在几周后,我的展示量和点击量分别下降了大约16%和26%,依然有了巨大的改善。

这是谷歌搜索控制台的搜索性能报告,显示了随时间推移的展示和点击图表。你会看到大约在6月15日出现下降,然后在7月8日左右开始回升。即使在两个月后,我的图片流量仍未完全恢复到AWS错误前的正常水平:

当Googlebot尝试访问我的S3图片URL时,谷歌收到了404未找到错误。但是当我用电脑访问这些URL时,它们加载正常。这些是我在这个网站上使用了十多年的相同图片URL,结果有一天,AWS决定阻止Googlebot。我联系了谷歌和AWS关于这个问题,估计这是个相当大的问题。大量网站使用S3来存储图片和文件,所以Googlebot可能会收到大量404错误。奇怪的是,我在公开场合没有看到任何关于这个问题的投诉。

无论如何,当Googlebot试图抓取这些URL时,他们看到了以下内容:

AWS在几天后解决了这个问题:

以下是我的图片在谷歌搜索控制台的URL检查工具中的样子:

它应该看起来像这样:

从那时起,我决定将我的图片转移到AWS的CloudFront——在我创建这个网站时这个服务还不提供——这就是为什么我当时使用S3来存储图片的原因。Googlebot的问题仍然得到解决,并且运行良好。但我不会再回到S3存储图片了。

我要感谢Glenn Gabe,他还在谷歌发现中早期注意到图片的消失。Glenn还撰写了这篇图片迁移文章,我在从AWS S3迁移到AWS CloudFront之前阅读了这篇文章。我没有迁移旧图片,我保留了它们,因为AWS解决了这个问题。但自六月底以来,我所有的新图片都使用了CloudFront。

需要明确的是,这不是谷歌的漏洞,而是亚马逊AWS的更改导致AWS S3封锁了Googlebot。目前问题已经解决,但看起来损害已经造成……如果数据图表有更多变化,我会在下面更新这篇文章来记录这些变化。不过,目前的情况已经持续了大约5周,所以我不预计未来会有大的变化。

总结:

本文通过一个实例研究,详细描述了亚马逊AWS S3服务所发生的问题,导致作者网站的图片在谷歌搜索和发现中显著下降。作者在六月中旬注意到他的网站在谷歌搜索和图片展示中出现问题,经过谷歌搜索控制台工具检查,发现是由于Googlebot对S3 URL抓取时遭遇了403错误所致。这一错误导致图片展示量下降了83%,点击量下降了76%。尽管在AWS问题修复后,展示量和点击量有所回升,但依然未完全恢复。

作者通过迁移图片托管服务到AWS的CloudFront解决了此问题,并分享了与谷歌和AWS的沟通经验。作者还感谢了Glenn Gabe的早期发现与支持,强调了此次问题并非谷歌漏洞,而是AWS引起的。最后,作者表示将继续监测数据变化。

通过这次案例,显而易见,不论是托管服务选择,还是流量监测,都需要高度重视。而使用光年AI的智能化私域流量管理,可以让您在面对类似问题时更加从容,精准触达每一个潜在客户,助力您的私域流量高效增长,让您的业务从中获得超常规的发展。