Cloudflare防火墙将爬虫全部过滤掉了应该怎么办

有时候为了防止攻击,站长在用cloudflare套壳的同时,也会使用cloudflare的防火墙针对某些特定的访问者进行质询,防止机器人消耗流量,但有时候我们会发现cloudflare的防火墙连谷歌,必应,百度等等的爬虫都屏蔽掉了,这时候就要对防火墙进一步设置

有时候为了防止攻击,站长在用cloudflare套壳的同时,也会使用cloudflare的防火墙针对某些特定的访问者进行质询,防止机器人消耗流量,但有时候我们会发现cloudflare的防火墙连谷歌,必应,百度等等的爬虫都屏蔽掉了,这时候就要对防火墙进一步设置

首先要添加以下防火墙规则

Cloudflare防火墙将爬虫全部过滤掉了应该怎么办

这样就可以放行大部分谷歌和必应的爬虫了,但是国内的爬虫仍不能幸免,所以还要设置一下

Cloudflare防火墙将爬虫全部过滤掉了应该怎么办

如图设置,根据爬虫的用户代理进行过滤,这样就能够放行爬虫,具体爬虫的代理可以去站长工具里查看

但是这样有很大的隐患:有可能防不住假爬虫

建议大家三思而后行

原创文章,作者:Rosmontics,如若转载,请注明出处:https://rosmontis.com/archives/76

(0)
RosmonticsRosmontics网站管理员
上一篇 2021年10月17日 下午5:21
下一篇 2021年10月18日 上午12:27

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

评论审核已启用。您的评论可能需要一段时间后才能被显示。