宝塔插件的防火墙UA添加屏蔽某些垃圾蜘蛛

一、屏蔽垃圾蜘蛛的作用

就是拦截垃圾蜘蛛、爬虫、采集器。降低服务器消耗。加快速度。避免不必要的消耗，导致搜索引擎收录差等。

二、使用方法：

方法一、宝塔插件的防火墙UA添加屏蔽某些垃圾蜘蛛

安装宝塔linux防火墙。收费插件。当然你可以安装开心版宝塔面板或者破解版宝塔。

软件管理 → linux防火墙 → 全局配置 → User-Agent过滤 填入下面的规则。

随便写描述后点击添加即可。

垃圾蜘蛛规则列表

(SemrushBot|SemrushBot-SA|Bytespider|BLEXBot|CompSpyBot|Exabot|ZoominfoBot|ExtLinksBot|AlphaBot|DotBot|MauiBot|MegaIndex.ru|SiteExplorer|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|perl|Python|Wget|Xenu|ZmEu)

方法二、.htaccess 文件屏蔽某些垃圾蜘蛛

根据使用观察，发现宝塔插件的防火墙UA屏蔽对某些蜘蛛无效，我用的是apache，在伪静态规则中写有用。

SetEnvIfNoCase ^User-Agent$ .*(SemrushBot|SemrushBot-SA|Bytespider|BLEXBot|CompSpyBot|Exabot|ZoominfoBot|ExtLinksBot|AlphaBot|DotBot|MauiBot|MegaIndex.ru|SiteExplorer|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|perl|Python|Wget|Xenu|ZmEu) BADBOT

Order Allow,Deny

Allow from all

Deny from env=BADBOT

三、进阶教程

如果自己站点有其他垃圾UA的机器人Bot。可以安装网站监控报表插件。在网站日志中查到不想让他访问的UA,然后添加到之前的规则中，规则使用|隔开即可。不能同时出现两个|。