搜索引擎蜘蛛给网站带来的危害，有效指引爬虫对应的措施[方法篇](禁止YisouSpider|EasouSpider|EtaoSpider)

上一遍文章《搜索引擎蜘蛛给网站带来的危害，有效指引爬虫对应的措施(最准确搜索引擎蜘蛛名称)》
下一篇“如何更高效发现&屏蔽搜索引擎蜘蛛”实例篇。

   现在接着详细介绍该方法，包括如何发现蜘蛛，从网站的日志里统计蜘蛛，发现未知的蜘蛛。针对不同的蜘蛛，屏蔽蜘蛛、禁止爬虫怎么样更高效，更快捷。并且通过实例来介绍。

收集最新最准确搜索引擎蜘蛛IP

信息来源线上：最新最准确
根据线上空间的访问日志来整理常见的蜘蛛名称，不求最全，但力求爬虫信息资料最新最准确。以下搜索引擎蜘蛛名称都是根据线上空间日志亲手提取。
各种搜索引擎的蜘蛛爬虫会不断地访问抓取我们站点的内容，也会消耗站点的一定流量，有时候就需要屏蔽某些蜘蛛访问我们的站点。
其实有效常用的搜索引擎就那么几个，只要在robots.txt文件里把常用的几个搜索引擎蜘蛛允许放行就好了，其它的爬虫统统通过通配符（*）禁止掉，屏蔽某些蜘蛛。

YisouSpider,这货是哪个的蜘蛛？怎么封掉它？
答案：国内最疯狂的蜘蛛，能让你的网站挂掉。VPS、小内存虚拟机就别说了，它来十遭殃。

直接来有质量的内容
1.怎么抓住这个YisouSpider爬虫？
2.直接封YisouSpider方法。
3.检测配置有效性

1.怎么抓住这个YisouSpider爬虫？

Nginx为例，日志文件为

将他的抓取ip日志保存起来。
分析统计，连续的IP，C段IP计算，这蜘蛛它的IP资源挺多啊！

以下是搜索引擎蜘蛛爬虫IP地址，这里只是部分蜘蛛IP，不完整。

YisouSpider搜索引擎蜘蛛
iplog.txt

可见EtaoSpider搜索引擎蜘蛛全部IP是110.75.17.0网段。

有兴趣的网友可以按照以上同样方法从网站日志中统计出“EasouSpider”搜索引擎蜘蛛全部IP，其他类推。

2.直接封YisouSpider爬虫方法

使用防火墙直接将IP或者IP段封了，例如linux的iptable策略。并且iptable命令在CentOS/RadHat、Debian/Ubuntu 系统下都通用的。Windows系统可以使用防火墙策略,或者TCP/IP组策略。

方法一：

Windows2008/2012添加防火墙新规则，如图示：

Windows防火墙->>新建规则->>选择“自定义规则”->>指定“程序”(Apache)或者选择“端口”(80)->>作用域->>IP地址范围（110.75.171.1-到110.75.176.1）->>完成

linux的iptable策略，实例：
iptable命令：禁止"YisouSpider"蜘蛛

以上命令直接操作插入规则iptables，立即生效。

iptables_rules.alc

让iptables_rules.alc规则即时生效，命令：

在Debian/Ubuntu系统使用以上命令。

如果是CentOS/RadHat，打开iptables的配置文件：“vi /etc/sysconfig/iptables”内容参考上面。
全部修改完之后重启iptables:“ service iptables restart”，你可以验证一下是否规则都已经生效：“iptables -L”
如果iptables为空，则显示

搜索引擎YisouSpider爬虫的IP范围可能还有如下：

'110.75.164.x', '110.75.167.x', '110.75.168.x', 
'110.75.171.x', '110.75.172.x', '110.75.173.x', '110.75.174.x', '110.75.175.x', '110.75.176.x'
知道IP段后，可以使用iptables屏蔽。

若您是使用iptables屏蔽的，可采用如下步骤查询是否已经添加，以110.75.164.x网段为例：

iptables -L INPUT --line-numbers |  grep 110.75.164. |  grep -P "DROP|REJECT"

若返回规则不为空，并且有相关规则，表示已经添加规则。

上面这么多IP，如果用防火墙的方法，iptable也可以直接将IP封了。不过比较繁琐啊，下面更简单快捷的方法解决。

方法二：

下面以Nginx为例，
可以加在 server段 或者location

3.检测配置有效性

使用Nginx 用 User-Agrent 禁止部分访问

为节省流量，禁止部分流氓爬虫或不重要的爬虫。nginx 用 if 和 $http_user_agent。

如:

然后重启 nginx

可以用 curl 测试一下

看到返回 403 就正常了，表示配置正确生效了。

附录：

robots协议抓取限制

为了让搜索引擎爬虫能获取到你的网站内容，更好的为你提供推荐服务，需要修改一下网站的robots.txt配置。
robots.txt放置在网站的根目录下，例如您的站点是http://www.xxx.com/，则通过http://www.xxx.com/robots.txt可以获得。

(禁止YisouSpider|EasouSpider|EtaoSpider)robots.txt配置方法
添加如下内容，如果网站设置了robots协议，请检查一下协议里的内容：

例如： 
User-agent: YisouSpider
Disallow: /

User-agent: EasouSpider
Disallow: /

User-agent: EtaoSpider
Disallow: /

上面行代表不允许YisouSpider|EasouSpider|EtaoSpider爬虫抓取您的网站内容。禁止规则，不是即刻生效（你也不知道它生效不生效，robots文件只不过是一个声明）。要即可生效需通过本文其他两个方法，掌握主动权。

小结： http://jimmyli.blog.51cto.com/blog/3190309/1209336
方法篇介绍了如何收集最新最准确搜索引擎蜘蛛IP。并且通过实例来，从网站的日志里统计蜘蛛，发现未知的蜘蛛。针对不同的蜘蛛，屏蔽蜘蛛、禁止爬虫怎么样更高效，更快捷。文章原出处 

支持与交流网址：http://jimmyli.jimmyli.blog.51cto.com/【End】

      本文转自jimmy_lixw 51CTO博客，原文链接：http://blog.51cto.com/jimmyli/1209336，如需转载请自行联系原作者