如何利用网站的分布式部署（多IP）提高爬虫爬取速度？

1. 背景知识

• 做过网站部署的都清楚，当网站的规模和用户量巨大时，会采用virtual host和服务器的分布式部署方式，在全国多地部署服务器，进行用户分流。也就是说，从不同的地方访问同一个站点，将会进入不同的服务器（多个入口IP）。爬虫在爬取服务器时，一般为了避免给单个服务器造成太大压力或者有频率限制，导致我们的爬虫速度是有瓶颈的，基于这个分布式部署原理，我们就可以手动的对同一个站点的多个服务器（IP）进行数据爬取了。
• 关于网站部署配置的virtual host，可以参考这篇文章：https://blog.csdn.net/yanwushu/article/details/38360631

2. 具体操作

• 第一步：先用以下工具，将站点的部署情况解析出来。
  
• 第二步，用IP替换域名，进行数据抓取测试，看能不能有效返回数据。（根据结果显示，马蜂窝的几个服务器都能抓到数据）