1. 引言
本文主要介绍如何使用Scrapy结合PhantomJS采集天猫商品内容,文中自定义了一个DOWNLOADER_MIDDLEWARES,用来采集需要加载js的动态网页内容。看了很多介绍DOWNLOADER_MIDDLEWARES资料,总结来说就是使用简单,但会阻塞框架,所以性能方面不佳。一些资料中提到了自定义DOWNLDOWNLDODOWNLOADER_HANDLER或使用scrapyjs可以解决阻塞框架的问题,有兴趣的小伙伴可以去研究一下,这里就不多说了。
2. 具体实现
2.1. 环境需求
需要执行以下步骤,准备Python开发和运行环境:
Python--官网下载安装并部署好环境变量 (本文使用Python版本为3.5.1)
lxml-- 官网库下载对应版本的.whl文件,然后命令行界面执行 "pip install .whl文件路径"
Scrapy--命令行界面执行 "pip install Scrapy",详细请参考《Scrapy的第一次运行测试》
selenium--命令行界面执行 "pip install selenium"
PhantomJS -- 官网下载
上述步骤展示了两种安装:1,安装下载到本地的wheel包;2,用Python安装管理器执行远程下载和安装。注:包的版本需要和python版本配套
2.2. 开发和测试过程
首先找到需要采集的网页,这里简单找了一个天猫商品,网址world.tmall.com/item/52,页面如下:
然后开始编写代码,以下代码默认都是在命令行界面执行
1),创建scrapy爬虫项目tmSpider
E:\python-3.5.1>scrapystartprojecttmSpider
2),修改settings.py配置
更改ROBOTSTXT_OBEY的值为False;
关闭scrapy默认的下载器中间件;
加入自定义DOWNLOADER_MIDDLEWARES。
配置如下:
DOWNLOADER_MIDDLEWARES = {'tmSpider.middlewares.middleware.CustomMiddlewares':543,'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware':None}
3),在项目目录下创建middlewares文件夹,然后在文件夹下创建middleware.py文件,代码如下:
# -*- coding: utf-8 -*-fromscrapy.exceptionsimportIgnoreRequestfromscrapy.httpimportHtmlResponse, ResponseimporttmSpider.middlewares.downloaderasdownloaderclassCustomMiddlewares(object):defprocess_request(self, request, spider): url = str(request.url) dl = downloader.CustomDownloader() content = dl.VisitPersonPage(url)returnHtmlResponse(url, status =200, body = content) defprocess_response(self, request, response, spider):iflen(response.body) ==100:returnIgnoreRequest("body length == 100")else:returnresponse
4),使用selenium和PhantomJS写一个网页内容下载器,同样在上一步创建好的middlewares文件夹中创建downloader.py文件,代码如下:
# -*- coding: utf-8 -*-importtimefromscrapy.exceptionsimportIgnoreRequestfromscrapy.httpimportHtmlResponse, Responsefromseleniumimportwebdriverimportselenium.webdriver.support.uiasuiclassCustomDownloader(object):def__init__(self):# use any browser you wish cap = webdriver.DesiredCapabilities.PHANTOMJScap["phantomjs.page.settings.resourceTimeout"] =1000cap["phantomjs.page.settings.loadImages"] =Truecap["phantomjs.page.settings.disk-cache"] =Truecap["phantomjs.page.customHeaders.Cookie"] ='SINAGLOBAL=3955422793326.2764.1451802953297; 'self.driver = webdriver.PhantomJS(executable_path='F:/phantomjs/bin/phantomjs.exe', desired_capabilities=cap)wait = ui.WebDriverWait(self.driver,10) defVisitPersonPage(self, url):print('正在加载网站.....') self.driver.get(url)time.sleep(1)# 翻到底,详情加载js="var q=document.documentElement.scrollTop=10000" self.driver.execute_script(js)time.sleep(5)content = self.driver.page_source.encode('gbk','ignore')print('网页加载完毕.....')returncontentdef__del__(self): self.driver.quit()
5) 创建爬虫模块
在项目目录E:\python-3.5.1\tmSpider,执行如下代码:
E:\python-3.5.1\tmSpider>scrapy genspider tmall'tmall.com'
执行后,项目目录E:\python-3.5.1\tmSpider\tmSpider\spiders下会自动生成tmall.py程序文件。该程序中parse函数处理scrapy下载器返回的网页内容,采集网页信息的方法可以是:
使用xpath或正则方式从response.body中采集所需字段,
通过gooseeker api获取的内容提取器实现一站转换所有字段,而且不用手工编写转换用的xpath,代码如下:
# -*- coding: utf-8 -*-importtimeimportscrapyimporttmSpider.gooseeker.gsextractorasgsextractorclassTmallSpider(scrapy.Spider):name ="tmall"allowed_domains = ["tmall.com"] start_urls = ('https://world.tmall.com/item/526449276263.htm', ) # 获得当前时间戳defgetTime(self): current_time = str(time.time())m = current_time.find('.')current_time = current_time[0:m]returncurrent_timedefparse(self, response): html = response.bodyprint("----------------------------------------------------------------------------") extra=gsextractor.GsExtractor()extra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e","淘宝天猫_商品详情30474","tmall","list") result = extra.extract(html)print(str(result).encode('gbk','ignore').decode('gbk'))#file_name = 'F:/temp/淘宝天猫_商品详情30474_' + self.getTime() + '.xml'#open(file_name,"wb").write(result)
6),启动爬虫
在E:\python-3.5.1\tmSpider项目目录下执行命令
E:\python-3.5.1\simpleSpider>scrapycrawltmall
输出结果:
提一下,上述命令只能一次启动一个爬虫,如果想同时启动多个呢?那就需要自定义一个爬虫启动模块了,在spiders下创建模块文件runcrawl.py,代码如下:
# -*- coding: utf-8 -*-importscrapyfromtwisted.internetimportreactorfromscrapy.crawlerimportCrawlerRunnerfromtmallimportTmallSpider...spider = TmallSpider(domain='tmall.com')runner = CrawlerRunner()runner.crawl(spider)...d = runner.join()d.addBoth(lambda_: reactor.stop())reactor.run()
执行runcrawl.py文件,输出结果:
以自定义DOWNLOADER_MIDDLEWARES调用PhantomJs的方式实现爬虫后,在阻塞框架的问题上纠结了很长的时间,一直在想解决的方式。后续会研究一下scrapyjs,splash等其他调用浏览器的方式看是否能有效的解决这个问题。
声明:本文于网络整理,著作权归原作者所有,如有侵权,请联系小编删除。