今天周五，项目刚刚上线完，有些时间，闲着无聊，继续复习爬虫，这次打算爬取网站的美女图片。得先找到目标，然后目标网站还不会反爬虫，因为自己只是小白，好了开始。

寻找目标，发现了目标，哈哈 http://www.meizitu.com

里面图片按专题分类。先看下页面找出相关源码

页面

源码

即只要抓出来图片集的link跟图片集里面的link对应的jpg就可以了， 可以用beautifulsoup或者正则匹配，我这里用正则匹配需要的link。然后遍历整个网站就可以了

请看源码解释

#!bin/python
#-*- coding: UTF-8 -*-'''spider美女图URL: www.meizitu.com
'''import re
import string
import urllib, urllib2
import os, sys
import multiprocessingdef getImageUrls(page):'''获取模块下的图片link'''p_w_picpath_items = {}url_index = 'http://www.meizitu.com/a/list_1_%s.html' % pageindex = r'<h3 class="tit"><a href="(.*)".*</a></h3>'#匹配图集的linkprog_pages = r'<img alt=.*src="(.*)" /><br />'#匹配图集里面的每一个图片index_items = re.findall(index, urllib2.urlopen(url_index).read())#找出linkfor index, item in enumerate(index_items):#enumerate遍历列表，参照http://jingyan.baidu.com/article/86fae346b278673c48121a62.htmlp_w_picpath_item = re.findall(prog_pages, urllib2.urlopen(item).read())p_w_picpath_items[index] = p_w_picpath_itemreturn p_w_picpath_itemsdef downloadImage(p_w_picpath, store_file):urllib.urlretrieve(p_w_picpath, store_file, call_back)def BeginDownload(page):pool = multiprocessing.Pool(24)#保存目录store_dir = r'd:\img\%s\\'  %pagep_w_picpath_items = getImageUrls(page)for index in p_w_picpath_items:for i, p_w_picpath in enumerate(p_w_picpath_items[index]):if os.path.exists(store_dir):store_file = store_dir + str(index) + '-' + str(i) + '.jpg'pool.apply_async(downloadImage, (p_w_picpath, store_file))#下载图片else:store_file = store_dir + str(index) + '-' + str(i) + '.jpg'os.makedirs(store_dir)pool.apply_async(downloadImage, (p_w_picpath, store_file))pool.close()pool.join()def call_back(a, b, c):per = 100 * a * b / cif per < 100:sys.stdout.write('%.2f%%\r' % per)sys.stdout.flush()else:print 'download finish!'if __name__ == '__main__':print '''***************************************       Welcome to use Spider     ****      Created on  2016-07-15     ***************************************'''page = raw_input('Pleae enter your page to download(1-88 or all): ')if '0' < page <= '88':BeginDownload(page)print '爬取完成!'elif page == 'all':for i in range(1, 89):BeginDownload(i)print '第%s 页爬取完成!' % iprint '爬取完成!'else:print 'Error input!'sys.exit(-1)

结果

主要是简单的urllib模块的应用，加上循环遍历出所需的url，然后就可以了，一切还在学习中。