和中，只要把这样的标签都提取出来，即可获得链接和标题。

3.2 爬取网页内容

首先我们把我们需要的内容转换到Beautiful soup中。

import requests

import json

from bs4 import BeautifulSoup

import sys

import importlib

import time

import re

headers = {'User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}

link = "http://www.cnblogs.com/puresoul/default.html?page="

r = requests.get(link,headers=headers)

soup = BeautifulSoup(r.text, "lxml")

#使用BeautifulSoup解析这段代码

#day_list= soup.find_all("div",class_="day")

print(soup)

3.3 进行内容筛选，清洗，归类

下一步则要拿到具体我们想要的信息：标题和链接

网页分析的结果显示标题和链接都在网页中class为postTitle2的div标签中的a标签中。

所以编写如下：

title_list = soup.find_all("a", class_="postTitle2")

这里拿到了当前页面的所有标题和链接信息，相当于一个列表内容，但是内容并没有进行分类，也没有拿到所有页面的信息,所以这里写了个遍历，并对列表元素进行拆分获取归类如下：

def get_page(url,data=None):

r = requests.get(url,headers=headers)

soup = BeautifulSoup(r.text, "lxml") #使用BeautifulSoup解析这段代码

#day_list= soup.find_all("div",class_="day")

#print(day_list)

title_list = soup.find_all("div", class_="span12")

#print(title_list)

amount_read = soup.find_all("div",class_="meta")

#print(amount_read)

#counts=soup.find_all(text=re.compile("\d人阅读"))

#print(counts)

#print(amount_read)

#print(title_list)

#for title in title_list[0:20]:

#print(title.text.strip())

if data==None:

i=0;

for title,amount in zip(title_list,amount_read):

data = {

#'day':day.get(''),

'标题': title.text.strip(),

'阅读量':int(amount.contents[2].replace("\r\n\t\t\t\t\t\t\t","").replace("人阅读","").replace(" ","")),

'点赞数':int(amount.contents[4].replace("\r\n\t\t\t\t\t\t","").replace("人点赞","")),

'发表时间':amount.contents[0].replace("\r\n\t\t\t\t\t\t\t",""),

'链接': link + title.h3.a.get('href'),

}

i=i+1

print(i,json.dumps(data,indent=1,ensure_ascii=False))

#print('文章总数:',i)

另外为了拿到所有页面的信息，这里定义了一个多页函数

def get_more_pages(start,end):

for num in range(start,end):

get_page(link+str(num))

time.sleep(2)

get_more_pages(1,20)

如此一来，基本上就已经将该博客的所有文章链接，标题，阅读量爬出来了。

贺满的博客园.png

测试窝.png

通过JSON转换格式得到.png

下载到本地.png

参考