异步加载数据：简单的举个例子，有些网页不需要换页，只要网页上的滚动条滑到最下方，它就会自动加载部分数据，和瀑布流一样，可以持续不断的加载数据 ，这些持续加载的数据就属于异步数据(由js控制，和请求网址的Request不是一起的)。
首先，使用浏览器工具检查，选择Network下的XHR，然后鼠标往下滑，让网页不断的加载数据，观察XHR的变化，如图。
1F33799E-A4BD-433D-AEB1-E5FB51DF531A.png
实际上不难看出，只是在Request URL的末尾加上了页码后缀。
然后检查元素，鼠标继续往下滑，让它加载数据，然后观察网页源代码的变化。
89F92588-D667-4D30-8143-3B11DD307995.png
通过观察发现，每次加载数据之后，网页中就会多出几个class="thing"的article标签。然后打开其中的一个article标签就可以发现我们要爬取的元素。
A63085A8-FCF1-4EC3-8394-4D8DE4FBB645.png
分析完页面元素之后，下面用代码来实现其中一个页面的爬取。
from bs4 import BeautifulSoup
import requests
url = 'https://knewone.com/things/?page=2'
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text,'lxml')
imgs = soup.select('a.cover-inner > img')
titles = soup.select('section.content > h4 > a')
links = soup.select('section.content > h4 > a')
for img,title,link in zip(imgs,titles,links):
data = {
'img':img.get('src'),
'title':title.get('title'),
'link':link.get('href')
}
print(data)
完成之后接下来做多页面的爬取，并且设计一个自控页码的函数，最终代码如下。
from bs4 import BeautifulSoup
import requests
import time
url = 'https://knewone.com/things/?page='
def get_page(url,data=None):
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text,'lxml')
imgs = soup.select('a.cover-inner > img')
titles = soup.select('section.content > h4 > a')
links = soup.select('section.content > h4 > a')
if data==None:
for img,title,link in zip(imgs,titles,links):
data = {
'img':img.get('src'),
'title':title.get('title'),
'link':link.get('href')
}
print(data)
def get_more_pages(start,end):
for one in range(start,end):
get_page(url+str(one))
time.sleep(1)
get_more_pages(1,8)
