网站页面分为静态页面和动态页面，动态页面有分很多类，本篇主要是抓取的京东的https://miaosha.jd.com/category.html?cate_id=19链接（为什么不抓淘宝，因为淘宝做了些验证措施，如果验证未通过，跳转登录页面，有跳过验证的文章可以分享给我(*￣︶￣)）京东店的页面是通过ajax请求，然后渲染页面
打开页面
通过network 查看接口，可以看到一个接口https://ai.jd.com/index_new?app=Seckill&action=pcSeckillCategoryGoods&callback=pcSeckillCategoryGoods&id=19&_=1545027708656
返回的数据应该是主要数据。
接下来就是通过这个接口来取其中的图片
直接贴代码，代码很详细
import requests
from bs4 import BeautifulSoup
import urllib
import json
import os
#下载功能
def download(img_url,headers):req = requests.get("http:"+img_url, headers=headers)name = img_urlname=name.replace("/","\\")#因为的是window,把/换成\path = r'C:'#s设置一个底层路径file_name = path + nameindexa=file_name.rfind('\\')print(indexa)#print(file_name.rfind("\\"))#print(file_name)print(type(file_name));filepath=file_name[0:indexa+1];print(filepath);print(os.path.exists(filepath))if(os.path.exists(filepath)):#判断文件路径是否存在如果不存在就穿件文件路径在写入print("true11");f = open(file_name, 'wb')f.write(req.content)else:os.makedirs(filepath);print(os.path.exists(filepath));if(os.path.exists(filepath)):print(filepath);f = open(file_name, 'wb')f.write(req.content)f.close#打开一个文件准备上传
def writeIn(txtfile,contain):try:#if(os.path.exists(txtfile)):fobj=open(txtfile,'w') #打开txtFile文件此处 w: 直接打开一个文件，如果文件不存在则创建文件 # 这里的a意思是追加，这样在加了之后就不会覆盖掉源文件中的内容，如果是w则会覆盖。a:以追加模式打开 (从 EOF 开始, 必要时创建新文件)#else:# os.makedirs(txtfile);except IOError:print ('*** file open error create')else:fobj.write(contain)fobj.close()print ("注入数据结束");response = urllib.request.urlopen('https://ai.jd.com/index_new?app=Seckill&action=pcSeckillCategoryGoods&callback=pcSeckillCategoryGoods&id=19&_=1545016559723')
#print(response.read());
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}aaajson=response.read();#读取数据
result=str(aaajson, encoding = "utf-8")#转utf-8
resultJsonStr=result[23:(result.rfind(')'))]#由于请求到的数据是pcSeckillCategoryGoods(json)的格式需要把pcSeckillCategoryGoods(和）去掉
print(resultJsonStr[0:110])#看数据截取头部{
print(resultJsonStr[len(resultJsonStr)-100:len(resultJsonStr)])#看数据截取尾部是否正确}resultJsonDict=json.loads(resultJsonStr)## 对数据进行解码
print(type(resultJsonDict))#<class 'dict'>字典类型
resultJsonList=resultJsonDict['goodsList'];
print(type(resultJsonList))#<class 'list'>
print(resultJsonList[0]);#打印第一个数据
"""
{'sourceValue': '13325860722_抢购中_1',
'wname': '【次日达包邮 充电款】Meilen电子秤称重人体秤精准电子称家用计体重秤 USB充电版黑色',
'miaoSha': 'true', 'isNewGoods': 0, 'startRemainTime': -6173,
'spuId': '10462747607', 'seckillNum': '2000', 'jdPrice': '99', 'soldRate': 34, 'startTimeContent': '', 'endTime': 1545098399000,
'brandId': 0, 'startTimeShow': '10:00', 'promotionId': '15477982159', 'startTime': 1545012000000, 'tagType': None, 'miaoShaPrice': '49',
'endRemainTime': 80226, 'tagText': None, 'startTimeMills': 1545012000000,
'imageurl': '//m.360buyimg.com/mobilecms/s210x210_jfs/t26761/196/2461771515/54423/90816f8b/5c02334eNc57d565d.jpg!q70.jpg',
'wareId': '13325860722', 'almostSoldoutViewUser': 1}
"""""" 将json保存到文件中"""writeIn("jsonfile.json",str(resultJsonList));#将数据保存
""" json保存结束"""
print(resultJsonList[10]["imageurl"]);#打印图片地址数据
for i in range(0,len(resultJsonList)-1):imgUrl=resultJsonList[i]["imageurl"]#if(i==10):#测试使用#print(imgUrl)#download(imgUrl,headers);download(imgUrl,headers);print("结束")
