爬虫实例4(抓取12306网站余票信息)

news/2024/5/16 4:01:34/文章来源:https://blog.csdn.net/weixin_47476051/article/details/105915996

简介

本实验主要是抓取2020-5-5成都东到西安北所有车次的信息,12306网站设置了反爬机制,要构造Headers才能获取数据,本文对获取的数据先进行了split()分割,将每趟列车的信息分割出来,然后通过与网站数据的对比找出哪些是我们所需要的信息(比如:二等座余票信息对应的是哪个数据等)。本实验比较简单,非常的初级,github上有非常专业的自动抢票买票的源代码。

# Created by 老刘 on 2020/5/4
#导入相关库
import requests
import json
import time
def getdata():
#headers要添加User-Agent和'Cookie'信息,否则不能获得数据headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36','Cookie':'JSESSIONID=8E5621C15B1ED1C5F8E78FB5081B31FB; BIGipServerotn=2614558986.64545.0000; RAIL_EXPIRATION=1588891771278; RAIL_DEVICEID=aJhSjAb-bZEmRmHh8adg6s0HUKFRBh7k-Z9SvjgKaIcvft2BEJynL_y_J5kY2o8Q3oAdBLxeoVfq1vCClISbBbcb9UWhhNuPkA0kNhD7KdDuvZaX5Dt7atQFkm9qhp3D579g7ed-TPN3esRBGUH_8Bf1Mu5czBiY; BIGipServerpassport=820510986.50215.0000; route=6f50b51faa11b987e576cdb301e545c4; _jc_save_fromStation=%u6210%u90FD%u4E1C%2CICW; _jc_save_toStation=%u897F%u5B89%u5317%2CEAY; _jc_save_fromDate=2020-05-05; _jc_save_toDate=2020-05-04; _jc_save_wfdc_flag=dc'}url='https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date=2020-05-05&leftTicketDTO.from_station=ICW&leftTicketDTO.to_station=EAY&purpose_codes=ADULT'response=requests.get(url,headers=headers)#print(response.text)#在开发者工具中找到余票信息在['data']['result']下return response.json()['data']['result']
def main():for i in getdata():# 分割数据temp_list = i.split('|')# print(temp_list)num = 0print('%s车次:%s 出发时间:%s 到达时间:%s 一等座软卧:%s  二等座:%s  一等座:%s' % (temp_list[1], temp_list[3], temp_list[8], temp_list[9], temp_list[23], temp_list[30], temp_list[31]))num += 1
if __name__ == '__main__':
#间隔5秒运行程序while True:main()time.sleep(5)

运行结果:
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_893911.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

爬虫实例6(获取哔哩哔哩网站《后浪》弹幕并可视化显示)(pyecharts词云,pandas库)

声明,只用于学习研究爬虫 1.《后浪》弹幕词云 最近小视频《后浪》挺火,该视频是国家一级演员何冰登台演讲,认可、赞美与寄语年轻一代;对他们说:“你们有幸遇见这样的时代,但时代更有幸遇见这样的你们。”…

网站下载工具有哪些?

Teleport Ultra.exe 链接:https://pan.baidu.com/s/1LhrnKJdyjCKprALz6AbmWw 提取码:n3dw 注:本软件仅用于学习,禁止其它用途。

图标素材网站

素材图标 http://www.iconfont.cn/ 收藏和取消收藏 http://www.iconfont.cn/search/index?searchTypeicon&q%E6%94%B6%E8%97%8F&page1&fromCollection1

SEO书籍《这就是搜索引擎:核心技术详解》要点解读

经朋友的推荐,去年买了一本SEO书籍-《这就是搜索引擎:核心技术详解》,断断续续用了几个月的时间看完这本seo书籍。感觉还是蛮好的,此书涉及的内容广而不深,通俗易懂,适合广大站长朋友看,当然&am…

2014谷歌算法更新,再次降低全球网站PR值

2014谷歌算法更新了,即去年2月份后再次降低了全球网站PR值。2013全年全球网站的评价PR值已经从6.175降到现在为5.935。 这次GOOGLE即上次蜂鸟算法后又一次大的调整算法。据说,此次谷歌新算法调整,会针对全球网站降低PR值,同时&am…

东莞SEO联盟电商【干货分享】

昨天受SEO大师级人物-萧涵的邀请,参加了东莞SEO联盟电商小型聚会。和萧涵认识已有一段时间了,只是因为在网上认识的,却从未谋面,这次很荣幸能以这样一个形式在一起聚聚。这次东莞seo联盟聚会能圆满成功,还得感谢东莞市…

简单快速搭建个人博客网站

简单快速建站 准备开始使用宝塔安装lnmp环境使用WordPress部署博客 关于域名 准备 已经有云主机,亚马逊,阿里,腾讯,都有免费的可以申请。我的服务器是去年为了科学上网在亚马逊申请的,后来一两个月端口就被墙了&#…

PHP curl 爬取反 爬的网站,请开启JavaScript并刷新该页.

目标链接:http://www.pbc.gov.cn/zhengcehuobisi/125207/125213/125440/3876551/index.html 笔者查阅很多资料,大部分人说这样子需要模拟浏览器访问,根本原因是因为cookie不是动态生成的或者不是有效的,方法: 1、chrom…

在线网站、PC端、移动端,PDF转换器最全合集了解一下?

天天跟各种文档打交道的上班族们,对 PDF转换这个操作一定是深恶痛绝;什么PDF转Word、PDF转PPT、PDF转Excel;还有Word转PDF、PPT转PDF.......眼花缭乱,看着就头痛。 有的小伙伴会吐槽自己也就偶尔进行一下 PDF转换的操作&…

考研党必备软件和网站,PDF转Word工具上榜

考研,是一项考验精力、物力、财力和能力的声势浩大的工程。考研党每一天的行程基本可以概括为:不是在图书馆,就是在去图书馆的路上。废寝忘食、头悬梁锥刺股是考研党每天的状态。当然,那些真正考上研究生的人从来不是单枪匹马&…

谷歌如何找到网站,并抓取,索引,然后列出您的网站

通常情况下,一,两天之后,我开始一个新的营销网站,我会在这个问题的电子邮件或电话。即使在我的提议发出了向客户和我有合同的客户签署明确指出,需要3-8个月上市,并排名在谷歌的引擎。但是,问题仍…

iOS开发-------模拟团购网站(UITableView 表格视图)以及自定义cell

上一篇博客说了UIScrollView(滚动视图),以及如何实现无限滚动的原理,那么这一次结合UIScrollView,以及UITableView(表格视图)做一个模拟团购的小Demon,并使用了xib以及加载pilsit文件,因为这个demon楼主做了比较久了,属于学iOS的初…

python scrapy 爬取学习问答网站

废话不多说,直接入正题。 关于模拟登录,另一篇再讲解(这篇写太多了) 我们先来分析好页面。 首先打开知乎,点击进入首页的随便一个问答可以看到url是这样的👇 观察url可以发现question有一个id&#xff0c…

分享几个免费书籍的网站

最近的博客更新有些迟钝,原因是在学前端设计的时候,发现Javascript 和 PHP 不是很融洽! PHP 是后台,是一种 “穿插” 式语言;对学过其他程式语言人而言,只要了解怎么做输出就可以解决一大半的学习时间。 但…

新版Kali-2020版本介绍及image镜像网站

今天在安装新版的kali发现,现在的2020版本和之前的版本有些不一样。 首先,附上两个链接一个是网易的image镜像,一个是论坛 之前的阿里也有image镜像,现在他们改版了,我觉得不是很好用,刚好又找到网易的&…

bootstrap-自适应企业网站demo(一)

1.获取bootstrap文件 英文官网:http://getboostrap.com 中文官网:http://www.bootcss.xom 2.开发工具 开发工具选择WebStorm 3.创建基础文件 在WebStorm创建一个空的项目。 将下载的bootstrap文件解压,将文件夹下的css、fronts、js文件夹拷…

鼠标事件 onmouseover、onmouseenter、onmouseleave和onmouseout

触发时机: onmouseout:鼠标滑出 onmouseover:鼠标滑过(在表面经过即可) onmouseenter:鼠标进入(进入到里面) onmouseleave:鼠标离开 onmouseover 和 onmouseenter 的区…

黑客攻防技巧:2分钟入侵网站全程实录(组图)

说起流光、溯雪、乱刀,可以说是大名鼎鼎无人不知无人不晓,这些都是小榕哥的作品。每次一提起小榕哥来,我的崇拜景仰就如滔滔江水,连绵不绝 ~~~~(又来了!) 让我们崇拜的小榕哥最新又发布了SQL注入 工具 ,这回喜欢利用S…

SQL Server 2005全文检索技术在网站上的应用实录

SQL Server 2005全文检索技术在网站上的应用实录(1) 一、前言 “人类失去搜索,世界将会怎样?”,同样,很难想象一个拥有极大信息量的行业网站门户没有站内全文搜索将会出现怎样的局面,网站全文检索对于挖掘网站信息和整合网站资源…

部署创作的网站元素自定义项

http://technet.microsoft.com/zh-cn/library/cc262041.aspx 更新: 2008-01-17 本文内容: 使用内容部署功能部署内容 使用内容部署包部署内容 使用解决方案包部署内容 本文提供有关使用 Microsoft Office SharePoint Server 2007 部署创作的网站元素…