文 | xiaoyi（转载请后台联系）
关注公众号：小一的学习笔记
截止发文，北上广深一共有6510条公交线路
为了获取上面的这些线路信息，我写了一个爬虫，大概用了2秒左右就搞定，真爽！
说出来你们可能不信，别着急，用代码说话
，往下看👇
先给一个代码的使用说明，源码和逻辑见后文
>1、核心代码
首先是先获取目标城市的公交线路分类信息，需要传入的参数是城市名称
线路分类是在目标城市的首页会显示，获取起来也比较容易。此外，还需要根据线路标签构造访问的二级URL
其中，主函数代码如下：
# 获取公交线路分类信息
city = 'shenzhen'
dic_city = get_bus_list(city)其次是通过遍历每一个类型的公交线路，获取该线路下的所有的公交路线，并构造每一条公交路线的三级URL，方便后续的信息获取
最后将多个城市的数据合并在一起，就搞定了
# 解析并获取每个线路的数据
df_per_city = get_line_info(dic_city)
df_data = df_data.append(df_per_city, ignore_index=True)程序运行图如下：
最终爬取的数据如下：
北上广深一共有6510条公交路线
>2、爬虫思路
获取源码文件请直接在后台回复 公交站点
今天的源码其实之前有写过，但是因为过去时间比较久了，没有和官方的更新同步，所以在运行过程中会出现bug
这次我也是将存在的bug修复了，并优化了部分逻辑，比以前的代码运行速度会更快，更快！
今天爬取的网站是8684网，上面有各种公交站点、地铁站点、违章、资讯等等数据，小功能做的相当不错。
页面长这样：
对应的我们点击热门公交中的某个城市，例如：深圳公交，注意看点击的时候网址栏发生的变化
此时的网址变成了：https://shenzhen.8684.cn/
以此类推，其他城市对应的访问链接想必你会很容易构造出来
点进去之后的页面是这样的：
从这几种分类类型来看，路线分类那一栏一定是最标准的，而且在后期的分析过程中一定会最有用。
直接打开F12，进行源码分析（或者在某个超链接上点击右键->检查）内容一目了然
定位到 bus-layer depth w120 的这个 div，然后定位到它的第三个 class为‘pl10’ 的子div，这个就是我们我们需要的线路分类
对应上面的网页显示内容，源码都展开之后是这样的：
其中有两种标签：class="kt" 的span标签，对应的是分类的标题；class='list' 的div标签，子标签对应的是每一个分类的链接 href 和名称，有用的是第二个标签。
正常点击网页上的某一种分类线路，例如：常规线路，注意看点击的时候网址栏发生的变化
此时的网址变成了：https://shenzhen.8684.cn/line1，也就是在之前链接的结尾加上上面的 href 内容
再回到我们的网页上，可以看到显示的公交路线
同样分析源码，内容如下：
和上面一样的处理思路，在源码中可以直接定位到该类型线路的所有公交线路的详细信息，直接采集即可
代码复现起来也比较简单，但是由于篇幅问题，这里就只展示核心的代码部分
首先是解析公交路线类型，并构造每一个类型的二级URL
# 解析公交路线类型
if '线路分类' in name:soup_a_list = soup_bus.find('div', class_='list')for soup_a in soup_a_list.find_all('a'):text = soup_a.get_text()href = soup_a.get('href')dic_result[text] = "https://{0}.8684.cn{1}".format(city, href)其次是解析每一条公交线路，包括的字段有：线路类型、线路名称、标记、链接和城市
其中的链接是每一个公交线路的详情链接，里面有该线路的票价、开始时间、结束时间、站点信息等等
核心代码如下：
# 解析每一条公交线路
for soup_a in soup_buslist.find_all('a'):text = soup_a.get_text()href = soup_a.get('href')title = soup_a.get('title')bus_arr.append([key, title, text, "https://{0}.8684.cn{1}".format(city, href), city, '未更新'])以上是核心源码，这里省去了非核心部分，需要请查看源码文件。
👆获取源码请在后台回复公交站点
·················END·················
推荐阅读
• 不好意思，我真的不用花钱
• 害，5秒就搞定的事儿，我以为多复杂呢
• 是的，这三个网站，我天天用
原创不易，希望大家在看完文章的同时，记得一键三连
我是小一，我们下节见！
![[附源码]java毕业设计智慧农业销售平台](https://img-blog.csdnimg.cn/cd344321913f45ce80756b587c5181df.png)
