0 前言

先说说看这篇博客你能知道什么：1 腾讯、网易、新浪不同新闻的地址格式以及评论内容的地址格式（返回数据为json的异步接口）；2 一些比较通用的设计方法，对软件设计的菜鸟可能有帮助；

之前也说了要写这篇博客，现在终于写出来了。我的毕业设计的指导老师说毕设论文的字数不够……所以我决定把这些本不应该出现在论文中的实现细节凑到论文中。至于下面说到的东西要解决什么问题，各位可以先看看这个网站（我毕设的初步结果，目前还在优化中，包括代码结构还有UI设计）：http://news.reetsee.com/

凡是这篇博文中出现超链接的地方，可以放心点击，新的页面会在新标签中打开而不会直接在当前的标签打开。

这个网站要实现以下功能：从腾讯新闻、网易新闻、新浪新闻中（当然以后可能会更多其它新闻网站）通过代码自动分析出哪些新闻内容是相似的，然后把相似的内容组织到一起，例如三个网站都有“北京成功申奥”这样的新闻，这个网站会自动把三条新闻归到一起，然后把三个新闻网站的热门评论都下载下来，按照时间排序，最后通过代码计算出一段“评论概括”，因为有的人很懒，看新闻基本就是看了标题然后看评论，看评论可能只看热门评论，看热门评论可能还看那种被顶得最多的，所以我就这么帮下这些懒人了……哈哈哈。

网站打开得有点慢，这个是因为我的代码写得不够好，在百度也看到很多牛逼的技术内容，回头看看这个毕设的各种设计，觉得有点丢脸，迟点重构····目前先凑合着用。咳咳，跑题了，这个网站的所有内容可以说都是通过爬虫抓取下来了，我的工作只不过是将爬虫获取的内容进行了组织然后重新展现。

这篇博客的内容仅仅是说一下爬虫是怎么写的，完全不会涉及分析新闻相似的算法是怎么样的以及对热门评论进行概括的算法是怎么样的。

那么下面开始。

1 新闻格式规范化

我在同学介绍下选择了Python的Scrapy爬虫框架进行爬虫编写（最近我自己用PHP写了个爬虫框架Phpfetcher，可以参见这里：http://blog.reetsee.com/archives/366）。要在自己的网站上展示新闻内容，就应该将下载好的新闻按照统一的格式处理好，这样前端（网页端）才能够方便地处理、展示。一篇新闻有以下几个需要关注的地方：

1. 新闻标题
2. 新闻正文
3. 新闻时间

 由于要知道新闻的来源以及对应的评论，所以加上这两项：4. 新闻来源，5. 新闻评论地址。

那么最终在我这里，一篇处理后的新闻格式应该是这样的（这里使用类似json的格式表示，“[]”表示一个数组，“{}”表示一个字典）：

如果有人问既然已经有了新闻的地址页面，为什么还要将新闻标题、新闻正文这些内容保存到本地呢？因为要在本地对新闻进行分类，就必须将这些内容下载下来。

上面的格式只是一个初步的统一格式，最终的格式相比这个可能会有小变化，这个后面再说。

2 评论格式规范化

要在我的网站对评论进行展示，就要有统一的格式，通常评论的要素包括三个：

1. 用户名
2. 评论时间
3. 评论内容

 由于我要标注评论的来源，所以再加一个：4. 评论来源，那么最终被我处理过的评论格式如下：

那么最终重新按照时间排序后的评论列表格式应该是像下面这样的：

这里先规范好最终的评论格式，下面针对评论部分的讲解设计就有头有据了。

另外就是评论并不需要爬虫下载！因为评论是实时更新的，不像新闻，基本上发布了就不怎么变化了。因为评论的内容是在用户点击某条新闻后才通过HTTP请求获取的。

3 URL规则分析

3.1 腾讯新闻

还记得在“评论规范化”中定的格式吗？现在我们就从上面的json格式找到一个将其规范化的方法，假设热门评论连接中返回的json格式的变量名为js，i为遍历时的下标，那么用下面这个方法进行评论格式的规范化：

3.2 网易新闻

另外一个例子：

4 最终格式及补充说明

网易：

新浪：