python爬虫算一下demo大师网站的总创收

news/2024/5/11 15:07:07/文章来源:https://blog.csdn.net/weixin_34185320/article/details/85077737




    用python爬虫算一下demo大师网站的总创收,我会计算每个页面的上每个实例的下载次数和金额然后求总,免费的实例金额为0

QQ图片20180326154533.png

QQ图片20180225175056.png

09.png

08.png

#!/usr/bin/env python
#coding:utf-8import requests
import json
from bs4 import BeautifulSoupdef demodashi(url):response = requests.get(url)html = response.texthtml = json.loads(html)totalPage = html['totalPage']currentPage = html['currentPage']data = html['data']demouserdict = {}for demo in data:demouserdict[demo['ID']] = demopircesumpage = 0for id in demouserdict:downnum = demouserdict[id]['DOWN_NUM']usrurl = 'http://www.demodashi.com/demo/%s.html' % idheader={'Accept': 'text / html, application / xhtml + xml, application / xml;q = 0.9, image / webp, * / *;q = 0.8','Accept - Language': 'zh - CN, zh;q = 0.8','Cookie': 'userIdInfoCookie = XYq4JJPg8Pgw8LEUMhD;userSessionInfoCookie = 1ABE726154AB6AA9E8E771AD3188ED8C;JSESSIONID = BBAA6DCFC9E2CE2568AEEBF38EB3F101;Hm_lvt_27ece87947b753bb8e85404fdffce737 = 1521615577, 1521716172, 1522033433, 1522042544;Hm_lpvt_27ece87947b753bb8e85404fdffce737 = 1522042544','User - Agent': 'Mozilla / 5.0(Windows NT 6.1;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 55.0.2883.87UBrowser / 6.2.3964 .2Safari / 537.36',}response = requests.get(usrurl,headers=header)html = response.textsoup = BeautifulSoup(html,'lxml')try:pirce = soup.find('div',class_='sj-dm dsj-l').b.stringexcept:pirce = 0pircesumpage += int(pirce)*int(downnum)return pircesumpage,totalPagedef bankuai(url):totalPage = demodashi(url)[1]totalpirce = 0for page in range(0,totalPage):url = 'http://www.demoku.com/portal/demo/getDemoList4page?queryString=&toPage=%s&orderBy=&type=&typeId=&ptype=&to1=demo&to2=buy&userId=' % pagetotalpirce += demodashi(url)[0]return totalpirceif __name__ == '__main__':'''全部 :http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=&type=&typeId=&ptype=&to1=demo&to2=buy&userId=全部 (热门、推荐、最新)http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=downLoadMax&type=&typeId=&ptype=&to1=demo&to2=buy&userId=http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=avgMarkMax&type=&typeId=&ptype=&to1=demo&to2=buy&userId=http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=uploadNew&type=&typeId=&ptype=&to1=demo&to2=buy&userId=大数据http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=downLoadMax&type=1&typeId=2&ptype=2&to1=demo&to2=buy&userId=http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=avgMarkMax&type=1&typeId=2&ptype=2&to1=demo&to2=buy&userId=http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=uploadNew&type=1&typeId=2&ptype=2&to1=demo&to2=buy&userId=移动技术http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=downLoadMax&type=1&typeId=9&ptype=9&to1=demo&to2=buy&userId=http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=avgMarkMax&type=1&typeId=9&ptype=9&to1=demo&to2=buy&userId=http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=uploadNew&type=1&typeId=9&ptype=9&to1=demo&to2=buy&userId=web系列http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=downLoadMax&type=1&typeId=12&ptype=12&to1=demo&to2=buy&userId=http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=avgMarkMax&type=1&typeId=12&ptype=12&to1=demo&to2=buy&userId=http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=uploadNew&type=1&typeId=12&ptype=12&to1=demo&to2=buy&userId=前端开发http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=downLoadMax&type=1&typeId=26&ptype=26&to1=demo&to2=buy&userId=http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=avgMarkMax&type=1&typeId=26&ptype=26&to1=demo&to2=buy&userId=http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=uploadNew&type=1&typeId=26&ptype=26&to1=demo&to2=buy&userId=系统与编程http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=downLoadMax&type=1&typeId=31&ptype=31&to1=demo&to2=buy&userId=http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=avgMarkMax&type=1&typeId=31&ptype=31&to1=demo&to2=buy&userId=http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=uploadNew&type=1&typeId=31&ptype=31&to1=demo&to2=buy&userId=互联网应用http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=downLoadMax&type=1&typeId=47&ptype=47&to1=demo&to2=buy&userId=http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=avgMarkMax&type=1&typeId=47&ptype=47&to1=demo&to2=buy&userId=http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=uploadNew&type=1&typeId=47&ptype=47&to1=demo&to2=buy&userId=方案设计http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=downLoadMax&type=1&typeId=50&ptype=50&to1=demo&to2=buy&userId=http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=avgMarkMax&type=1&typeId=50&ptype=50&to1=demo&to2=buy&userId=http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=uploadNew&type=1&typeId=50&ptype=50&to1=demo&to2=buy&userId=产品设计http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=downLoadMax&type=1&typeId=52&ptype=52&to1=demo&to2=buy&userId=http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=avgMarkMax&type=1&typeId=52&ptype=52&to1=demo&to2=buy&userId=http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=uploadNew&type=1&typeId=52&ptype=52&to1=demo&to2=buy&userId=UI设计http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=downLoadMax&type=1&typeId=54&ptype=54&to1=demo&to2=buy&userId=http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=avgMarkMax&type=1&typeId=54&ptype=54&to1=demo&to2=buy&userId=http://www.demodashi.com/portal/demo/getDemoList4page?queryString=&toPage=0&orderBy=uploadNew&type=1&typeId=54&ptype=54&to1=demo&to2=buy&userId='''urllist = ['http://www.demoku.com/portal/demo/getDemoList4page?queryString=&toPage=1&orderBy=&type=&typeId=&ptype=&to1=demo&to2=buy&userId=']for url in urllist:print 'demo大师网站总收入: ' + str(bankuai(url))


    内容如果侵犯隐私,联系我会马上删除。。。。。  (961769710)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_834209.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

网站建设公司该不该把web前端外包出来!精辟

如今的网站建设公司其实过的并不好,一些建站平台、模板建站、仿站等都对网站定制造成了比较大的影响,网站建设公司如何降低用人成本、灵活的整合第三方资源成为度过“特殊时期”的重要手段,迎接下一波春天的到来。 网站建设公司该不该把前端…

网站运维之道 关于可用性

这是前一段时间投稿给《程序员》的一篇文章。标题中的"道"有些大了,您可以理解为"门道"的"道"。一家之言,妄自言道,诚可笑也。 什么是网站运维(Web operations) ?运维,绝不是某些人眼中…

网站运维之道 监控与报警机制

接上一篇的《关于可用性》,再谈一下监控与报警机制。 监控机制 定义了网站可用性指标,如何获取网站的可用值? 监控工具该粉墨登场了。 多数网站都会倾向于利用开源软件自行搭建监控平台。笔者一向认为,即使网站有一台服务器,也应…

网站运维之道 之容量规划

接上一篇《网站运维之道 监控与报警机制》,谈谈关于容量规划。 容量规划 有效的监控能够避免绝大多数问题的扩大化,但是还是做不到防患于未然。监控告警机制完善后,就需要着手考虑容量规划(Capacity Planning)的问题。 所谓的容量规划&#x…

手机之家网站架构–对话高春辉

这次去北京参加 CSDN SD 2.0 ,没发现高春辉的身影,原来是忙着做手机之家的架构升级呢。 从老高的近期工作总结中看到: 目前的技术状况是基于自行设计的 PHP 框架,跑在 PHP 5.2 MySQL 5.1 下,PHP 使用 Fastcgi 模式&am…

跨屏网  ,网站适配手机案例,适配前后对比图

跨屏网 ,网站适配手机案例,适配前后对比图 网站引用一句话JS代码适配 适配前 适配后 跨屏网自主开发一键适配跨屏平台,致力于为中小企业提供平价的手机适配服务。跨屏网为天悦网提供移动适配服务,网站适配后完美兼容手机端&#…

跨屏前后,网站添加一行代码,快速适配手机(非跳转)

跨屏前后,网站添加一行代码,快速适配手机,真实效果截图, 采用跨屏平台自主开发的解决方案。 主要的优势 1,pc手机内容及时同步 2,相同的域名访问 3,无需提交百度适配 4,利于seo…

面向用户的网站性能优化

在互联网这个行业,”以用户为中心的设计“已经达成共识,但很少听到有人说”以用户为中心进行性能优化”之类的话,很多时候,网站性能优化是面向服务器来进行,或许,应该扭转一点思维,改到考虑如何…

跨屏建站系统2021.2.17发布更新

跨屏网打造“无印良品”版建站系统,在传统建站系统都习惯性的保留建站平台的信息(版权),以至于形成了一个固有的现象,当一个建站平台上线的时候,往往都会带上平台的一些logo或者版权信息,然而这…

跨屏建站saas系统2021.4.27发布更新

跨屏建站saas系统2021.4.27发布更新,增加了聚合头条板块,saas建站除了成本低,建站快,更多的还是应该能够连接企业与企业的通道,以及帮助企业把信息推广出去,这才是saas建站的本质,也只有saas建站…

如何申请注册跨屏建站“跨屏号”

企业要网络营销,离不开网站。 而做网站的第一步,你只需要注册一个自助建站平台的账号即可快速开启。 跨屏网专注于h5响应式网站的开发,模板多、代码规范标准、后台操作简单,如果后期seo优化做的好,很容易获得百度的排…

电脑版、3g版、触屏版、跨屏版,网站为何需要重新定义?

从pc端为主、pc手机版,再到移动优先,网站到底发生了哪些变化? 跨屏时代的到来,让推广理念和建站方式随之发生改变。 2010年,被许多人称为移动互联网元年,这一年,用户逐渐将重心从PC端转到动端。 跨屏理念渗透到各个行业,比如最各大手机厂商oppo,小米…

我想这就是我选择模板自助建站平台的原因

伴随着低代码、无代码技术的出现,自助建站平台再次受到关注,只要会打字就能建站,面向小白的模板自助建站平台何尝又不是低代码、无代码技术呢?并且随着技术的革新,模板建站提供的模板不仅跨屏自适应,而且也…

【跨屏建站网】选择自助建站平台很重要的一个指标

跨屏建站网主攻电脑、手机多屏多端自适应的自助建站系统的开发,下面和大家讲讲选择自助建站平台很重要的一个指标,这是一般人不会提及的,但是又非常重要的。 首先我们不讲大家常提到的,什么网站功能强大,模板漂亮选择…

学习豆瓣好榜样–网站架构

这次的 QCon 会议,《豆瓣网技术架构的发展历程》这个议题差不多是最受关注的。洪强宁在演讲开始告诫大家期望值不要太高,我还是相信不会有人觉得失望的。 先说几句题外话,整个演讲听下来,我们会发现豆瓣在发展的过程中也是有点弯路…

跨屏建站网发布响应式电子商务网站主题kpshop

跨屏建站网发布响应式电子商务网站主题kpshop,在此之前我们开发了会员专用主题kpvip,博客专用主题kpblog,企业官网专用主题kpcom,而此次开发的跨屏响应式电子商务模板主题代号kpshop主要针对企业商城设计,采用简约式设…

跨屏建站平台2023.3.4发布更新,启用了新logo

跨屏建站平台2023.3.4发布更新,启用了新logo,网站整体风格布局进行了比较大的调整,走的是极简设计风格,最大的变化是网站变得更加简洁了,网站采用极简设计的好处很多,不仅耐看,而且对于手机下的…

再跟 Flickr 学习网站运维经验

Image via CrunchBase 学习了一下 Flickr 的运维工程师 John Allspaw 的这个Operational Efficiency Hacks 讲座内容。做一点笔记。 现在 Flickr 的数据相比2007年的时候真是有了显著的增长: 24 TB 的 MySQL 数据每秒钟 MySQL 有 3.2 万次写操作每秒钟 MySQL 有 12…

小白前端开发笔记-创建网站的细节(娃娃级)导航栏的写法细则 搜索框的写法细则

拿到后的操作: 观看布局 确定版心 :1102px 基础准备: *{ margin: 0px; padding: 0px; line-height: 1; } .center { width: 1100px; margin: 0px auto; } li{ list-style-type: none; } a{ text-decoration: none; } 针对form的操作&#xf…

杨泽业:给你的php网站添加经典语录功能

我们做一个网站就是要不断给访客提供最佳的用户体验,同时提升自己的品牌价值,而文章结束的经典语录的功能,完全可以实现我们所要达到的效果。(如下图)给你的wordpress博客添加经典语录功能这个是怎样实现的呢&#xff…