cefsharp内嵌资源html的读取,C#(csharp)用CefSharp开发实现一个浏览器,抓取网站任意资源...

news/2024/5/13 5:14:13/文章来源:https://blog.csdn.net/weixin_29549747/article/details/117712848

format,png

format,png

前言:

不少网站会保护自己,防止别人下载图片。

因此下载器,先后改了好几次,不断技术升级。

早期 用WebClient 下载 HTML 分析 URL 下载。

后来 为了下载 手机网站的图片,用上了 User-Agent 特性,模拟手机浏览器。

之前遇到一个复杂些的 网站M ,页面用 JS 加载生成。无法直接获得HTML。

用Chrome一番分析后,发现其图片地址 有固定格式。文件名是 3位数数字,从1开始累加。

因此只要在浏览器 取到第一个图,后面的图片URL 生成下 也得到了。批量下载搞定。

前段时间 网站M 升级。图片展示使用 HTML5 canavs 显示,而且 图片路径 也加随机字符。难以生成了。

对于Chrome来说依然没有遮挡效果。依然可以取到 URL,可以手工保存图片, 然而 无法批量下载了。

问题来了:

无法取到 HTML分析出 图片路径,而且路径名称随机。那么如何批量下载图片?

既然 图片展示到我们面前,数据必然也已经到了 我们这边,就看我们这么取得了。

解决办法:

WebClient不行,于是想到了  Winform 的 WebBrowser 实现浏览器,能显示必然能取到数据。

WebBrowser对于大部分网站还是可以的。然而对于 HTML5的 或者 新特性的 网站就有些 不方便了。有时候不能正常显示网站。例如,网站M.

它依赖 操作系统的 IE浏览器,而且默认是系统里老版本的 IE。可能是 IE7 吧。

一番资料查找 发现CefSharp。这个是Chrome 的另一个开源项目, C# 调用。可以在Winform,Wpf 等中 嵌入浏览器。

CefSharp在网上有一些资料,不多。为了弄明白CefSharp里 取得 图片URL,图片数据。花了一番功夫,查资料,看源码。

倾情大放送,来一大波代码:

开发环境:VS2015  framework 4.5.2  x86模式   CefSharp 63.0.30

winform:

format,png

format,png

format,png

format,png

format,png

format,png

format,png

format,png

format,png

有了上面的代码,便可以获取到 目标网站的 任意资源了。

format,pngEND一些推荐【开源Blazor控件库】点击浏览

【开源B/S项目】WTM

【开源WPF控件库】点击浏览

【开源WPF项目】点击浏览

【开源Winform项目】SiMay远程控制管理系统

【开源Qt项目】点击浏览

【更多分享】点击浏览

资源分享回复数字【01】:获取DotNet技术资料

回复数字【02】:获取Java技术资料

回复数字【03】:获取Android技术资料

回复数字【04】:获取C++技术资料

回复数字【05】:获取Qt技术资料

回复数字【06】:获取React资源

添加号主微信号【dotnet9】:备注【入群】加入与大佬们的技术交流❝

时间如流水,只能流去不流回。公众号:Dotnet9

号主微信号:dotnet9

文本转自公众号:新阁Net社群

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_749192.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

在线购物系统后台登录界面html代码,电子商城(购物网站)html模板源码

【实例简介】电子商城【实例截图】【核心代码】└─legendshop-UI│ category.html│ category_list.html│ index.html│ login.html│ shopcart.html│ userhome.html│ views.html│├─css│ bootstrap.css│ member.css│ order3.css│ produc…

网站开发小记

想不到,真的想不到,花3天写的代码,花3天做的页面,居然用了1个多月的时间才算刚刚开始用,期间经历了不少风风雨雨,但是总算是过来了,可以安心的迎接考试了(最近都在看电影&#xff0c…

SEOer未来发展的两个方向

闲言碎语不多讲了,今天的话题是一位朋友提出来的:“老师,百度近期做了这么多调整,SEO的春天来了还是冬天来了呢?现在学习SEO的话,应该向哪个方向发展呢?”这段时间百度确实压力不小,先是“魏则西事件”迫…

blink包含哪些服务与组件_网络营销——优秀的网站优化公司都包含哪些助力网络营销的服务?...

众所周知,在当下的互联网时代信息肆意横流的环境下,网络营销对于企业来说是件再普遍不过的事情了,也正是因为互联网能够为企业与用户之间进行传递和沟通、提高彼此的工作效率,才能够被各行各业的企业老板们接受、认可。尤其是在企…

使用Windows Azure, .NET Services, SQL Azure打造自己的免费网站(1)

忙也无聊,闲也无聊,忽如一夜春风来,IT界流行云计算。看园子里大家都云来云去的,惹得我心痒痒,前段时间自己的域名被和谐,博客也随之消失,一直耿耿于怀。正好邮箱里放着MS的2个Azure邀请码&#…

WTF?这个Google搜索结果有毒,官方网址打开竟是诈骗网站

本文讲的是WTF?这个Google搜索结果有毒,官方网址打开竟是诈骗网站,Google广告系统的审核机制再次被绕过。 在Google搜索“Target”,一家美国大型零售商的名字,第一个结果会把用户重定向到伪装技术支持的诈骗网站。 一位…

一男子吃烤鱼唤醒被拐卖的记忆,上寻亲网站竟找到亲生父母

今天网上出现一条这样的微博:于是网友们表示:事情是这样的:27年前,重庆市石柱县大歇乡的六岁孩子付贵被拐卖到了福建。这20多年里,付贵的家人一直在找他,并且在“宝贝回家”寻人平台上注册了信息&#xff1…

设置网站默认目录

设置网站默认目录 在发布网站后,输入网站域名http://www.haokafei.com后,Url老是自动变成http://www.haokafei.com/index.html, 我的默认根目录中的网页时index.aspx,最后查了下才知道要去IIS设置一下。 进入IIS,选择“文档”选项卡&#xff…

手机浏览器被强制跳转_谷歌浏览器开始调整系统UA标识符阻止网站识别浏览器具体版本...

此前谷歌浏览器已经预告过将会取消已沿用多年的用户代理字符串,原因是这些字符串可能泄露用户的隐私信息。代理字符串包含系统版本、体系架构、浏览器版本和体系架构等信息,部分广告网络会利用这些信息来追踪用户。因此谷歌决定彻底取消用户代理字符串只…

构建LAMP动态网站

虽然关于LAMP架设的文章,51cto上已经有很多很多了,但我还是想写一篇这样的文章,来对自己的工作经验做个总结。我将把《构建LAMP动态网站》分两篇文章来进行讲解,第一篇首先是搭建一个LAMP的WEB框架,第二篇是在这个WEB框…

关于大型网站技术演进的思考(八)--存储的瓶颈终篇(8)

在开始本篇主要内容前,我们一起看看下面的几张截图,首先是第一张图,如下图所示: 这是一家电商网站的首页,当我们第一次打开这个首页,网站会弹出一个强制性的对话框,让用户选择货物配送的地址&am…

构建高性能ASP.NET站点之一 剖析页面的处理过程(前端),徐汇区网站设计

导读:作者燕洋天写了一系列关于ASP.NET的文章。在对ASP.NET网站进行优化的时候,往往不是只是懂得ASP.NET就足够了的。在优化的过程中,一般先是找出问题可能存在的地方,然后证明找出的问题就是要解决的问题,确认之后&am…

先睹为快:Visual Studio 11测试版已于2.29在微软官方网站正式发布

在2011的下半年,Visual Studio 11就已经呼之欲出,在2012年的2月29日,微软官方网站正式发布了VS11的测试版。VS11中使用了Framework4.5,与Framework4.0相比,没有发生太大的改变,只是对功能进行了优化。 下载…

IIS建立网站后显示“403.1禁止访问”的解决方法

建立网站后,显示如下: 这是由于没有脚本访问权限导致的,解决方法: 这样设置后就可以了,呵呵 本文转自博客园张占岭(仓储大叔)的博客,原文链接:IIS建立网站后显示“403.1禁…

25个绿色网站设计灵感

绿色的颜色即我们通常与自然关联的,并且它是可见光谱的3原色之一。三基色红,绿,蓝。我已经共享的红色网站的集合,在这个集合中寻找灵感,你会发现25个绿色网站。 绿色也与环境,这些天我们都将努力挽救环境和…

转载-支持中英文多语言浏览的MVC网站实例

思路大概是这样的,将翻译成不同语言的词句以xml键值对的格式分别存在不同文件夹下,扩展MVC HtmlHelper, 在扩展方法里根据用户当前访问Action所在的路径以及当前所选的语言类型读取语言文件夹下的xml文件,再通过HtmlHelper传过来的key获取对应…

js实现倒计时 类似团购网站

一、demo与效果展示 为节约时间,我就直接套用了企鹅团的界面作为demo的背景。因为是倒计时,所以需要一个固定的时间,为了n年后,某位仁兄打开demo页面依然在倒计时,所以我把倒计时时间设成了2050年7月30日中午12点整&am…

阿里云+Ubuntu+LAMP+WordPress搭建个人博客网站

首发于个人网站http://139.196.86.184(域名备案中),转载注明作者与出处,谢谢。 搭个人网站一般有两种选择: GitHub Pages Hexo / jekyl服务器 WordPress / Typecho之前试过1,现在试试2,个人选…

python使用requests和beautifusoup模块爬取学校网站的就业中心信息,并发送至自己的邮箱...

2019独角兽企业重金招聘Python工程师标准>>> 最近有一件非常难过以及无限悲伤的事情发生了,那就是Firebug停止更新和维护了!! Firebug作为一款前端调试工具,同时也是我接触的第一款前端工具(虽然我仅使用它…

基于Vue+Vuex+iView的电子商城网站

MALL-VUE 这是一个基于VUE VUEX iView做的一个电商网站前端项目, 附带前后端分离实现版本(在forMallServer分支),欢迎fork或star项目地址: https://github.com/PowerDos/Mall-Vue 项目预览地址(demo): https://powerdos.github.io/Mall-Vue/index.html…