使用selenium爬取fofa中链接的网站正文

news/2024/5/19 15:54:47/文章来源:https://blog.csdn.net/csdn_zxg/article/details/108681973

如题,可能有人不明白啥意思,看下图,本文就是爬取fofa中红色圈圈的内容,红色圈圈是fofa存储的其他链接的HTML,点击这个图标就会弹出界面,界面里面就是HTML,我们就是爬这个东西。

由于登录后只能爬5页,所以我们只爬5页。

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
import os,time
import pandas as pd
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC#app表示我们要搜索的标题
app=["海康威视-视频监控","NUUO-视频监控","北京银河伟业-视频监控","大华-视频监控","Brickcom-视频监控","DASAN_Networks-视频监控","ACTi-视频监控","Vicon-视频监控","雄迈-视频监控"]
#这是启动chromedriver,这东西网上有,下载过来放Chrome里
browser=webdriver.C

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_905619.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用selenium爬取fofa中的网站链接

上一次爬取fafo给的HTML是被处理过的,不能用,这次我们直接爬取他们给到网站链接,然后自己去爬ip的网站 由于登录后只能爬5页,所以我们只爬5页。 import requests from bs4 import BeautifulSoup from selenium import webdriver import os,time import pandas as pd from …

搭建个人网站

转自知乎 诸葛小猿 nox小白 进行了一些小改 一、搭建个人网站 1.阿里云学生机轻量级服务器的初始化 购买了阿里云轻量级服务器,相当于我们有了硬件服务器,接下来我们要使用阿里云的轻量级服务器的管理页面,将操作系统等装好,这个…

如何搭建一个自己的网站

下边是我搭建的一个简单的小网站 附上网址:http://lianglv.top/ 点击跳转 准备(需要下载的工具) 百度网盘下载需要的工具:链接:https://pan.baidu.com/s/1wEK9BMD70gmmIEiVHSbZLA 提取码:pyx3 包含&am…

10大最佳技术应用网站(除年度最佳外,其余按首字拼音顺序排列)

10大最佳技术应用网站(除年度最佳外,其余按首字拼音顺序排列) 入围名单(按首字拼音顺序排列): 163邮箱 爱迪网 百合在线 BlogBus 豆瓣网 FeedSky 快钱 Lava-Lava 猎户星在线写诗机 六间房Alpha 2.0 民生银行网上银行 奇…

MySQL在大型网站的应用架构演变

写在最前: 本文主要描述在网站的不同的并发访问量级下,MySQL架构的演变。 可扩展性 架构的可扩展性往往和并发是息息相关,没有并发的增长,也就没有必要做高可扩展性的架构,这里对可扩展性进行简单介绍一下&#xf…

云服务器docker自建一个博客网站

最近在一位大佬的帮助下起了一个自己的博客网站,感觉非常好用,特地记下来 先租用一个服务器,配置可以参考这个,腾讯云我这个59一年 然后找到对应linux版本的docker,进行安装,我这个是Centos,菜…

企业怎么样建设一个好的网站,需要注意什么?

企业网站的建设就是要展现自己的形象,为了强调自己的企业实力,你觉得,现在找工作的人都知道百度搜索,先看看公司的官方网站,不管是骗子,还是外壳公司,如果不是,你认为人们敢相信你呢…

企业网站建设做手机站有何优势,网站建设有哪几种方式

现如今是互联网高速发展的时代,通过互联网企业可以获得更多的利益,特别是现在移动互联网也在飞快发展,可以说是占据了互联网的大部分流量,这么大的市场相信无论大企业还是中小企业都不想放过的。加上现在每天利用手机上网的用户达…

影响网站自然排名你不得不知的几个因素分析

随着互联网信息科技的不断进步,搜索引擎也变得越来越智能化了,想要知道什么,看到什么信息,只要一搜就有一堆信息呈现在眼前。那么对于各个企业的网站来说,怎么样才可以优化网站自然排名,让网站在搜索引擎拥…

推荐一个在线收藏 RSS 的网站--抓虾

摘要: 从这里进入抓虾 也许你以前对 RSS 已有所了解或者正在使用它,要是还不知道 RSS 是什么 ,那要补习一下了: 阅读全文 -------------------------- 新闻: Firefox 3.5:很快 但还是不够 网站导航: 博客园首页…

谈一下关于个人网站实现免签支付接口自动收款

由于本人有一个项目需要用到支付收款功能,只有企业资质才能申请支付宝和微信支付接口,我也看了下市面上的 一些个人收款码的方案,来实现自动收款,感觉这样做有很大的风险,用个人码收款也会让人感觉项目网站不太正规 我…

小编闲谈——刷题网站

刷题网站 前言洛谷领扣dotcpp信息学奥赛一本通 前言 最近疫情很紧,小编所在的楼都被封了。最近闲的慌,于是整理出来了几个常用的刷题网站,如下: 洛谷 洛谷网站主战 里面有为数众多的题目,题目类型包括贪心、宽搜、队…

python爬虫实例--tencent网站招聘信息

学习python爬虫一段时间了,想做个实例巩固一下所学的知识。 爬取对象:腾讯招聘网站 不知道是不是被爬的多了,这个网页变动挺大的。 (网上搜到的那些爬虫代码已经不好使了,๑乛◡乛๑) 代码如下&#xf…

有趣的网站404错误设计欣赏

如果一个用户看到一个普通的404错误页面他或许不会多做一些停留。而如果一个有创造性的404页面它肯定会激发访客多做一些停留来研究这个页面。所以想让你的404页面多一些访客量停留那就在上面多一些创造性的空间。 今天站长素材专门收集了50个很有趣的404创意页面,里…

无聊了 挨个网站点点登陆一下看看账号还活没活着=。=

找了些稍微有技术性的网站论坛登陆一下 看看还有没有自己的账号 哈哈 继续补充中。。。 (一)CSDN 注册3年了 不停的潜水 不停的潜 这个账号很久没用了 为什么呢 因为下载资源的分都成负的了 看帖不回贴的后遗症 (二)设计中国挺不错…

asp.net 2.0 多语言网站的解决方案

asp.net 2.0中的App_GlobalResources可以用来解决本地化的问题,程序会根据浏览器的语言首选项自动判断显示出本地化的界面。 首先在App_GlobalResources新建resx资源文件。如: 不同语言的resx中项目应该具有相同的名称: 中文资源项 英文资源项 完了以后就可以使用这些名…

鹰潭seo来这扎根了

鹰潭seo来这扎根了,从今以后鹰潭seo每天都会跟大家分享seo知识,请朋友们多多关照!!!

为什么谷歌不收录你的网站

鹰潭seo网站是在2013年4月2日正式上线的,就在运营了10多天的时候成功的被百度收录了首页。但是很长时间发现谷歌就是不收录我的,因为之前我以为谷歌收录会经过一段时间,直到有一天我朋友的站,还不到一个礼拜就被谷歌收录了&#x…

seo的核心思想是什么

搜索引擎是seo的上帝,他们之间不是对立关系 用户是搜索引擎的上帝,而搜索引擎则是seo的上帝。为什么这么说呢?我们做seo,那seo带来的流量是不是搜索引擎给的,搜索引擎为什么把流量给你,只能是我们帮助它服务…

seo影响因素有哪些

主机对seo的影响因素 独立Ip 你的网站是不是独立ip,如果你的网站是一个独立的ip,百度会认为你一个人占了一个服务器,你的权重会较好。我们没有独立ip,要是同个服务器的网站有出现被惩罚或者被K的网站,就有可能会牵连到…