java使用HttpURLConnection检索网站时403错误处理方式

news/2024/5/20 1:32:52/文章来源:https://zgren.blog.csdn.net/article/details/39160809

java使用HttpURLConnection检索网站时403错误处理方式:

我们通过代码方式访问网站时会报错:



此种情况分2中类型,

1.需要登录才可以访问;

2.需要设置User-Agent来欺骗服务器。

connection.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");

User Agent说明:

User Agent中文名为用户代理,简称 UA,它是一个特殊字符串头,使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。  

一些网站常常通过判断 UA 来给不同的操作系统、不同的浏览器发送不同的页面,因此可能造成某些页面无法在某个浏览器中正常显示,但通过伪装 UA 可以绕过检测。

java访问网站代码:

    /***  发起http get请求获取网页源代码 * @param requestUrl* @param isUserAgent 是否设置欺骗服务器* @return*/public static String httpRequest(String requestUrl,boolean isUserAgent) {  StringBuffer buffer = null;  try {  // 建立连接  URL url = new URL(requestUrl);  HttpURLConnection httpUrlConn = (HttpURLConnection) url.openConnection();  httpUrlConn.setDoInput(true);  httpUrlConn.setRequestMethod("GET");  if(isUserAgent){httpUrlConn.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");}// 获取输入流  InputStream inputStream = httpUrlConn.getInputStream();  InputStreamReader inputStreamReader = new InputStreamReader(inputStream, "utf-8");  BufferedReader bufferedReader = new BufferedReader(inputStreamReader);  // 读取返回结果  buffer = new StringBuffer();  String str = null;  while ((str = bufferedReader.readLine()) != null) {  buffer.append(str);  }  } catch (Exception e) {  e.printStackTrace();  }finally{
<pre name="code" class="java">            // 释放资源  bufferedReader.close();  inputStreamReader.close();  inputStream.close();  httpUrlConn.disconnect();  
        } return buffer.toString(); }
 

执行结果:顺利获取到网页代码。




本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_850978.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

解决某些网站,图片不能下载

如下图&#xff0c;右键图片&#xff0c;没有保存图片的选项 按下F12 拷贝src中的地址&#xff0c;输入到浏览器&#xff0c;这时候就可以保存图片了

给duckling网站加上cnzz网站统计信息

第一&#xff0c;注册cnzz帐号&#xff0c;网址http://www.cnzz.com/ 第二&#xff0c;登录帐号&#xff0c;获取代码&#xff1b; 第三&#xff0c;根据自己的需要&#xff0c;将代码加入网站的公共页面&#xff0c;比如说head、foot、version页面都可以。 第四&#xff0c…

网站压力测试工具Jmeter安装与使用

系统是Windows XP 配置此工具前&#xff0c;需要先在机器上安装jdk 如下是在jdk1.7的基础上配置的&#xff1b; 安装步骤如下&#xff1a; 第一步&#xff1a;解压apache-jmeter-2.8.zip文件至c盘&#xff0c;本文解压至C:\jmeter2.8目录下。 第二步&#xff1a;桌面上选择“我…

十大抢手的网站压力测试工具

原文链接&#xff1a;http://blog.163.com/weiwenjuan_bj/blog/static/1403503362010621111052355/ 两天&#xff0c;jnj在本站发布了《如何在低速率网络中测试 Web 应用》&#xff0c;那是测试网络不好的情况。而下面是十个免费的可以用来进行Web的负载/压力测试的工具&#x…

使用WinSCP 上传 jeecms 到linux centos中 显示乱码问题,网站无法使用的解决方法

第一、设置WinSCP上传时的编码为utf-8如下&#xff1a; 第二、将linux的默认字符集设置为zh_CN.UTF-8 vi /etc/sysconfig/i18n 内容如下&#xff1a; LANG"zh_CN.UTF-8" SUPPORTED"zh_CN.UTF-8:zh_CN:zh" SYSFONT"latarcyrheb-sun16" [rootcan…

如何使用firefox浏览器查看记住的网站密码

工具——》选项——》安全 如下图&#xff1a; 点击就出现浏览器记住的登录网站、帐号、密码了&#xff0c;密码是明码。

如何使用遨游浏览器查看记住的网站密码

点击“显示密码”即可&#xff0c;密码是明码&#xff01;

tomcat部署多个项目,通过不同域名解析访问不同的网站

win7、tomcat8、jdk1.7 第一&#xff1a;通过配置hosts文件模拟&#xff0c;hosts文件所在路径&#xff1a;C:\Windows\System32\drivers\etc 修改如下&#xff1a; #测试tomcat配置多个项目&#xff0c;用二级域名访问 127.0.0.1 www.ibelieve.com 127.0.0.1 bbs.ib…

.NET中实现网站的国际化

本文适当的修改了原文&#xff0c;&#xff0c;特此说明 原文地址&#xff1a;http://dotnet.9sssd.com/aspnet/art/949 网站在开发的过程中需要实现多语言版本&#xff0c;我们暂且认为有英语和汉语两个版本。网站结构包括&#xff0c;UI过程&#xff0c;rest服务&#xff0…

人生苦短,我用Python(二)— 爬取会议网站 EasyChair Smart CFP

寒假留校帮学长写了个爬虫&#xff0c;抓取会议网站上一些CFP信息。想着把一些知识点、坑点记下来&#xff0c;一来做个小总结给工作收收尾&#xff0c;二是以后再遇到好从容应对。 这是我写的第二个比较完善的爬虫了&#xff0c;比第一个要简单许多&#xff0c;完全过程化的代…

由12306.CN谈谈网站性能技术http://coolshell.cn/articles/6470.html

由12306.CN谈谈网站性能技术 2012年01月16日 陈皓 评论 340 条评论 163,061 人阅读 12306.cn网站挂了&#xff0c;被全国人民骂了。我这两天也在思考这个事&#xff0c;我想以这个事来粗略地和大家讨论一下网站性能的问题。因为仓促&#xff0c;而且完全基于本人有限的经验和…

搭建VueJS2.9+ElementUI单页面网站,编写导航页,导航栏跳转、切换

对于一个单页面应用来说&#xff0c;导航页是至关重要的一个页面&#xff0c;所有的组件都会在这个页面里进行显示。先看效果图&#xff0c;文章最下边有我的模板源代码下载路径。接下来我们就开始进行导航页的开发。 1、安装vue-router 搭建vue环境时装过的忽略此步骤。在…

大型网站系统架构分析

本文转载自博客 Mainzs Blog 感谢作者的辛勤劳动成果过 大型网站系统架构分析 千万级的注册用户&#xff0c;千万级的帖子&#xff0c;nTB级的附件&#xff0c;还有巨大的日访问量&#xff0c;大型网站采用什么系统架构保证性能和稳定性&#xff1f; 首先讨论一下大型网站需…

大型网站架构演变和知识体系

&#xff08;原文&#xff1a;http://www.blogjava.net/BlueDavy/archive/2008/09/03/226749.html&#xff09;之前也有一些介绍大型网站架构演变的文章&#xff0c;例如LiveJournal的、ebay的&#xff0c;都是非常值得参考的&#xff0c;不过感觉他们讲的更多的是每次演变的结…

大型网站架构

这里转载几篇关于大型网站架构方面的内容&#xff0c;以便日后细细品读。一下内容均来自Mainzs Blog 架构设计之性能设计经验 性能(performance)设计非常重要&#xff0c;对于服务器端实时交易系统来说系统性能的重要性不言而喻&#xff0c;对客户端软件来说性能好的软件也…

IIS6.1无法发布vs2010开发的网站若干问题的解决方案

1、未能加载文件或程序集“XXX”或它的某一个依赖项。系统找不到指定的文件 基本的思路是缺少某个引用的文件&#xff0c;出现类似的错误有多种情况。说一下我这里出现这种情况的原因 由于做项目时web.config文件需要一些配置&#xff0c;比如说Form认证&#xff0c;所以我直接…

大型网站系统架构演化之路

前言 一个成熟的大型网站&#xff08;如淘宝、京东等&#xff09;的系统架构并不是开始设计就具备完整的高性能、高可用、安全等特性&#xff0c;它总是随着用户量的增加&#xff0c;业务功能的扩展 逐渐演变完善的&#xff0c;在这个过程中&#xff0c;开发模式、技术架构、设…

简单登录网站的搭建(未完成)

简单登录网站搭建 题干&#xff1a; 自己写一个登陆页面&#xff0c;并能实现对接数据库&#xff0c;判断用户名与密码是否正确。 步骤&#xff1a; 我这里并没有完整的搭建成功 只是进行了前后端代码的编写 &#xff08;PHPSTUDY的环境没搭建好 没能成功的连接上数据库&am…

推荐四个在线任务管理网站

推荐四个在线任务管理网站 Posted on 2008-01-11by David Zou 现在通过网上协作完成的任务是越来越多了。 Capote movies 网络协作的优势不言而喻&#xff1a; 不需要在乎对方的学历、年龄、性格、相貌等等&#xff0c;只要你们有想要完成同一件事情&#xff0c;就可以进行网络…

在RHEL8的系统上搭建网站

在rhel8的系统上搭建网站&#xff1a;该网站ip地址主机位为11&#xff0c;设置documentroot为/www/任意字母&#xff0c;网页内容为&#xff1a;my name is… 准备工作&#xff1a;配置yum源 更新httpd 开始操作&#xff1a; 启动服务&#xff1a; 查看状态&#xff1a; 查…