Java使用HttpURLConnection检索网站时403错误处理方式
来源:互联网 发布:bpm节拍软件 编辑:程序博客网 时间:2024/05/02 02:27
Java使用HttpURLConnection检索网站时403错误处理方式:
我们通过代码方式访问网站时会报错:
此种情况分2中类型,
1.需要登录才可以访问;
2.需要设置User-Agent来欺骗服务器。
- connection.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
User Agent说明:
User Agent中文名为用户代理,简称 UA,它是一个特殊字符串头,使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。
一些网站常常通过判断 UA 来给不同的操作系统、不同的浏览器发送不同的页面,因此可能造成某些页面无法在某个浏览器中正常显示,但通过伪装 UA 可以绕过检测。java访问网站代码:
- /**
- * 发起http get请求获取网页源代码
- * @param requestUrl
- * @param isUserAgent 是否设置欺骗服务器
- * @return
- */
- public static String httpRequest(String requestUrl,boolean isUserAgent) {
- StringBuffer buffer = null;
- try {
- // 建立连接
- URL url = new URL(requestUrl);
- HttpURLConnection httpUrlConn = (HttpURLConnection) url.openConnection();
- httpUrlConn.setDoInput(true);
- httpUrlConn.setRequestMethod("GET");
- if(isUserAgent){
- httpUrlConn.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
- }
- // 获取输入流
- InputStream inputStream = httpUrlConn.getInputStream();
- InputStreamReader inputStreamReader = new InputStreamReader(inputStream, "utf-8");
- BufferedReader bufferedReader = new BufferedReader(inputStreamReader);
- // 读取返回结果
- buffer = new StringBuffer();
- String str = null;
- while ((str = bufferedReader.readLine()) != null) {
- buffer.append(str);
- }
- // 释放资源
- bufferedReader.close();
- inputStreamReader.close();
- inputStream.close();
- httpUrlConn.disconnect();
- } catch (Exception e) {
- e.printStackTrace();
- }
- return buffer.toString();
- }
执行结果:顺利获取到网页代码。
0 0
- java使用HttpURLConnection检索网站时403错误处理方式
- Java使用HttpURLConnection检索网站时403错误处理方式
- java使用HttpURLConnection检索网站时403错误处理方式
- java使用HttpURLConnection检索网站时403错误处理方式
- Java使用HttpURLConnection检索网站时403错误处理方式
- Java实例(二) - HttpURLConnection 报403错误
- HttpURLConnection POST/GET 处理方式
- JAVA HttpURLConnection超时处理
- java使用HttpURLConnection 方式将userid转成openid
- 【 网络爬虫】java 使用Socket, HttpUrlConnection方式抓取数据
- HttpURLConnection 403错误
- Java HttpURLConnection使用
- Android 使用HttpUrlConnection处理请求
- es检索时,出现特殊字符的处理方式
- java.lang.NullPointerException错误及其处理方式
- 关于使用HttpURLConnection登录网站的问题
- android使用HttpURLConnection获取网站源码
- java HttpURLConnection 登录网站 完整代码
- oracle net service相关概念
- Android开发——自动连接指定SSID的wifi热点(不加密/加密)
- Linux /proc文件夹下文件的功能说明
- block (三) 和函数指针有什么区别
- 哥也能写KMP了——实现strstr()
- Java使用HttpURLConnection检索网站时403错误处理方式
- 最最亲爱滴曼曼小盆友,生日快乐!
- dsa算法(10)
- [ACM] POJ 3233 Matrix Power Series (求矩阵A+A^2+A^3...+A^k,二分求和或者矩阵转化)
- 最最亲爱滴曼曼小盆友,生日快乐!
- 最最亲爱滴曼曼小盆友,生日快乐!
- discuz后台 论坛分类添加英文名称
- 最最亲爱滴曼曼小盆友,生日快乐!
- 金融词汇收集