Jsoup获取部分页面数据失败 org.jsoup.UnsupportedMimeTypeException: Unhandled content type. Must be text/*, application/xml, or application/
来源:互联网 发布:微信抢红包软件 编辑:程序博客网 时间:2024/05/29 18:30
用Jsoup在获取一些网站的数据时,起初获取很顺利,但是在访问某浪的数据是Jsoup报错,应该是请求头里面的请求类型(ContextType)不符合要求。
请求代码如下:
private static void testOuGuanMatch() throws IOException{ Document doc = Jsoup.connect("我的URL").userAgent("Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.15)").timeout(5000).get(); System.out.println(doc); }
能看到我这里设置了请求代理和相应时间。
报错信息如下:
org.jsoup.UnsupportedMimeTypeException: Unhandled content type. Must be text/*, application/xml, or application/xhtml+xml. Mimetype=application/javascript, URL=.... at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:472) at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:424) at org.jsoup.helper.HttpConnection.execute(HttpConnection.java:178) at org.jsoup.helper.HttpConnection.get(HttpConnection.java:167) at calendarSpider.SpiderTest.testOuGuanMatch(SpiderTest.java:174) at calendarSpider.SpiderTest.main(SpiderTest.java:39)
在google上查找到了解决方法:添加ignoreContentType(true)
修改后代码:
private static void testOuGuanMatch() throws IOException{ Document doc = Jsoup.connect("我的URL").ignoreContentType(true).userAgent("Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.15)").timeout(5000).get(); System.out.println(doc); }
那这里的ignoreContentType(true)看词就知道忽略ContextType的检查
0 0
- Jsoup获取部分页面数据失败 org.jsoup.UnsupportedMimeTypeException: Unhandled content type. Must be text/*, application/xml, or application/
- UnsupportedMimeTypeException about Jsoup
- UnsupportedMimeTypeException about Jsoup
- 未指定Content-Type: application/x-www-form-urlencoded将会导致服务端获取Ajax POST数据失败
- ios AFN 网络请求失败 failed: unacceptable content-type: text/html application/x-javascript
- org.xml.sax.SAXParseException: Element type "beans" must be followed by either attribute specifications, ">" or "/>".
- jsoup获取页面内容
- Jsoup学习-使用Jsoup抓取页面数据
- jsoup抓取网页报错UnsupportedMimeTypeException
- 在使用Jsoup.connect时遇到Unhandled exception type IOException
- 获取 request 中用POST方式"Content-type"是"application/json"发送的 json 数据
- 使用jsoup获取页面元素
- 使用JSOUP抓取页面数据
- Jsoup解析HTML获取数据
- 使用jsoup获取网络数据
- XML解析神奇比较Jsoup or Xpath
- 页面获取数据(request、session、application)
- Solr4.6 Expected content type application/octet-stream but got text/html 解决办法
- 算典05_例题_10_UVA-207
- 消除重复元素
- 剑指offer--面试题5:替换空格
- iOS导航栏透明代码
- 1037. Magic Coupon (25)
- Jsoup获取部分页面数据失败 org.jsoup.UnsupportedMimeTypeException: Unhandled content type. Must be text/*, application/xml, or application/
- 加减乘除运算
- PCB中各层的含义
- 线程与进程
- win10系统安装oracle11g时遇到INS-13001环境不满足最低要求时解决办法
- Java开发中的23种设计模式详解
- 通信协议
- java.lang.UnsatisfiedLinkError: dalvik.system.PathClassLoader[DexPathList
- Linux设备驱动中的并发控制