【初学】java爬虫并抓取图片保存
来源:互联网 发布:网络诈骗的例子 编辑:程序博客网 时间:2024/04/19 15:36
这是我参考了网上一些资料写的第一个java爬虫程序
本来是想获取煎蛋网无聊图的图片,但是网络返回码一直是503,所以换了网站
/* * 网络爬虫取数据 * * */public class JianDan {public static String GetUrl(String inUrl){StringBuilder sb = new StringBuilder();try {URL url =new URL(inUrl);BufferedReader reader =new BufferedReader(new InputStreamReader(url.openStream()));String temp="";while((temp=reader.readLine())!=null){//System.out.println(temp);sb.append(temp);}} catch (MalformedURLException e) {// TODO 自动生成的 catch 块e.printStackTrace();} catch (IOException e) {// TODO 自动生成的 catch 块e.printStackTrace();}return sb.toString();}public static List<String> GetMatcher(String str,String url){List<String> result = new ArrayList<String>();Pattern p =Pattern.compile(url);//获取网页地址Matcher m =p.matcher(str);while(m.find()){//System.out.println(m.group(1));result.add(m.group(1));}return result;}public static void main(String args[]){String str=GetUrl("http://www.163.com");List<String> ouput =GetMatcher(str,"src=\"([\\w\\s./:]+?)\"");for(String temp:ouput){//System.out.println(ouput.get(0));System.out.println(temp);}String aurl=ouput.get(0); // 构造URLURL url;try {url = new URL(aurl); // 打开URL连接URLConnection con = (URLConnection)url.openConnection(); // 得到URL的输入流InputStream input = con.getInputStream();// 设置数据缓冲byte[] bs = new byte[1024 * 2];// 读取到的数据长度int len;// 输出的文件流保存图片至本地OutputStream os = new FileOutputStream("a.png");while ((len = input.read(bs)) != -1) {os.write(bs, 0, len);}os.close();input.close();} catch (MalformedURLException e) {// TODO 自动生成的 catch 块e.printStackTrace();} catch (IOException e) {// TODO 自动生成的 catch 块e.printStackTrace();}} }
2 0
- 【初学】java爬虫并抓取图片保存
- python网络爬虫系列(四) --- 批量抓取并保存图片
- java 抓取网页图片并保存
- java算法-网络爬虫抓取网页并保存
- java爬虫实战(1):抓取信息门户网站中的图片及其他文件并保存至本地
- [Java爬虫HttpClient_Demo2模拟浏览器并抓取Web图片]
- 不务正业--用python爬虫抓取Konachan的图片并保存到本地文件
- Java爬虫网页抓取图片
- php远程抓取网站图片并保存
- php远程抓取网站图片并保存
- php远程抓取网站图片并保存
- php远程抓取网站图片并保存
- php远程抓取网站图片并保存
- 简单分析抓取图片并保存本地
- Python爬虫实战(1)——百度贴吧抓取帖子并保存内容和图片
- Python爬虫:异步数据抓取并保存到Excel
- python爬虫实战(1)抓取网页图片自动保存
- Python 爬虫抓取美女图片保存到本地
- Transmission官网劫持到恶意软件,BT客户端窃取用户凭据
- 微软HoloLens101E课程代码逻辑
- vector,map,list,queue的区别详细解析
- Java WebSocket 基础知识点及简单实现
- poj 1056 IMMEDIATE DECODABILITY(字典树)
- 【初学】java爬虫并抓取图片保存
- Android 网络框架:android-async-http
- poj 3057 Evacuation(二分+二分匹配,好题)
- JAVAWEB最简单的登录
- 开涛 SpringMVC
- windows和Ubuntu建网络共享的问题
- 发送网络请求与读写缓存搭配逻辑
- uva10491 Cows and Cars
- 【互联网思维】成为一个具有优秀互联网思维的人应该看的书籍有哪些?