java 网络数据接口数据爬取小脚本 源码+exe应用小程序+复制可用

可以直接添加进项目中使用，仅需改为自己想要的数据格式；

接口数据读取；

添加正则表达式或固定格式可爬取特定数据：（如邮件，电话号码，QQ号码等）

可用于在其他网站爬取数据，开发其第三方网站；

exe小程序数据保存在本地；

源码接口爬来的Json数据，需自己解析，灵活处理

皓小爬网络接口数据爬取exe

package com.haoxuan.view;import java.awt.BorderLayout;public class CreeperOption {    private static JFrame frame;    /**     * Launch the application.     */    public static void main(String[] args) {        EventQueue.invokeLater(new Runnable() {            public void run() {                try {                    CreeperOption window = new CreeperOption();                    window.frame.setVisible(true);                } catch (Exception e) {                    e.printStackTrace();                }            }        });    }    /**     * Create the application.     */    public CreeperOption() {        initialize();    }    /**     * Initialize the contents of the frame.     */    private void initialize() {        frame = new JFrame();        frame.setBounds(100, 100, 450, 300);        frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);        frame.setLocation(800, 350);        frame.setSize(400, 400);        //设置窗体标题        frame.setTitle("爬虫入口");        //设置窗口最小化时显示的图标，可选。                Image img = new ImageIcon(this.getClass().                             getResource("/images/001.jpg")).getImage();                 frame.setIconImage(img);                MainLoginPanel loginPanel = new MainLoginPanel();                frame.setContentPane(loginPanel);                //设置窗口其他显示属性                frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);                frame.setVisible(true);                frame.setResizable(false);                //注册窗口监听器                frame.addWindowListener(new WindowsHandler());              }            //登录容器panel构造，将所有控件元素装入容器            private class MainLoginPanel extends JPanel{                JLabel picLabel;                JButton stuLoginButton,tchLoginButton;                JPanel infoPanel;                public MainLoginPanel(){                //生成所有控件的对象                picLabel =new JLabel();                stuLoginButton = new JButton("点击跳转到信息配置界面");//构造器参数为按钮显示文本                infoPanel=new JPanel();                //设置MainLoginPanel布局为BorderLayout                setLayout(new BorderLayout());                //依次添加pic、login信息控件到面板容器，                 //并设置infoPanel布局管理器为FlowLayout。                 infoPanel.setLayout(new FlowLayout(FlowLayout.CENTER));                picLabel.setSize(400, 300);                 ImageIcon image = new ImageIcon(frame.getClass().                                  getResource("/images/top2.jpg"));                 image.setImage(image.getImage().getScaledInstance( picLabel.                    getWidth(),picLabel.getHeight(), Image.SCALE_DEFAULT));                  picLabel.setIcon(image);                 infoPanel.add(picLabel);                 infoPanel.add(stuLoginButton);                 //让infoPanel充满整个容器                 add(infoPanel,BorderLayout.CENTER);                   //生成事件监听对象                ButtonAction buttonAction = new ButtonAction();                //事件注册事件监听器                stuLoginButton.addActionListener(buttonAction);            }            private class ButtonAction implements ActionListener{                public void actionPerformed(ActionEvent e) {                    // TODO Auto-generated method stub                    if(e.getSource().equals(stuLoginButton)){                        //所有swing组件必须由事件分派线程(event dispatch thread)                        //进行配置，线程将鼠标点击和按键控制转移到用户接口组件。                            EventQueue.invokeLater(new Runnable() {                                 public void run() {                                      CreeperFrame cframe = new CreeperFrame();                                    }});                        }                              frame.setVisible(false);               }            }    }}

这里是主界面，想用Java swing 写界面的，可以先在eclipse中装一个Windowsbuild插件，边拖边看边写，有一点前端基础的同学上手都很快，但是基本gui已经过时了 ，但是写写小的引用程序还是可以。

package com.haoxuan.view;    import java.awt.Color;    public class CreeperFrame extends JFrame {        private JPanel contentPane;        private JTextField srcAdress;        private JTextField destAdress;        private JTextField name;        private JTextField type;        private JTextField option;        /**         * Create the frame.         */        public CreeperFrame() {            //主界面框设置            setForeground(Color.BLACK);            setBackground(Color.WHITE);            setIconImage(Toolkit.getDefaultToolkit().getImage(CreeperFrame.class.getResource("/images/001.jpg")));            setTitle("个人填写爬取所需信息");            setResizable(false);            setVisible(true);            setDefaultCloseOperation(JFrame.DISPOSE_ON_CLOSE);            setBounds(100, 100, 450, 450);            setLocation(800, 350);            contentPane = new JPanel();            contentPane.setBorder(new EmptyBorder(5, 5, 5, 5));            setContentPane(contentPane);            contentPane.setLayout(null);            //中间标题            JLabel lblNewLabel = new JLabel("欢迎使用皓轩网页数据爬取");            lblNewLabel.setForeground(Color.YELLOW);            lblNewLabel.setBounds(126, 14, 228, 33);            contentPane.add(lblNewLabel);            lblNewLabel.setFont(new Font("微软雅黑", Font.BOLD, 18));            //创建一个panel            JPanel panel = new JPanel();            panel.setBorder(new LineBorder(Color.GRAY));            panel.setBounds(14, 60, 413, 251);            contentPane.add(panel);            panel.setLayout(null);            JLabel label = new JLabel("爬取地址");            label.setFont(new Font("微软雅黑", Font.BOLD, 18));            label.setBounds(14, 12, 95, 34);            panel.add(label);            JLabel label_1 = new JLabel("存放地址");            label_1.setFont(new Font("微软雅黑", Font.BOLD, 18));            label_1.setBounds(14, 64, 75, 33);            panel.add(label_1);            JLabel label_2 = new JLabel("文件名称");            label_2.setFont(new Font("微软雅黑", Font.BOLD, 18));            label_2.setBounds(14, 110, 75, 37);            panel.add(label_2);            JLabel label_4 = new JLabel("文件格式");            label_4.setFont(new Font("微软雅黑", Font.BOLD, 18));            label_4.setBounds(14, 160, 75, 28);            panel.add(label_4);            JLabel label_3 = new JLabel("是否连续");            label_3.setFont(new Font("微软雅黑", Font.BOLD, 18));            label_3.setBounds(14, 201, 75, 28);            panel.add(label_3);            srcAdress = new JTextField();            srcAdress.setText("例如：http://www.myhaoxuan.cn:8080/cdffcai");            srcAdress.setBounds(103, 12, 296, 31);            panel.add(srcAdress);            srcAdress.setColumns(10);            destAdress = new JTextField();            destAdress.setText("例如：E:");            destAdress.setBounds(103, 59, 296, 35);            panel.add(destAdress);            destAdress.setColumns(10);            name = new JTextField();            name.setText("例如：test");            name.setBounds(103, 110, 296, 34);            panel.add(name);            name.setColumns(10);            type = new JTextField();            type.setText("例如：txt、html、jpg、、、");            type.setBounds(103, 164, 296, 28);            panel.add(type);            type.setColumns(10);            option = new JTextField();            option.setText("例如：true/false");            option.setBounds(103, 198, 296, 35);            panel.add(option);            option.setColumns(10);            //最后一个panel            JPanel panel_1 = new JPanel();            panel_1.setBounds(0, 324, 439, 66);            contentPane.add(panel_1);            panel_1.setLayout(null);            //创建一个按钮            JButton btnButton = new JButton("确认提交");            btnButton.setForeground(Color.BLUE);            btnButton.setBackground(Color.YELLOW);            //给按钮绑定监听事件            btnButton.addActionListener(new ActionListener() {                public void actionPerformed(ActionEvent e) {                            try {                                CreeperController creeperController = new CreeperController(srcAdress.getText().trim(), destAdress.getText().trim(), name.getText().trim(), type.getText().trim(),option.getText().trim());                                boolean flag = creeperController.crawling();                                if(flag){                                    JOptionPane.showMessageDialog(null, "爬取成功！请去"+destAdress.getText()+name.getText()+"."+type.getText()+"查看文件");                                }else{                                    JOptionPane.showMessageDialog(null, "爬取失败！");                                }                            } catch (Exception e1) {                                // TODO Auto-generated catch block                                e1.printStackTrace();                                JOptionPane.showMessageDialog(null, "爬取失败！");                            }                }                       });            btnButton.setFont(new Font("微软雅黑", Font.BOLD, 20));            btnButton.setBounds(155, 13, 126, 40);            panel_1.add(btnButton);        }    }

在网上找出接口，然后就是想爬什么爬什么 ，很方便使用，但是关键要找出借口，比如爬取的是数据接口，就应该选择连续存储，不然会让所用数据都在一个文件里面，因为爬数据时多半都伴随着分页，需要不断修改原地址参数所以要选择连续存储。其余的如：网站，MP3，MP4，js，HTML。。。等都不需要连续存储，爬一次就是一个文件。

package com.haoxuan.view;import java.awt.event.WindowAdapter;import java.awt.event.WindowEvent;public class WindowsHandler extends WindowAdapter {    public void windowClosing(WindowEvent e) {        // TODO Auto-generated method stub        System.exit(0);    }    public void windowClosed(WindowEvent e) {        // TODO Auto-generated method stub        super.windowClosed(e);    }    public void windowIconified(WindowEvent e) {        // TODO Auto-generated method stub        super.windowIconified(e);    }    public void windowActivated(WindowEvent e) {        // TODO Auto-generated method stub        super.windowActivated(e);    }    public void windowDeactivated(WindowEvent e) {        // TODO Auto-generated method stub        super.windowDeactivated(e);    }}

这里是gui的窗口事件类，绑定上就可以了

---

这里就是爬取数据的部分了，脱机可用，可以将main的注释掉，跑起来试试效果，感觉很棒

package com.haoxuan.controller;import java.util.Scanner;public class CreeperController {    private CreeperTool creeperTool;    private String args[] = new String[5];    /**     * 构造函数     * @param srcAddress  爬取地址     * @param destAddress   目的地址     *      * @param name    文件名     * @param type    文件格式     * @param option   是否连续     */    public CreeperController(String srcAddress,String destAddress,String name,String type,String option){        super();        args[0] = srcAddress;        args[1] = destAddress;        args[2] = name;        args[3] = type;        args[4] =option;        this.creeperTool = new CreeperTool();    }    public boolean crawling(){         try {            this.creeperTool.creeper(args);            return true;        } catch (Exception e) {            // TODO Auto-generated catch block            e.printStackTrace();            return false;        }       }    //不用界面的   到这里就可以了，去掉注释测试就可以了，没有加正则 注意书写格式！！//  public static void main(String[] args) {//       //系统自带计时，以毫秒为单位 ,记录当前距离1970年的毫秒数   //      long startTime = System.currentTimeMillis();//      Scanner in = new Scanner(System.in);//      System.out.println("--     欢迎使用皓轩 网页&接口 爬虫小程序      --");  //      System.out.println("");  //      System.out.println("--请输入正确的网址如http：//www.baidu.com--");//      String srcAddress = in.next();//      System.out.println("--请输入正确的存放地址如：E：");//      String destAddress = in.next();//      System.out.println("--请输入正确的文件名如：test");//      String name = in.next();//      System.out.println("--请输入正确的文件格式如：txt、html、js、jpg、、");//      String type = in.next();//      System.out.println("--请输入是否连续存如：true/false");//      String option = in.next();//      CreeperController cc = new CreeperController(srcAddress, destAddress, name, type, option);//      cc.crawling();    //      System.out.println(" —————————————————————\t");  //      System.out.println("|数据爬取成功，请到"+args[1]+"目录下查看"+args[2]+"文档|\t");//      System.out.println("|                                         |");  //      System.out.println("|如需重新爬取，请再次执行程序,谢谢您的使用|\t");  //      System.out.println(" —————————————————————\t");//      CreeperController cc = new CreeperController("http://www.myhaoxuan.cn:8080/cdffcai","E:", "test", ".txt", "true");//        cc.crawling();   //  }}

下面是核心工具，开了源码的会知道只要可以建立连接 什么数据都可以爬取，主要是针对web端的爬取，如果是想在c/s端爬取，需要修改连接，很简短，把url连接改掉，使用套接字 ip地址与端口号的方式连接

package com.haoxuan.controller;import java.io.BufferedReader;  import java.io.File;  import java.io.FileWriter;  import java.io.InputStreamReader;  import java.io.Writer;  import java.net.URL;  import java.net.URLConnection;  import java.sql.Time;  import java.util.Scanner;  import java.util.regex.Matcher;  import java.util.regex.Pattern;  public class CreeperTool {    /**     * 爬取数据     * @param args --args[0]:爬取网址  args[1]:存取地址  args[2]:文件名  args[3]:文件格式  args[4]:是否单文本多读     * @throws Exception     */    public void creeper(String[] args) throws Exception {// 本程序内部异常过多为了简便，不一Try，直接抛给上层CreeperController捕获            //系统自带计时，以毫秒为单位 ,记录当前距离1970年的毫秒数                long startTime = System.currentTimeMillis();            //创建文件， 并指明输出地址和输出文件名              File file = new File(args[1] + File.separator + args[2] +"."+ args[3]);            Writer outWriter = null;// 实例化outWriter类            if("true".equals(args[4])){//这样可以直接就预防空指针异常了                //不覆盖原文件类型                outWriter = new FileWriter(file,true);            }else{                //覆盖原文件类型                outWriter = new FileWriter(file,false);            }              // 实例化URL类。            URL url = new URL(args[0]);              // 取得链接              URLConnection conn = url.openConnection();            // 取得网页数据              BufferedReader buff = new BufferedReader(new InputStreamReader(conn.getInputStream()));            String line = null;              outWriter.write("<!-- 该网页中所包含的的数据如下所示:--> \r\n");              int i = 0;//记录爬取行数            while ((line = buff.readLine()) != null) {                  outWriter.write(line + "\r\n");// 将匹配的字符输入到目标文件                    i++;            }              long endTime = System.currentTimeMillis();              String UseTime=(endTime-startTime)+"";//耗时多少            outWriter.write("<!-- --------------------------------------------------------\r\n");              outWriter.write("本次爬取页面地址："+args[0]+"\r\n");              outWriter.write("爬取耗时："+UseTime+"毫秒\r\n");              outWriter.write("本次共爬的行数："+i+"条\r\n");              outWriter.write("****谢谢您的使用****\r\n");              outWriter.write("------------------------------------------------------ -->");              outWriter.close();// 关闭文件输出操作      }  }