网络机器人的识别与攻防的经典案例（也即爬虫与反爬虫的经典案例）

来源：互联网发布：怎样退出淘宝达人编辑：程序博客网时间：2024/05/16 06:46

网络机器人的识别与攻防的经典案例（也即爬虫与反爬虫的经典案例）

代理爬虫网络爬虫网络机器人攻防

本文我们介绍一个网络机器人的识别与攻防的经典案例（也即爬虫与反爬虫的经典案例）。使用到的代码superword项目：

https://github.com/ysc/superword/blob/master/src/main/java/org/apdplat/superword/tools/ProxyIp.java

我们的目的是要使用机器人自动获取站点http://ip.qiaodm.com/ 和站点http://proxy.goubanjia.com/ 的免费高速HTTP代理IP和端口号。

不过他们未对机器人进行识别，如通过如下代码就可以获取网页内容：

public static void main(String[] args) {    try {        String url = "http://proxy.goubanjia.com/";        HttpURLConnection connection = (HttpURLConnection)new URL(url).openConnection();        connection.setConnectTimeout(10000);        connection.setReadTimeout(10000);        connection.setUseCaches(false);        BufferedReader reader = new BufferedReader(new InputStreamReader(connection.getInputStream()));        StringBuilder html = new StringBuilder();        String line = null;        while ((line=reader.readLine()) != null){            html.append(line);        }        LOGGER.info("HTML："+html);    }catch (Exception e){        LOGGER.error(e.getMessage());    }}

尽管如此，但是他们却考虑到了机器人的防范，通过分析发现，两个站点的防范措施是一致的，所以破一得二。

他们是如何防范的呢？我们看看IP：163.125.217.56和端口：9797，我们利用FIREFOX的FIREBUG插件进行分析，如下图所示：

这里，如果我们直接调用选中的td节点的Jsoup的Element的text()方法，那么得到的值就会是 16363.1.125 25.21717.5.5，而不是我们在页面上看到的IP：163.125.217.56，还有<script>下面的那个6我们在源代码中是看不到的，这是<script>里面的JS执行之后动态生成的结果，对于端口9797也一样，在源代码中所有的端口全部是8080，我们这里之所以在上图中看到了6和9797，这是因为FIREBUG插件看到的是网页加载完毕且所有JS执行完毕之后的视图。

通过上面的分析，我们知道，防范的方法是将IP拆开在中间加入一些隐藏字符，并利用JS动态生成部分字符，而端口全部都是利用JS生成的。

那么我们如何来应对这种防范方法呢？首先的第一个要求是我们的机器人要能动态执行JS，其次是我们需要对IP字段进行逐节点分析，忽略隐藏节点中的字符。下面用代码说明：

1、动态执行JS。

引入htmlunit依赖，注意的是如果你是使用slf4j日志的话，需要排除commons-logging依赖。<dependency>    <groupId>net.sourceforge.htmlunit</groupId>    <artifactId>htmlunit</artifactId>    <version>2.14</version>    <exclusions>        <exclusion>            <groupId>commons-logging</groupId>            <artifactId>commons-logging</artifactId>        </exclusion>    </exclusions></dependency>

接下来看代码，这里获取到的html就是执行JS之后的内容：

private static final WebClient WEB_CLIENT = new WebClient(BrowserVersion.INTERNET_EXPLORER_11);String html = ((HtmlPage)WEB_CLIENT.getPage(url)).getBody().asXml();

2、对IP字段进行逐节点分析，忽略隐藏节点中的字符。

引入jsoup依赖。<dependency>    <groupId>org.jsoup</groupId>    <artifactId>jsoup</artifactId>    <version>1.8.1</version></dependency>

接下来看代码：

private static String getIps(Element element){    StringBuilder ip = new StringBuilder();    Elements all = element.children();    LOGGER.info("");    LOGGER.info("开始解析IP地址，机器读到的文本："+element.text());    AtomicInteger count = new AtomicInteger();    all.forEach(ele -> {        String html = ele.outerHtml();        LOGGER.info(count.incrementAndGet() + "、" + "原始HTML："+html.replaceAll("[\n\r]", ""));        String text = ele.text();        if(ele.hasAttr("style")                && (ele.attr("style").equals("display: none;")                    || ele.attr("style").equals("display:none;"))) {            LOGGER.info("忽略不显示的文本："+text);        }else{            if(StringUtils.isNotBlank(text)){                LOGGER.info("需要的文本："+text);                ip.append(text);            }else{                LOGGER.info("忽略空文本");            }        }    });    LOGGER.info("----------------------------------------------------------------");    LOGGER.info("解析到的ip: "+ip);    LOGGER.info("----------------------------------------------------------------");    Matcher matcher = IP_PATTERN.matcher(ip.toString());    if(matcher.find()){        String _ip = matcher.group();        LOGGER.info("ip地址验证通过："+_ip);        return _ip;    }else{        LOGGER.info("ip地址验证失败："+ip);    }    return null;}

接着看运行过程的输出：

开始解析IP地址，机器读到的文本：61 61 . 18 18 5. 1 1 49 .1 .1 631、原始HTML：<div style="display:inline-block;">  <script type="text/javascript">//<![CDATA[document.write('');//]]>                </script> </div>忽略空文本2、原始HTML：<label style="display: none;"> 61 </label>忽略不显示的文本：613、原始HTML：<span> 61 </span>需要的文本：614、原始HTML：<div style="display:inline-block;">  . </div>需要的文本：.5、原始HTML：<div style="display:inline-block;">  <script type="text/javascript">//<![CDATA[document.write('');//]]>                </script> </div>忽略空文本6、原始HTML：<span style="display:inline-block;"> <script type="text/javascript">//<![CDATA[document.write('');//]]>                </script> </span>忽略空文本7、原始HTML：<p style="display: none;"> 18 </p>忽略不显示的文本：188、原始HTML：<span> 18 </span>需要的文本：189、原始HTML：<div style="display:inline-block;">  <script type="text/javascript">//<![CDATA[document.write('5.');//]]>                </script> 5. </div>需要的文本：5.10、原始HTML：<p style="display: none;"> 1 </p>忽略不显示的文本：111、原始HTML：<span> 1 </span>需要的文本：112、原始HTML：<div style="display:inline-block;">  49 </div>需要的文本：4913、原始HTML：<label style="display:none;"> .1 </label>忽略不显示的文本：.114、原始HTML：<span> .1 </span>需要的文本：.115、原始HTML：<div style="display:inline-block;">  <script type="text/javascript">//<![CDATA[document.write('');//]]>                </script> </div>忽略空文本16、原始HTML：<span style="display:inline-block;"> 63 </span>需要的文本：63----------------------------------------------------------------解析到的ip: 61.185.149.163----------------------------------------------------------------

下面是通过上面的分析程序获取到的部分能隐藏自己IP的代理服务器IP和端口号：

124.88.67.33:81183.207.224.13:80111.161.126.101:80183.207.228.51:80123.138.184.228:80120.131.128.212:85111.12.251.199:80111.1.36.6:80111.206.86.76:80120.198.243.111:80222.138.229.17:8104123.125.104.240:80124.88.67.25:81202.102.22.182:80183.207.228.114:80162.208.49.45:8089183.207.228.116:80120.192.249.74:80124.202.177.26:8118124.88.67.32:80111.161.126.100:80183.207.224.14:80183.207.224.43:80111.206.81.248:80183.207.224.45:80182.118.31.110:80124.88.67.53:80111.13.109.52:80190.38.26.167:8080118.26.183.43:80101.226.249.237:80202.108.50.75:82202.106.16.36:3128111.1.36.133:80124.88.67.24:80

有了这些IP和端口号，我们在JAVA中如何使用呢？只需要设置系统属性即可。

System.setProperty("proxySet", "true");System.setProperty("http.proxyHost", ip);System.setProperty("http.proxyPort", port);

设置完系统属性之后，我们如何判断有没有生效呢？我们可以通过看看在ip138的眼中，自己的IP是多少，然后和自己之前的IP作比较，看是否发生变化，如果发生变化，则认为我们的代理成功为我们向外部隐藏了自己的真实IP。

如何从ip138获取自己的外部地址呢？看如下代码：

public static String getCurrentIp(){    try {        String url = "http://1111.ip138.com/ic.asp?timestamp="+System.nanoTime();        String text = Jsoup.connect(url)                .header("Accept", ACCEPT)                .header("Accept-Encoding", ENCODING)                .header("Accept-Language", LANGUAGE)                .header("Connection", CONNECTION)                .header("Host", "1111.ip138.com")                .header("Referer", "http://ip138.com/")                .header("User-Agent", USER_AGENT)                .ignoreContentType(true)                .timeout(5000)                .get()                .text();        LOGGER.info("检查自身IP地址："+text);        Matcher matcher = IP_PATTERN.matcher(text);        if(matcher.find()){            String ip = matcher.group();            LOGGER.info("自身IP地址："+ip);            return ip;        }    }catch (Exception e){        LOGGER.error(e.getMessage());    }    LOGGER.info("检查自身IP地址失败，返回之前的IP地址："+ previousIp);    return previousIp;}

最后看看程序运行的部分截图如下：

尝试使用新的代理：186.91.60.155:8080检查自身IP地址：您的IP地址 您的IP是：[186.91.60.155] 来自：委内瑞拉自身IP地址：186.91.60.155Thread[main,5,main]自动更换代理成功！Thread[main,5,main]更换代理耗时：4025毫秒将66条代理IP地址写入本地将81条能隐藏自己的代理IP地址写入本地将108条不能隐藏自己的代理IP地址写入本地Thread[main,5,main]请求重新更换代理Thread[main,5,main]开始重新更换代理尝试使用新的代理：117.158.98.214:80检查自身IP地址：您的IP地址 您的IP是：[117.158.98.214] 来自：河南省许昌市 移动自身IP地址：117.158.98.214Thread[main,5,main]自动更换代理成功！Thread[main,5,main]更换代理耗时：176毫秒将66条代理IP地址写入本地将81条能隐藏自己的代理IP地址写入本地将108条不能隐藏自己的代理IP地址写入本地Thread[main,5,main]请求重新更换代理Thread[main,5,main]开始重新更换代理尝试使用新的代理：120.131.128.212:85检查自身IP地址：您的IP地址 您的IP是：[111.200.10.82] 来自：北京市 联通自身IP地址：111.200.10.82Thread[main,5,main]自动更换代理成功！Thread[main,5,main]更换代理耗时：240毫秒将66条代理IP地址写入本地将81条能隐藏自己的代理IP地址写入本地将108条不能隐藏自己的代理IP地址写入本地

完整的代码见本人的superword项目：https://github.com/ysc/superword/blob/master/src/main/java/org/apdplat/superword/tools/ProxyIp.java

0 0