网络爬虫第一枪

来源:互联网 发布:黑马人工计划软件 编辑:程序博客网 时间:2024/05/01 20:44

今天闲来无事,打算写点有趣的东西玩一下。于是乎,我看上了网络爬虫。

找了点资料,开始了爬虫之旅。

首先我找了个Httpclient3.1的包,另外佩带两个包 其中一个是commons-logging-1.1.jar ,一个是commons-codec-1.4.jar。

代码就如上一样,但是运行的话却出现了异常。Exception in thread "main" java.lang.IllegalArgumentException: host parameter is null。大概意思就是主机参数为空,仔细看了一下 原来是www.baidu.com 没有加协议。于是改成http://www.baidu.com。再运行就成功抓取了百度的页面源代码。

0 0
原创粉丝点击