使用URL和URLConnection(多线程下载)

来源：互联网发布：无标度网络应用编辑：程序博客网时间：2024/04/26 01:13

URL（Uniform Resource Locator）对象代表统一资源定位器，它是指向互联网“资源”的指针。资源可以是简单的文件或目录，也可以是对更为复杂的对象引用，例如对数据库或搜索引擎的查询。通常情况而言，URL可以由协议名、主机、端口和资源组成。即满足如下格式：

protocol://host:port/resourceName

例如如下的URL地址：

http://www.oneedu.cn/Index.htm

JDK中还提供了一个URI（Uniform Resource Identifiers）类，其实例代表一个统一资源标识符，Java的URI不能用于定位任何资源，它的唯一作用就是解析。与此对应的是，URL则包含一个可打开到达该资源的输入流，因此我们可以将URL理解成URI的特例。

URL类提供了多个构造器用于创建URL对象，一旦获得了URL对象之后，可以调用如下方法来访问该URL对应的资源：

String getFile()：获取此URL的资源名。
String getHost()：获取此URL的主机名。
String getPath()：获取此URL的路径部分。
int getPort()：获取此 URL 的端口号。
String getProtocol()：获取此 URL 的协议名称。
String getQuery()：获取此 URL 的查询字符串部分。
URLConnection openConnection()：返回一个URLConnection对象，它表示到URL所引用的远程对象的连接。
InputStream openStream()：打开与此URL的连接，并返回一个用于读取该URL资源的InputStream。

URL对象中前面几个方法都非常容易理解，而该对象提供的openStream()可以读取该URL资源的InputStream，通过该方法可以非常方便地读取远程资源——甚至实现多线程下载。如下程序所示：

程序清单：codes/17/17-2/MutilDown.java

//定义下载从start到end的内容的线程
class DownThread extends Thread
{
//定义字节数组（取水的竹筒）的长度
private final int BUFF_LEN = 32;
//定义下载的起始点
private long start;
//定义下载的结束点
private long end;
//下载资源对应的输入流
private InputStream is;
//将下载到的字节输出到raf中
private RandomAccessFile raf ;
//构造器，传入输入流，输出流和下载起始点、结束点
public DownThread(long start , long end 
, InputStream is , RandomAccessFile raf)
{
//输出该线程负责下载的字节位置
System.out.println(start + "---->"  + end);
this.start = start;
this.end = end;
this.is = is;
this.raf = raf;
}
public void run()
{
try
{
is.skip(start);
raf.seek(start); 
//定义读取输入流内容的缓存数组（竹筒）
byte[] buff = new byte[BUFF_LEN];
//本线程负责下载资源的大小
long contentLen = end - start;
//定义最多需要读取几次就可以完成本线程的下载
long times = contentLen / BUFF_LEN + 4;
//实际读取的字节数
int hasRead = 0;
for (int i = 0; i < times ; i++)
{
hasRead = is.read(buff);
//如果读取的字节数小于0，则退出循环！
if (hasRead < 0)
{
break;
}
raf.write(buff , 0 , hasRead);
}
}
catch (Exception ex)
{
ex.printStackTrace();
}
//使用finally块来关闭当前线程的输入流、输出流
finally
{
try
{
if (is != null)
{
is.close();
}
if (raf != null)
{
raf.close();
}
}
catch (Exception ex)
{
ex.printStackTrace();
}
}
}
}
public class MutilDown
{
public static void main(String[] args)
{
final int DOWN_THREAD_NUM = 4;
final String OUT_FILE_NAME = "down.jpg";
InputStream[] isArr = new InputStream[DOWN_THREAD_NUM];
RandomAccessFile[] outArr = new RandomAccessFile[DOWN_THREAD_NUM];
try
{
//创建一个URL对象
URL url = new URL("http://images.china-pub.com/
+ "ebook35001-40000/35850/shupi.jpg");
//以此URL对象打开第一个输入流
isArr[0] = url.openStream();
long fileLen = getFileLength(url);
System.out.println("网络资源的大小" + fileLen);
//以输出文件名创建第一个RandomAccessFile输出流
outArr[0] = new RandomAccessFile(OUT_FILE_NAME , "rw");
//创建一个与下载资源相同大小的空文件
for (int i = 0 ; i < fileLen ; i++ )
{
outArr[0].write(0);
}
//每线程应该下载的字节数
long numPerThred = fileLen / DOWN_THREAD_NUM;
//整个下载资源整除后剩下的余数
long left = fileLen % DOWN_THREAD_NUM;
for (int i = 0 ; i < DOWN_THREAD_NUM; i++)
{
//为每个线程打开一个输入流、一个RandomAccessFile对象，
//让每个线程分别负责下载资源的不同部分。
if (i != 0)
{
//以URL打开多个输入流
isArr[i] = url.openStream();
//以指定输出文件创建多个RandomAccessFile对象
outArr[i] = new RandomAccessFile(OUT_FILE_NAME , "rw");
}
//分别启动多个线程来下载网络资源
if (i == DOWN_THREAD_NUM - 1 )
{
//最后一个线程下载指定numPerThred+left个字节
new DownThread(i * numPerThred , (i + 1) * numPerThred + left
, isArr[i] , outArr[i]).start();
}
else
{
//每个线程负责下载一定的numPerThred个字节
new DownThread(i * numPerThred , (i + 1) * numPerThred,
isArr[i] , outArr[i]).start();
}
}
}
catch (Exception ex)
{
ex.printStackTrace();
}
}
//定义获取指定网络资源的长度的方法
//定义获取指定网络资源的长度的方法
public static long getFileLength(URL url) throws Exception
{
long length = 0;
//打开该URL对应的URLConnection。
URLConnection con = url.openConnection();
//获取连接URL资源的长度
long size = con.getContentLength();
length = size;
return length;
}
}

上面程序中定义了DownThread线程类，该线程从InputStream中读取从start开始，到end结束的所有字节数据，并写入RandomAccessFile对象。这个DownThread线程类的run()就是一个简单的输入、输出实现。

程序中MutilDown类中的main方法负责按如下步骤来实现多线程下载：

创建URL对象。

获取指定URL对象所指向资源的大小（由getFileLength方法实现），此处用到了URLConnection类，该类代表Java应用程序和URL之间的通信链接。下面还有关于URLConnection更详细的介绍。

在本地磁盘上创建一个与网络资源相同大小的空文件。

计算每条线程应该下载网络资源的哪个部分（从哪个字节开始，到哪个字节结束）。

依次创建、启动多条线程来下载网络资源的指定部分。

上面程序已经实现了多线程下载的核心代码，如果要实现断点下载，则还需要额外增加一个配置文件（读者可以发现所有断点下载工具都会在下载开始生成两个文件：一个是与网络资源相同大小的空文件，一个是配置文件），该配置文件分别记录每个线程已经下载到了哪个字节，当网络断开后再次开始下载时，每个线程根据配置文件里记录的位置向后下载即可。

URL的openConnection()方法将返回一个URLConnection对象，该对象表示应用程序和 URL 之间的通信链接。程序可以通过URLConnection实例向该URL发送请求、读取URL引用的资源。

通常创建一个和 URL的连接，并发送请求、读取此URL引用的资源需要如下几个步骤：

通过调用URL对象openConnection()方法来创建URLConnection对象。

设置URLConnection的参数和普通请求属性。

如果只是发送GET方式请求，使用connect方法建立和远程资源之间的实际连接即可；如果需要发送POST方式的请求，需要获取URLConnection实例对应的输出流来发送请求参数。

远程资源变为可用，程序可以访问远程资源的头字段或通过输入流读取远程资源的数据。

在建立和远程资源的实际连接之前，程序可以通过如下方法来设置请求头字段：

setAllowUserInteraction：设置该URLConnection的allowUserInteraction请求头字段的值。
setDoInput：设置该URLConnection的doInput请求头字段的值。
setDoOutput：设置该URLConnection的doOutput请求头字段的值。
setIfModifiedSince：设置该URLConnection的ifModifiedSince请求头字段的值。
setUseCaches：设置该URLConnection的useCaches请求头字段的值。

除此之外，还可以使用如下方法来设置或增加通用头字段：

setRequestProperty(String key, String value)：设置该URLConnection的key请求头字段的值为value。如下代码所示：

conn.setRequestProperty("accept" , "*/*")

addRequestProperty(String key, String value)：为该URLConnection的key请求头字段的增加value值，该方法并不会覆盖原请求头字段的值，而是将新值追加到原请求头字段中。

当远程资源可用之后，程序可以使用以下方法用于访问头字段和内容：

Object getContent()：获取该URLConnection的内容。
String getHeaderField(String name)：获取指定响应头字段的值。
getInputStream()：返回该URLConnection对应的输入流，用于获取URLConnection响应的内容。
getOutputStream()：返回该URLConnection对应的输出流，用于向URLConnection发送请求参数。

如果既要使用输入流读取URLConnection响应的内容，也要使用输出流发送请求参数，一定要先使用输出流，再使用输入流。

getHeaderField方法用于根据响应头字段来返回对应的值。而某些头字段由于经常需要访问，所以Java提供以下方法来访问特定响应头字段的值：

getContentEncoding：获取content-encoding响应头字段的值。
getContentLength：获取content-length响应头字段的值。
getContentType：获取content-type响应头字段的值。
getDate()：获取date响应头字段的值。
getExpiration()：获取expires响应头字段的值。
getLastModified()：获取last-modified响应头字段的值。

下面程序示范了如何向Web站点发送GET请求、POST请求，并从Web站点取得响应的示例。

程序清单：codes/17/17-2/TestGetPost.java

public class TestGetPost
{
/**
* 向指定URL发送GET方法的请求
* @param url 发送请求的URL
* @param param 请求参数，请求参数应该是name1=value1&name2=value2的形式。
* @return URL所代表远程资源的响应
*/
public static String sendGet(String url , String param) 
{
String result = "";
BufferedReader in = null;
try
{
String urlName = url + "?" + param;
URL realUrl = new URL(urlName);
//打开和URL之间的连接
URLConnection conn = realUrl.openConnection();
//设置通用的请求属性
conn.setRequestProperty("accept", "*/*"); 
conn.setRequestProperty("connection", "Keep-Alive"); 
conn.setRequestProperty("user-agent", 
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"); 
//建立实际的连接
conn.connect(); 
//获取所有响应头字段
Map<String, List<String>> map = conn.getHeaderFields();
//遍历所有的响应头字段
for (String key : map.keySet())
{
System.out.println(key + "--->" + map.get(key));
}
//定义BufferedReader输入流来读取URL的响应
in = new BufferedReader(
new InputStreamReader(conn.getInputStream()));
String line;
while ((line = in.readLine())!= null)
{
esult += "\n" + line;
}
}
catch(Exception e)
{
System.out.println("发送GET请求出现异常！" + e);
e.printStackTrace();
}
//使用finally块来关闭输入流
finally
{
try
{
if (in != null)
{
in.close();
}
}
catch (IOException ex)
{
ex.printStackTrace();
}
}
return result;
}
/**
* 向指定URL发送POST方法的请求
* @param url 发送请求的URL
* @param param 请求参数，请求参数应该是name1=value1&name2=value2的形式。
* @return URL所代表远程资源的响应
*/ 
public static String sendPost(String url,String param)
{
PrintWriter out = null;
BufferedReader in = null;
String result = "";
try
{
URL realUrl = new URL(url);
//打开和URL之间的连接
URLConnection conn = realUrl.openConnection();
//设置通用的请求属性
conn.setRequestProperty("accept", "*/*"); 
conn.setRequestProperty("connection", "Keep-Alive"); 
conn.setRequestProperty("user-agent", 
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"); 
//发送POST请求必须设置如下两行
conn.setDoOutput(true);
conn.setDoInput(true);
//获取URLConnection对象对应的输出流
out = new PrintWriter(conn.getOutputStream());
//发送请求参数
out.print(param);
//flush输出流的缓冲
out.flush();
//定义BufferedReader输入流来读取URL的响应
in = new BufferedReader(
new InputStreamReader(conn.getInputStream()));
String line;
while ((line = in.readLine())!= null)
{
result += "\n" + line;
}
}
catch(Exception e)
{
System.out.println("发送POST请求出现异常！" + e);
e.printStackTrace();
}
//使用finally块来关闭输出流、输入流
finally
{
try
{
if (out != null)
{
out.close();
}
if (in != null)
{
in.close();
}
}
catch (IOException ex)
{
ex.printStackTrace();
}
}
return result;
}
//提供主方法，测试发送GET请求和POST请求
public static void main(String args[])
{
//发送GET请求
String s = TestGetPost.sendGet("http://localhost:8888/abc/
login.jsp",null);
System.out.println(s);
//发送POST请求
String s1 = TestGetPost.sendPost("http://localhost:8888/abc/a.jsp",
"user=李刚&pass=abc");
System.out.println(s1);
}
}

上面程序中发送GET请求时只需将请求参数放在URL字符串之后，以?隔开，程序直接调用URLConnection对象的connect方法即可，如程序中sendGet方法中粗体字代码所示；如果程序需要发送POST请求，则需要先设置doIn和doOut两个请求头字段的值，再使用 URLConnection对应的输出流来发送请求参数即可，如程序中sendPost()方法中粗体字代码所示。

不管是发送GET请求，还是发送POST请求，程序获取URLConnection响应的方式完全一样：如果程序可以确定远程响应是字符流，则可以使用字符流来读取；如果程序无法确定远程响应是字符流，则使用字节流读取即可。

上面程序中发送请求的两个URL是笔者在本机部署的Web应用，关于如何创建Web应用，编写JSP页面请参考笔者所著的《轻量级J2EE企业应用实战》。由于程序可以使用这种方式直接向服务器发送请求——相当于提交Web应用中的登录表单页，这样就可以让程序不断地变换用户名、密码来提交登录请求，直到返回登录成功，这就是所谓的暴力破解