Android/java 计算大文件的SHA1值

最近做android的一个小工具，其中一个功能要计算一个apk的sha1值。但是遇到大的文件就会报错。遇到任何问题，首先要发现问题，然后分析问题，最后解决问题。

1. 发现问题

我调试了一下程序，发现问题出现在下面的代码里如下：

[java] view plaincopy

1. File file=new File(path);  
2. long length=file.length();  
3. DataInputStream in;  
4. in = new DataInputStream(new FileInputStream(path));  
5. byte[] buf = new byte[(int) length];     

当我要计算一个大小为50M的apk包时，我的程序直接就报错了，内存溢出。

[java] view plaincopy

1. byte[] buf = new byte[(int) length];     

这行代码，导致内存溢出，一次直接申请50M的内存，导致程序崩溃。

       2.    分析问题

 当我们发现了问题，通过分析问题，找到了原因。不能一次根据文件大小而申请内存空间，因为判断一下，如果是大文件，我们应该分割成小文件进行对应操作。

      3.    解决问题

通过分析问题，我们找到解决问题的大概思路。将大文件分割成小文件进行处理。这个比较容易。代码如下：

[java] view plaincopy

1. File file=new File(path);  
2. FileInputStream in = new FileInputStream(file);  
3. MessageDigest messagedigest;  
4. try {  
5. messagedigest = MessageDigest.getInstance("SHA-1");  
6.   
7.    byte[] buffer = new byte[1024 * 1024 * 10];  
8.    int len = 0;  
9.      
10.    while ((len = in.read(buffer)) >0) {  
11.   //该对象通过使用 update（）方法处理数据  
12.     messagedigest.update(buffer, 0, len);  
13.    }  

首先，buffer申请10M大小的空间，调用函数in.read(buffer)，每次读取10M的内容赋给buffer，然后通过调用MessageDigest.update进行对应操作(MessageDigest后续介绍)。通过这个方法，把内存溢出解决了。

但是，我遇到一个新的问题。在java,android里面，计算SHA1或者MD5值的时候，不用像C那样按照原理进行操作，sdk里面已经有封装好的类，可以直接调用。这个类就是MessageDigest。计算sha1的时候，都是将整个文件的内容，进行MessageDigest.update，我的理解update就是提交数据。然后调用MessageDigest.digest()进行计算就可以了。之前对MessageDigest不了解，以为我每次 messagedigest.update(buffer, 0, len)，旧的数据会被新数据覆盖。

通过调研，发现事实不是这样的。

MessageDigest.update()你调用多次，它会将这些数据合并一起，不会覆盖。当你调用digest方法，则说明输入消息结束。进行初始化，update提交的数据丢失。

举了个例子。

[java] view plaincopy

1. //现在有i1、i2和i3，分别是3个字节数组，构成一个消息，计算其散列函数值：  
2. MessageDigest sha1 = MessageDigest.getInstance（“sha-1”）；  
3. sha1.Update（i1）；  
4. sha1.Update（i2）；  
5. sha1.Update（i3）；  
6. byte[] hash = sha1.digest();  

咱们这样计算出的是这i1,i2,i3组成的字节数组的sha1值，而不是i3值。在一些散列函数实现中，可以通过复制（clone）来获得中间散列数值。如下所示：

[java] view plaincopy

1. //要分别计算：i1，i1和i2，i1、i2和i3的散列数值。  
2. //计算i1 hash  
3. sha1.update(i1);  
4. byte[] i1Hash = sha1.clone().digest();  
5. //计算i1和i2 hash  
6. sha1.update(i2);  
7. byte[] i12Hash = sha1.clone().digest();  
8. //计算i1、i2和i3 hash  
9. sha1.update(i3);  
10. byte[] i123Hash = sha1.digest();  

这样，把计算大文件sha1值，内存溢出的问题就解决了。这也让我明白，以后遇到文件方面操作的时候，尽量别一次性读取。

下面贴出计算sha1值的代码，供大家参考。

[java] view plaincopy

1. /** 
2.  * 适用于上G大的文件 
3.  */  
4.  public static String getFileSha1(String path) throws OutOfMemoryError,IOException {  
5. File file=new File(path);  
6. FileInputStream in = new FileInputStream(file);  
7. MessageDigest messagedigest;  
8. try {  
9.     messagedigest = MessageDigest.getInstance("SHA-1");  
10.   
11.     byte[] buffer = new byte[1024 * 1024 * 10];  
12.     int len = 0;  
13.       
14.     while ((len = in.read(buffer)) >0) {  
15.    //该对象通过使用 update（）方法处理数据  
16.      messagedigest.update(buffer, 0, len);  
17.     }  
18.      
19.   //对于给定数量的更新数据，digest 方法只能被调用一次。在调用 digest 之后，MessageDigest 对象被重新设置成其初始状态。  
20.     return byte2hex(messagedigest.digest());  
21. }   catch (NoSuchAlgorithmException e) {  
22.     NQLog.e("getFileSha1->NoSuchAlgorithmException###", e.toString());  
23.         e.printStackTrace();  
24.     }  
25. catch (OutOfMemoryError e) {  
26.       
27.     NQLog.e("getFileSha1->OutOfMemoryError###", e.toString());  
28.         e.printStackTrace();  
29.         throw e;  
30.     }  
31. finally{  
32.      in.close();  
33. }  
34.     return null;  
35.  }  

原文地址：点击打开链接