纯真IP数据库格式详解

来源：互联网发布：苏州软件开发个体户编辑：程序博客网时间：2024/06/05 08:30

摘要
网络上的IP数据库以纯真版的最为流行，LumaQQ也采用了纯真版IP数据库做为IP查询功能的基础。不过关于其格式的文档却非常之少，后来终于在网上找到了一份文档，得以了解其内幕，不过那份文档寥寥数语，也是颇为耐心才读明白。在这里我重写一份，以此做为LumaQQ开发者文档的一部分，我想还是必要的。本文详细介绍了纯真IP数据库的格式，并且给出了一些Demo以供参考。
Luma, 清华大学
修改日期： 2005/01/14
Note: 在此感谢纯真IP数据库作者金狐和那唯一一份文档的作者。
修改历史:
2005-01-14 修改了原来一些表达不清和错误的地方

自从有了IP数据库这种东西，QQ外挂的显示IP功能也随之而生，本人见识颇窄，是否还有其他应用不得而知，不过，IP数据库确实是个不错的东西。如今网络上最流行的IP数据库我想应该是纯真版的（说错了也不要扁我），迄今为止其IP记录条数已经接近30000，对于有些IP甚至能精确到楼层，不亦快哉。2004年4、5月间，正逢LumaQQ破土动工，为了加上这个人人都喜欢，但是好像人人都不知道为什么喜欢的显IP功能，我也采用了纯真版IP数据库，它的优点是记录多，查询速度快，它只用一个文件QQWry.dat就包含了所有记录，方便嵌入到其他程序中，也方便升级。

基本结构

QQWry.dat文件在结构上分为3块：文件头，记录区，索引区。一般我们要查找IP时，先在索引区查找记录偏移，然后再到记录区读出信息。由于记录区的记录是不定长的，所以直接在记录区中搜索是不可能的。由于记录数比较多，如果我们遍历索引区也会是有点慢的，一般来说，我们可以用二分查找法搜索索引区，其速度比遍历索引区快若干数量级。图1是QQWry.dat的文件结构图。

图1. QQWry.dat文件结构

要注意的是，QQWry.dat里面全部采用了little-endian字节序

一. 了解文件头

QQWry.dat的文件头只有8个字节，其结构非常简单，首四个字节是第一条索引的绝对偏移，后四个字节是最后一条索引的绝对偏移。

二. 了解记录区

每条IP记录都由国家和地区名组成，国家地区在这里并不是太确切，因为可能会查出来“清华大学计算机系”之类的，这里清华大学就成了国家名了，所以这个国家地区名和IP数据库制作的时候有关系。所以记录的格式有点像QName，有一个全局部分和局部部分组成，我们这里还是沿用国家名和地区名的说法。

于是我们想象着一条记录的格式应该是: [IP地址][国家名][地区名]，当然，这个没有什么问题，但是这只是最简单的情况。很显然，国家名和地区名可能会有很多的重复，如果每条记录都保存一个完整的名称拷贝是非常不理想的，所以我们就需要重定向以节省空间。所以为了得到一个国家名或者地区名，我们就有了两个可能：第一就是直接的字符串表示的国家名，第二就是一个4字节的结构，第一个字节表明了重定向的模式，后面3个字节是国家名或者地区名的实际偏移位置。对于国家名来说，情况还可能更复杂些，因为这样的重定向最多可能有两次。

那么什么是重定向模式？根据上面所说，一条记录的格式是[IP地址][国家记录][地区记录]，如果国家记录是重定向的话，那么地区记录是有可能没有的，于是就有了两种情况，我管他叫做模式1和模式2。我们对这些格式的情况举图说明：

图2. IP记录的最简单形式

图2表示了最简单的IP记录格式，我想没有什么可以解释的

图3. 重定向模式1

图3演示了重定向模式1的情况。我们看到在模式1的情况下，地区记录也跟着国家记录走了，在IP地址之后只剩下了国家记录的4字节，后面3个字节构成了一个指针，指向了实际的国家名，然后又跟着地址名。模式1的标识字节是0x01。

图4. 重定向模式2

图4演示了重定向模式2的情况。我们看到了在模式2的情况下（其标识字节是0x02），地区记录没有跟着国家记录走，因此在国家记录之后4个字节之后还是有地区记录。我想你已经明白了模式1和模式2的区别，即：模式1的国家记录后面不会再有地区记录，模式2的国家记录后会有地区记录。下面我们来看一下更复杂的情况。

图5. 混和情况1

图5演示了当国家记录为模式1的时候可能出现的更复杂情况，在这种情况下，重定向指向的位置仍然是个重定向，不过第二次重定向为模式2。大家不用担心，没有模式3了，这个重定向也最多只有两次，并且如果发生了第二次重定向，则其一定为模式2，而且这种情况只会发生在国家记录上，对于地区记录，模式1和模式2是一样的，地区记录也不会发生2次重定向。不过，这个图还可以更复杂，如图7：

图6. 混和情况2

图6是模式1下最复杂的混和情况，不过我想应该也很好理解，只不过地区记录也来重定向而已，有一点我要提醒你，如果重定向的地址是0，则表示未知的地区名。

所以我们总结如下：一条IP记录由[IP地址][国家记录][地区记录]组成，对于国家记录，可以有三种表示方式：字符串形式，重定向模式1和重定向模式2。对于地区记录，可以有两种表示方式：字符串形式和重定向，另外有一条规则：重定向模式1的国家记录后不能跟地区记录。按照这个总结，在这些方式中合理组合，就构成了IP记录的所有可能情况。

设计的理由

在我们继续去了解索引区的结构之前，我们先来了解一下为何记录区的结构要如此设计。我想你可能想到了答案：字符串重用。没错，在这种结构下，对于一个国家名和地区名，我只需要保存其一次就可以了。我们举例说明，为了表示方便，我们用小写字母代表IP记录，C表示国家名，A表示地区名：

有两条记录a(C1, A1), b(C2, A2)，如果C1 = C2, A1 = A2，那么我们就可以使用图3显示的结构来实现重用
有三条记录a(C1, A1), b(C2, A2), c(C3, A3)，如果C1 = C2, A2 = A3，现在我们想存储记录b，那么我们可以用图6的结构来实现重用
有两条记录a(C1, A1), b(C2, A2)，如果C1 = C2，现在我们想存储记录b，那么我们可以采用模式2表示C2，用字符串表示A2

你可以举出更多的情况，你也会发现在这种结构下，不同的字符串只需要存储一次。

了解索引区

在"了解文件头"部分，我们说明了文件头实际上是两个指针，分别指向了第一条索引和最后一条索引的绝对偏移。如图8所示：

图8. 文件头指向索引区图示

实在是很简单，不是吗？从文件头你就可以定位到索引区，然后你就可以开始搜索IP了！每条索引长度为7个字节，前4个字节是起始IP地址，后三个字节就指向了IP记录。这里有些概念需要说明一下，什么是起始IP，那么有没有结束IP？假设有这么一条记录：166.111.0.0 - 166.111.255.255，那么166.111.0.0就是起始IP，166.111.255.255就是结束IP，结束IP就是IP记录中的那头4个字节，这下你应该就清楚了吧。于是乎，每条索引配合一条记录，构成了一个IP范围，如果你要查找166.111.138.138所在的位置，你就会发现166.111.138.138落在了166.111.0.0 - 166.111.255.255 这个范围内，那么你就可以顺着这条索引去读取国家和地区名了。那么我们给出一个最详细的图解吧：

图9. 文件详细结构

现在一切都清楚了是不是？也许还有一点你不清楚，QQWry.dat的版本信息存在哪里呢？答案是：最后一条IP记录实际上就是版本信息，最后一条记录显示出来就是这样：255.255.255.0 255.255.255.255 纯真网络 2004年6月25日IP数据。OK，到现在你应该全部清楚了。

Demo

下一步：我给出一个读取IP记录的程序片断，此片断摘录自LumaQQ源文件edu.tsinghua.lumaqq.IPSeeker.java，如果你有兴趣，可以下载源代码详细看看。

/** * 给定一个ip国家地区记录的偏移，返回一个IPLocation结构 * @param offset 国家记录的起始偏移 * @return IPLocation对象 */private IPLocation getIPLocation(long offset) {try {// 跳过4字节ipipFile.seek(offset + 4);// 读取第一个字节判断是否标志字节byte b = ipFile.readByte();if(b == REDIRECT_MODE_1) {// 读取国家偏移long countryOffset = readLong3();// 跳转至偏移处ipFile.seek(countryOffset);// 再检查一次标志字节，因为这个时候这个地方仍然可能是个重定向b = ipFile.readByte();if(b == REDIRECT_MODE_2) {loc.country = readString(readLong3());ipFile.seek(countryOffset + 4);} elseloc.country = readString(countryOffset);// 读取地区标志loc.area = readArea(ipFile.getFilePointer());} else if(b == REDIRECT_MODE_2) {loc.country = readString(readLong3());loc.area = readArea(offset + 8);} else {loc.country = readString(ipFile.getFilePointer() - 1);loc.area = readArea(ipFile.getFilePointer());}return loc;} catch (IOException e) {return null;}}/** * 从offset偏移开始解析后面的字节，读出一个地区名 * @param offset 地区记录的起始偏移 * @return 地区名字符串 * @throws IOException 地区名字符串 */private String readArea(long offset) throws IOException {ipFile.seek(offset);byte b = ipFile.readByte();if(b == REDIRECT_MODE_1 || b == REDIRECT_MODE_2) {long areaOffset = readLong3(offset + 1);if(areaOffset == 0)return LumaQQ.getString("unknown.area");elsereturn readString(areaOffset);} elsereturn readString(offset);}/** * 从offset位置读取3个字节为一个long，因为java为big-endian格式，所以没办法 * 用了这么一个函数来做转换 * @param offset 整数的起始偏移 * @return 读取的long值，返回-1表示读取文件失败 */private long readLong3(long offset) {long ret = 0;try {ipFile.seek(offset);ipFile.readFully(b3);ret |= (b3[0] & 0xFF);ret |= ((b3[1] << 8) & 0xFF00);ret |= ((b3[2] << 16) & 0xFF0000);return ret;} catch (IOException e) {return -1;}}/** * 从当前位置读取3个字节转换成long * @return 读取的long值，返回-1表示读取文件失败 */private long readLong3() {long ret = 0;try {ipFile.readFully(b3);ret |= (b3[0] & 0xFF);ret |= ((b3[1] << 8) & 0xFF00);ret |= ((b3[2] << 16) & 0xFF0000);return ret;} catch (IOException e) {return -1;}}/** * 从offset偏移处读取一个以0结束的字符串 * @param offset 字符串起始偏移 * @return 读取的字符串，出错返回空字符串 */private String readString(long offset) {try {ipFile.seek(offset);int i;for(i = 0, buf[i] = ipFile.readByte(); buf[i] != 0; buf[++i] = ipFile.readByte());if(i != 0)     return Utils.getString(buf, 0, i, "GBK");} catch (IOException e) {    log.error(e.getMessage());}return "";}

代码并不复杂，getIPLocation是主要方法，它检查国家记录格式，并针对字符串形式，模式1，模式2采用不同的代码，readArea则相对简单，因为只有字符串和重定向两种情况需要处理。

总结

纯真IP数据库的结构使得查找IP简单迅速，不过你想要编辑它却是比较麻烦的，我想应该需要专门的工具来生成QQWry.dat文件，由于其文件格式的限制，你要直接添加IP记录就不容易了。不过，能查到IP已经很开心了，希望纯真记录越来越多～。

下面给出Java读取纯真IP数据库的源代码

java读取纯真IP数据库QQwry.dat的源代码,要运行此程序必须有
到网上下载QQwry.da，由于太大，我这里就不提供了。
一、IPEntry.java

/** *

* 一条IP范围记录，不仅包括国家和区域，也包括起始IP和结束IP *

* @author swallow */

public class IPEntry {

public String beginIp;

public String endIp;

public String country;

public String area;

/**

* 构造函数

public IPEntry() {

beginIp = endIp = country = area = "";

}

public String toString(){

retur this.area+" "+this.country+"IP范围:"+this.beginIp+"-"+this.endIp;

}

二、Utils.java

* Created on 2004-8-4

import java.io.UnsupportedEncodingException;

/**

* @author LJ-silver

public class Utils {

/**

* 从ip的字符串形式得到字节数组形式

* @param ip 字符串形式的ip

* @return 字节数组形式的ip

public static byte[] getIpByteArrayFromString(String ip) {

byte[] ret = new byte[4];

java.util.StringTokenizer st = new java.util.StringTokenizer(ip, ".");

try {

ret[0] = (byte)(Integer.parseInt(st.nextToken()) & 0xFF);

ret[1] = (byte)(Integer.parseInt(st.nextToken()) & 0xFF);

ret[2] = (byte)(Integer.parseInt(st.nextToken()) & 0xFF);

ret[3] = (byte)(Integer.parseInt(st.nextToken()) & 0xFF);

} catch (Exception e) {

System.out.println(e.getMessage());

}

return ret;

}

public static void main(String args[]){

byte[] a=getIpByteArrayFromString(args[0]);

for(int i=0;i< a.length;i++)

System.out.println(a[i]);

System.out.println(getIpStringFromBytes(a));

}

/**

* 对原始字符串进行编码转换，如果失败，返回原始的字符串

* @param s 原始字符串

* @param srcEncoding 源编码方式

* @param destEncoding 目标编码方式

* @return 转换编码后的字符串，失败返回原始字符串

public static String getString(String s, String srcEncoding, String destEncoding) {

try {

return new String(s.getBytes(srcEncoding), destEncoding);

} catch (UnsupportedEncodingException e) {

return s;

}

/**

* 根据某种编码方式将字节数组转换成字符串

* @param b 字节数组

* @param encoding 编码方式

* @return 如果encoding不支持，返回一个缺省编码的字符串

public static String getString(byte[] b, String encoding) {

try {

return new String(b, encoding);

} catch (UnsupportedEncodingException e) {

return new String(b);

}

/**

* 根据某种编码方式将字节数组转换成字符串

* @param b 字节数组

* @param offset 要转换的起始位置

* @param len 要转换的长度

* @param encoding 编码方式

* @return 如果encoding不支持，返回一个缺省编码的字符串

public static String getString(byte[] b, int offset, int len, String encoding) {

try {

return new String(b, offset, len, encoding);

} catch (UnsupportedEncodingException e) {

return new String(b, offset, len);

}

/**

* @param ip ip的字节数组形式

* @return 字符串形式的ip

public static String getIpStringFromBytes(byte[] ip) {

StringBuffer sb = new StringBuffer();

sb.append(ip[0] & 0xFF);

sb.append('.');

sb.append(ip[1] & 0xFF);

sb.append('.');

sb.append(ip[2] & 0xFF);

sb.append('.');

sb.append(ip[3] & 0xFF);

return sb.toString();

}

三、IPSeeker.java

* LumaQQ - Java QQ Client

* This program is free software; you can redistribute it and/or modify

* it under the terms of the GNU General Public License as published by

* the Free Software Foundation; either version 2 of the License, or

* (at your option) any later version.

* This program is distributed in the hope that it will be useful,

* but WITHOUT ANY WARRANTY; without even the implied warranty of

* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the

* GNU General Public License for more details.

* You should have received a copy of the GNU General Public License

* along with this program; if not, write to the Free Software

* Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA

import java.io.FileNotFoundException;

import java.io.IOException;

import java.io.RandomAccessFile;

import java.nio.ByteOrder;

import java.nio.MappedByteBuffer;

import java.nio.channels.FileChannel;

import java.util.ArrayList;

import java.util.Hashtable;

import java.util.List;

/**

* * 用来读取QQwry.dat文件，以根据ip获得好友位置，QQwry.dat的格式是

* 一. 文件头，共8字节

* 1. 第一个起始IP的绝对偏移， 4字节

* 2. 最后一个起始IP的绝对偏移， 4字节

* 二. "结束地址/国家/区域"记录区

* 四字节ip地址后跟的每一条记录分成两个部分

* 1. 国家记录

* 2. 地区记录

* 但是地区记录是不一定有的。而且国家记录和地区记录都有两种形式

* 1. 以0结束的字符串

* 2. 4个字节，一个字节可能为0x1或0x2

* a. 为0x1时，表示在绝对偏移后还跟着一个区域的记录，注意是绝对偏移之后，而不是这四个字节之后

* b. 为0x2时，表示在绝对偏移后没有区域记录

* 不管为0x1还是0x2，后三个字节都是实际国家名的文件内绝对偏移

* 如果是地区记录，0x1和0x2的含义不明，但是如果出现这两个字节，也肯定是跟着3个字节偏移，如果不是

* 则为0结尾字符串

* 三. "起始地址/结束地址偏移"记录区

* 1. 每条记录7字节，按照起始地址从小到大排列

* a. 起始IP地址，4字节

* b. 结束ip地址的绝对偏移，3字节

* 注意，这个文件里的ip地址和所有的偏移量均采用little-endian格式，而java是采用

* big-endian格式的，要注意转换

* @author 马若劼

public class IPSeeker {

/**

* * 用来封装ip相关信息，目前只有两个字段，ip所在的国家和地区

* @author swallow */

private class IPLocation {

public String country;

public String area;

public IPLocation() {

country = area = "";

}

public IPLocation getCopy() {

IPLocation ret = new IPLocation();

ret.country = country;

ret.area = area;

return ret;

}

private static final String IP_FILE = IPSeeker.class.getResource("/QQWry.dat").toString().substring(5);

// 一些固定常量，比如记录长度等等

private static final int IP_RECORD_LENGTH = 7;

private static final byte AREA_FOLLOWED = 0x01;

private static final byte NO_AREA = 0x2;

// 用来做为cache，查询一个ip时首先查看cache，以减少不必要的重复查找

private Hashtable ipCache;

// 随机文件访问类

private RandomAccessFile ipFile;

// 内存映射文件

private MappedByteBuffer mbb;

// 单一模式实例

private static IPSeeker instance = new IPSeeker();

// 起始地区的开始和结束的绝对偏移

private long ipBegin, ipEnd;

// 为提高效率而采用的临时变量

private IPLocation loc;

private byte[] buf;

private byte[] b4;

private byte[] b3;

/**

* 私有构造函数

private IPSeeker() {

ipCache = new Hashtable();

loc = new IPLocation();

buf = new byte[100];

b4 = new byte[4];

b3 = new byte[3];

try {

ipFile = new RandomAccessFile(IP_FILE, "r");

} catch (FileNotFoundException e) {

System.out.println(IPSeeker.class.getResource("/QQWry.dat").toString());

System.out.println(IP_FILE);

System.out.println("IP地址信息文件没有找到，IP显示功能将无法使用");

ipFile = null;

}

// 如果打开文件成功，读取文件头信息

if(ipFile != null) {

try {

ipBegin = readLong4(0);

ipEnd = readLong4(4);

if(ipBegin == -1 || ipEnd == -1) {

ipFile.close();

ipFile = null;

}

} catch (IOException e) {

System.out.println("IP地址信息文件格式有错误，IP显示功能将无法使用");

ipFile = null;

}

/**

* @return 单一实例

public static IPSeeker getInstance() {

return instance;

}

/**

* 给定一个地点的不完全名字，得到一系列包含s子串的IP范围记录

* @param s 地点子串

* @return 包含IPEntry类型的List

public List getIPEntriesDebug(String s) {

List ret = new ArrayList();

long endOffset = ipEnd + 4;

for(long offset = ipBegin + 4; offset <= endOffset; offset += IP_RECORD_LENGTH) {

// 读取结束IP偏移

long temp = readLong3(offset);

// 如果temp不等于-1，读取IP的地点信息

if(temp != -1) {

IPLocation loc = getIPLocation(temp);

// 判断是否这个地点里面包含了s子串，如果包含了，添加这个记录到List中，如果没有，继续

if(loc.country.indexOf(s) != -1 || loc.area.indexOf(s) != -1) {

IPEntry entry = new IPEntry();

entry.country = loc.country;

entry.area = loc.area;

// 得到起始IP

readIP(offset - 4, b4);

entry.beginIp = Utils.getIpStringFromBytes(b4);

// 得到结束IP

readIP(temp, b4);

entry.endIp = Utils.getIpStringFromBytes(b4);

// 添加该记录

ret.add(entry);

}

return ret;

}

/**

* 给定一个地点的不完全名字，得到一系列包含s子串的IP范围记录

* @param s 地点子串

* @return 包含IPEntry类型的List

public List getIPEntries(String s) {

List ret = new ArrayList();

try {

// 映射IP信息文件到内存中

if(mbb == null) {

FileChannel fc = ipFile.getChannel();

mbb = fc.map(FileChannel.MapMode.READ_ONLY, 0, ipFile.length());

mbb.order(ByteOrder.LITTLE_ENDIAN);

}

int endOffset = (int)ipEnd;

for(int offset = (int)ipBegin + 4; offset <= endOffset; offset += IP_RECORD_LENGTH) {

int temp = readInt3(offset);

if(temp != -1) {

IPLocation loc = getIPLocation(temp);

// 判断是否这个地点里面包含了s子串，如果包含了，添加这个记录到List中，如果没有，继续

if(loc.country.indexOf(s) != -1 || loc.area.indexOf(s) != -1) {

IPEntry entry = new IPEntry();

entry.country = loc.country;

entry.area = loc.area;

// 得到起始IP

readIP(offset - 4, b4);

entry.beginIp = Utils.getIpStringFromBytes(b4);

// 得到结束IP

readIP(temp, b4);

entry.endIp = Utils.getIpStringFromBytes(b4);

// 添加该记录

ret.add(entry);

}

} catch (IOException e) {

System.out.println(e.getMessage());

}

return ret;

}

/**

* 从内存映射文件的offset位置开始的3个字节读取一个int

* @param offset

* @return

private int readInt3(int offset) {

mbb.position(offset);

return mbb.getInt() & 0x00FFFFFF;

}

/**

* 从内存映射文件的当前位置开始的3个字节读取一个int

* @return

private int readInt3() {

return mbb.getInt() & 0x00FFFFFF;

}

/**

* 根据IP得到国家名

* @param ip ip的字节数组形式

* @return 国家名字符串

public String getCountry(byte[] ip) {

// 检查ip地址文件是否正常

if(ipFile == null) return "错误的IP数据库文件";

// 保存ip，转换ip字节数组为字符串形式

String ipStr = Utils.getIpStringFromBytes(ip);

// 先检查cache中是否已经包含有这个ip的结果，没有再搜索文件

if(ipCache.containsKey(ipStr)) {

IPLocation loc = (IPLocation)ipCache.get(ipStr);

return loc.country;

} else {

IPLocation loc = getIPLocation(ip);

ipCache.put(ipStr, loc.getCopy());

return loc.country;

}

/**

* 根据IP得到国家名

* @param ip IP的字符串形式

* @return 国家名字符串

public String getCountry(String ip) {

return getCountry(Utils.getIpByteArrayFromString(ip));

}

/**

* 根据IP得到地区名

* @param ip ip的字节数组形式

* @return 地区名字符串

public String getArea(byte[] ip) {

// 检查ip地址文件是否正常

if(ipFile == null) return "错误的IP数据库文件";

// 保存ip，转换ip字节数组为字符串形式

String ipStr = Utils.getIpStringFromBytes(ip);

// 先检查cache中是否已经包含有这个ip的结果，没有再搜索文件

if(ipCache.containsKey(ipStr)) {

IPLocation loc = (IPLocation)ipCache.get(ipStr);

return loc.area;

} else {

IPLocation loc = getIPLocation(ip);

ipCache.put(ipStr, loc.getCopy());

return loc.area;

}

/**

* 根据IP得到地区名

* @param ip IP的字符串形式

* @return 地区名字符串

public String getArea(String ip) {

return getArea(Utils.getIpByteArrayFromString(ip));

}

/**

* 根据ip搜索ip信息文件，得到IPLocation结构，所搜索的ip参数从类成员ip中得到

* @param ip 要查询的IP

* @return IPLocation结构

private IPLocation getIPLocation(byte[] ip) {

IPLocation info = null;

long offset = locateIP(ip);

if(offset != -1)

info = getIPLocation(offset);

if(info == null) {

info = new IPLocation();

info.country = "未知国家";

info.area = "未知地区";

}

return info;

}

/**

* 从offset位置读取4个字节为一个long，因为java为big-endian格式，所以没办法

* 用了这么一个函数来做转换

* @param offset

* @return 读取的long值，返回-1表示读取文件失败

private long readLong4(long offset) {

long ret = 0;

try {

ipFile.seek(offset);

ret |= (ipFile.readByte() & 0xFF);

ret |= ((ipFile.readByte() << 8) & 0xFF00);

ret |= ((ipFile.readByte() << 16) & 0xFF0000);

ret |= ((ipFile.readByte() << 24) & 0xFF000000);

return ret;

} catch (IOException e) {

return -1;

}

/**

* 从offset位置读取3个字节为一个long，因为java为big-endian格式，所以没办法

* 用了这么一个函数来做转换

* @param offset

* @return 读取的long值，返回-1表示读取文件失败

private long readLong3(long offset) {

long ret = 0;

try {

ipFile.seek(offset);

ipFile.readFully(b3);

ret |= (b3[0] & 0xFF);

ret |= ((b3[1] << 8) & 0xFF00);

ret |= ((b3[2] << 16) & 0xFF0000);

return ret;

} catch (IOException e) {

return -1;

}

/**

* 从当前位置读取3个字节转换成long

* @return

private long readLong3() {

long ret = 0;

try {

ipFile.readFully(b3);

ret |= (b3[0] & 0xFF);

ret |= ((b3[1] << 8) & 0xFF00);

ret |= ((b3[2] << 16) & 0xFF0000);

return ret;

} catch (IOException e) {

return -1;

}

/**

* 从offset位置读取四个字节的ip地址放入ip数组中，读取后的ip为big-endian格式，但是

* 文件中是little-endian形式，将会进行转换

* @param offset

* @param ip

private void readIP(long offset, byte[] ip) {

try {

ipFile.seek(offset);

ipFile.readFully(ip);

byte temp = ip[0];

ip[0] = ip[3];

ip[3] = temp;

temp = ip[1];

ip[1] = ip[2];

ip[2] = temp;

} catch (IOException e) {

System.out.println(e.getMessage());

}

/**

* 从offset位置读取四个字节的ip地址放入ip数组中，读取后的ip为big-endian格式，但是

* 文件中是little-endian形式，将会进行转换

* @param offset

* @param ip

private void readIP(int offset, byte[] ip) {

mbb.position(offset);

mbb.get(ip);

byte temp = ip[0];

ip[0] = ip[3];

ip[3] = temp;

temp = ip[1];

ip[1] = ip[2];

ip[2] = temp;

}

/**

* 把类成员ip和beginIp比较，注意这个beginIp是big-endian的

* @param ip 要查询的IP

* @param beginIp 和被查询IP相比较的IP

* @return 相等返回0，ip大于beginIp则返回1，小于返回-1。

private int compareIP(byte[] ip, byte[] beginIp) {

for(int i = 0; i < 4; i++) {

int r = compareByte(ip[i], beginIp[i]);

if(r != 0)

return r;

}

return 0;

}

/**

* 把两个byte当作无符号数进行比较

* @param b1

* @param b2

* @return 若b1大于b2则返回1，相等返回0，小于返回-1

private int compareByte(byte b1, byte b2) {

if((b1 & 0xFF) > (b2 & 0xFF)) // 比较是否大于

return 1;

else if((b1 ^ b2) == 0)// 判断是否相等

return 0;

else

return -1;

}

/**

* 这个方法将根据ip的内容，定位到包含这个ip国家地区的记录处，返回一个绝对偏移

* 方法使用二分法查找。

* @param ip 要查询的IP

* @return 如果找到了，返回结束IP的偏移，如果没有找到，返回-1

private long locateIP(byte[] ip) {

long m = 0;

int r;

// 比较第一个ip项

readIP(ipBegin, b4);

r = compareIP(ip, b4);

if(r == 0) return ipBegin;

else if(r < 0) return -1;

// 开始二分搜索

for(long i = ipBegin, j = ipEnd; i < j; ) {

m = getMiddleOffset(i, j);

readIP(m, b4);

r = compareIP(ip, b4);

// log.debug(Utils.getIpStringFromBytes(b));

if(r > 0)

i = m;

else if(r < 0) {

if(m == j) {

j -= IP_RECORD_LENGTH;

m = j;

} else

j = m;

} else

return readLong3(m + 4);

}

// 如果循环结束了，那么i和j必定是相等的，这个记录为最可能的记录，但是并非

// 肯定就是，还要检查一下，如果是，就返回结束地址区的绝对偏移

m = readLong3(m + 4);

readIP(m, b4);

r = compareIP(ip, b4);

if(r <= 0) return m;

else return -1;

}

/**

* 得到begin偏移和end偏移中间位置记录的偏移

* @param begin

* @param end

* @return

private long getMiddleOffset(long begin, long end) {

long records = (end - begin) / IP_RECORD_LENGTH;

records >>= 1;

if(records == 0) records = 1;

return begin + records * IP_RECORD_LENGTH;

}

/**

* 给定一个ip国家地区记录的偏移，返回一个IPLocation结构

* @param offset

* @return

private IPLocation getIPLocation(long offset) {

try {

// 跳过4字节ip

ipFile.seek(offset + 4);

// 读取第一个字节判断是否标志字节

byte b = ipFile.readByte();

if(b == AREA_FOLLOWED) {

// 读取国家偏移

long countryOffset = readLong3();

// 跳转至偏移处

ipFile.seek(countryOffset);

// 再检查一次标志字节，因为这个时候这个地方仍然可能是个重定向

b = ipFile.readByte();

if(b == NO_AREA) {

loc.country = readString(readLong3());

ipFile.seek(countryOffset + 4);

} else

loc.country = readString(countryOffset);

// 读取地区标志

loc.area = readArea(ipFile.getFilePointer());

} else if(b == NO_AREA) {

loc.country = readString(readLong3());

loc.area = readArea(offset + 8);

} else {

loc.country = readString(ipFile.getFilePointer() - 1);

loc.area = readArea(ipFile.getFilePointer());

}

return loc;

} catch (IOException e) {

return null;

}

/**

* @param offset

* @return

private IPLocation getIPLocation(int offset) {

// 跳过4字节ip

mbb.position(offset + 4);

// 读取第一个字节判断是否标志字节

byte b = mbb.get();

if(b == AREA_FOLLOWED) {

// 读取国家偏移

int countryOffset = readInt3();

// 跳转至偏移处

mbb.position(countryOffset);

// 再检查一次标志字节，因为这个时候这个地方仍然可能是个重定向

b = mbb.get();

if(b == NO_AREA) {

loc.country = readString(readInt3());

mbb.position(countryOffset + 4);

} else

loc.country = readString(countryOffset);

// 读取地区标志

loc.area = readArea(mbb.position());

} else if(b == NO_AREA) {

loc.country = readString(readInt3());

loc.area = readArea(offset + 8);

} else {

loc.country = readString(mbb.position() - 1);

loc.area = readArea(mbb.position());

}

return loc;

}

/**

* 从offset偏移开始解析后面的字节，读出一个地区名

* @param offset

* @return 地区名字符串

* @throws IOException

private String readArea(long offset) throws IOException {

ipFile.seek(offset);

byte b = ipFile.readByte();

if(b == 0x01 || b == 0x02) {

long areaOffset = readLong3(offset + 1);

if(areaOffset == 0)

return "未知地区";

else

return readString(areaOffset);

} else

return readString(offset);

}

/**

* @param offset

* @return

private String readArea(int offset) {

mbb.position(offset);

byte b = mbb.get();

if(b == 0x01 || b == 0x02) {

int areaOffset = readInt3();

if(areaOffset == 0)

return "未知地区";

else

return readString(areaOffset);

} else

return readString(offset);

}

/**

* 从offset偏移处读取一个以0结束的字符串

* @param offset

* @return 读取的字符串，出错返回空字符串

private String readString(long offset) {

try {

ipFile.seek(offset);

int i;

for(i = 0, buf[i] = ipFile.readByte(); buf[i] != 0; buf[++i] = ipFile.readByte());

if(i != 0)

return Utils.getString(buf, 0, i, "GBK");

} catch (IOException e) {

System.out.println(e.getMessage());

}

return "";

}

/**

* 从内存映射文件的offset位置得到一个0结尾字符串

* @param offset

* @return

private String readString(int offset) {

try {

mbb.position(offset);

int i;

for(i = 0, buf[i] = mbb.get(); buf[i] != 0; buf[++i] = mbb.get());

if(i != 0)

return Utils.getString(buf, 0, i, "GBK");

} catch (IllegalArgumentException e) {

System.out.println(e.getMessage());

}

return "";

}

public String getAddress(String ip){

String country = getCountry(ip).equals(" CZ88.NET")?"":getCountry(ip);

String area = getArea(ip).equals(" CZ88.NET")?"":getArea(ip);

String address = country+" "+area;

return address.trim();

}

如何使用上面的类呢？请看下面的示例：

我们首先得到浙江大学官网的ip地址，怎么得到呢，很简单。打开dos窗口，输入ping http://www.zju.edu.cn，结果如下：

从而得到浙江大学官网的ip地址为60.191.124.236

接着运行下面的代码：

package org.conan.myhadoop.mr.quiz.util;public class Test {public static void main(String[] args) {String ip = "60.191.124.236";IPSeeker ipSeeker = IPSeeker.getInstance();//单例模式获得IPSeeker实例String area = ipSeeker.getCountry(ip);//获取地区String provice = ProviceUtil.getProvice(area);//获取省份System.out.println(provice+":"+area);//输出}}

得到运行结果为

浙江:浙江省杭州市

可见，分析结果是正确的。

0 0