輸入:IP地址———>輸出:這個IP地址所在的國家,地名,有時甚至能精細到樓層。
網(wǎng)絡上的IP數(shù)據(jù)庫以純真版的最為流行,LumaQQ也采用了純真版IP數(shù)據(jù)庫做為IP查詢功能的基礎。不過關于其格式的文檔卻非常之少,后來終于在網(wǎng)上找到了幾份文檔,才知道其內幕,現(xiàn)在將我對Qqwry.dat的數(shù)據(jù)結構的理解展現(xiàn)出來。讓更多人明白它的內幕。
詳解解構:
1. qq.dat的數(shù)據(jù)存儲格式:
1.1三大塊:
文件頭;
記錄區(qū);
索引區(qū);

1.2詳細解釋三大塊:
1.2.1第一塊:文件頭
文件頭是8個字節(jié)長度,前四個字節(jié)存儲了第一條索引的絕對地址,后四個字節(jié)存儲了最后一條索引的絕對地址。
格式如圖:
1.2.2第二塊:索引區(qū):
索引區(qū)格式如下圖:
先說一下IP地址的起始IP和結束IP。例如:中國,美國,英國每個國家都分配有不同的IP段,IP段就是由起始IP和結束IP組成,從起始IP到結束IP內的所有IP就組成了我們所說的IP段。比如:
010.018.132.000 010.018.132.255 [河北][承德169用戶]
010.018.160.000 010.018.255.255 [河北][唐山]
再來說一下索引區(qū)的存儲結構,它存儲了很多條索引,每條索引的格式為7個字節(jié),前四個字節(jié)表示的是一個IP段的起始字節(jié),后三個字節(jié)是鏈接到以這個起始IP開始的IP段內的所有IP記錄的地址,也就是說它是一個絕對地址,用于到鏈接到記錄區(qū)查詢國家,地區(qū)的數(shù)據(jù)。
1.2.3第三塊:記錄區(qū):
記錄區(qū)的數(shù)據(jù)格式不定,數(shù)據(jù)主要有以下類型:
A:結束IP
B:國家記錄 (以0x 00結束 )
C: 地區(qū)記錄 (以0x 00結束 )
D:標識字符:
E:絕對偏移量
以上是我參考了網(wǎng)上各位大蝦的解釋后,根據(jù)自己的了解和感受,把這個問題再詳細的解釋一次,希望能給大家?guī)椭?/font>
附:本文圖片是參考的
自從有了IP數(shù)據(jù)庫這種東西,QQ外掛的顯示IP功能也隨之而生,本人見識頗窄,是否還有其他應用不得而知,不過,IP數(shù)據(jù)庫確實是個不錯的東西。如今網(wǎng)絡上最流行的IP數(shù)據(jù)庫我想應該是純真版的(說錯了也不要扁我),迄今為止其IP記錄條數(shù)已經(jīng)接近30000,對于有些IP甚至能精確到樓層,不亦快哉。2004年4、5月間,正逢LumaQQ破土動工,為了加上這個人人都喜歡,但是好像人人都不知道為什么喜歡的顯IP功能,我也采用了純真版IP數(shù)據(jù)庫,它的優(yōu)點是記錄多,查詢速度快,它只用一個文件QQWry.dat就包含了所有記錄,方便嵌入到其他程序中,也方便升級。
基本結構
QQWry.dat文件在結構上分為3塊:文件頭,記錄區(qū),索引區(qū)。一般我們要查找IP時,先在索引區(qū)查找記錄偏移,然后再到記錄區(qū)讀出信息。由于記錄區(qū)的記錄是不定長的,所以直接在記錄區(qū)中搜索是不可能的。由于記錄數(shù)比較多,如果我們遍歷索引區(qū)也會是有點慢的,一般來說,我們可以用二分查找法搜索索引區(qū),其速度比遍歷索引區(qū)快若干數(shù)量級。圖1是QQWry.dat的文件結構圖。
圖1. QQWry.dat文件結構
要注意的是,QQWry.dat里面全部采用了little-endian字節(jié)序
一. 了解文件頭
QQWry.dat的文件頭只有8個字節(jié),其結構非常簡單,首四個字節(jié)是第一條索引的絕對偏移,后四個字節(jié)是最后一條索引的絕對偏移。
二. 了解記錄區(qū)
每條IP記錄都由國家和地區(qū)名組成,國家地區(qū)在這里并不是太確切,因為可能會查出來“清華大學計算機系”之類的,這里清華大學就成了國家名了,所以這個國家地區(qū)名和IP數(shù)據(jù)庫制作的時候有關系。所以記錄的格式有點像QName,有一個全局部分和局部部分組成,我們這里還是沿用國家名和地區(qū)名的說法。
于是我們想象著一條記錄的格式應該是: [IP地址][國家名][地區(qū)名],當然,這個沒有什么問題,但是這只是最簡單的情況。很顯然,國家名和地區(qū)名可能會有很多的重復,如果每條記錄都保存一個完整的名稱拷貝是非常不理想的,所以我們就需要重定向以節(jié)省空間。所以為了得到一個國家名或者地區(qū)名,我們就有了兩個可能:第一就是直接的字符串表示的國家名,第二就是一個4字節(jié)的結構,第一個字節(jié)表明了重定向的模式,后面3個字節(jié)是國家名或者地區(qū)名的實際偏移位置。對于國家名來說,情況還可能更復雜些,因為這樣的重定向最多可能有兩次。
那么什么是重定向模式?根據(jù)上面所說,一條記錄的格式是[IP地址][國家記錄][地區(qū)記錄],如果國家記錄是重定向的話,那么地區(qū)記錄是有可能沒有的,于是就有了兩種情況,我管他叫做模式1和模式2。我們對這些格式的情況舉圖說明:
圖2. IP記錄的最簡單形式
圖2表示了最簡單的IP記錄格式,我想沒有什么可以解釋的
圖3. 重定向模式1
圖3演示了重定向模式1的情況。我們看到在模式1的情況下,地區(qū)記錄也跟著國家記錄走了,在IP地址之后只剩下了國家記錄的4字節(jié),后面3個字節(jié)構成了一個指針,指向了實際的國家名,然后又跟著地址名。模式1的標識字節(jié)是0x01。
圖4. 重定向模式2
圖4演示了重定向模式2的情況。我們看到了在模式2的情況下(其標識字節(jié)是0x02),地區(qū)記錄沒有跟著國家記錄走,因此在國家記錄之后4個字節(jié)之后還是有地區(qū)記錄。我想你已經(jīng)明白了模式1和模式2的區(qū)別,即:模式1的國家記錄后面不會再有地區(qū)記錄,模式2的國家記錄后會有地區(qū)記錄。下面我們來看一下更復雜的情況。
圖5. 混和情況1
圖5演示了當國家記錄為模式1的時候可能出現(xiàn)的更復雜情況,在這種情況下,重定向指向的位置仍然是個重定向,不過第二次重定向為模式2。大家不用擔心,沒有模式3了,這個重定向也最多只有兩次,并且如果發(fā)生了第二次重定向,則其一定為模式2,而且這種情況只會發(fā)生在國家記錄上,對于地區(qū)記錄,模式1和模式2是一樣的,地區(qū)記錄也不會發(fā)生2次重定向。不過,這個圖還可以更復雜,如圖7:
圖6. 混和情況2
圖6是模式1下最復雜的混和情況,不過我想應該也很好理解,只不過地區(qū)記錄也來重定向而已,有一點我要提醒你,如果重定向的地址是0,則表示未知的地區(qū)名。
所以我們總結如下:一條IP記錄由[IP地址][國家記錄][地區(qū)記錄]組成,對于國家記錄,可以有三種表示方式:字符串形式,重定向模式1和重定向模式2。對于地區(qū)記錄,可以有兩種表示方式:字符串形式和重定向,另外有一條規(guī)則:重定向模式1的國家記錄后不能跟地區(qū)記錄。按照這個總結,在這些方式中合理組合,就構成了IP記錄的所有可能情況。
設計的理由
在我們繼續(xù)去了解索引區(qū)的結構之前,我們先來了解一下為何記錄區(qū)的結構要如此設計。我想你可能想到了答案:字符串重用。沒錯,在這種結構下,對于一個國家名和地區(qū)名,我只需要保存其一次就可以了。我們舉例說明,為了表示方便,我們用小寫字母代表IP記錄,C表示國家名,A表示地區(qū)名:
-
有兩條記錄a(C1, A1), b(C2, A2),如果C1 = C2, A1 = A2,那么我們就可以使用圖3顯示的結構來實現(xiàn)重用
-
有三條記錄a(C1, A1), b(C2, A2), c(C3, A3),如果C1 = C2, A2 = A3,現(xiàn)在我們想存儲記錄b,那么我們可以用圖6的結構來實現(xiàn)重用
-
有兩條記錄a(C1, A1), b(C2, A2),如果C1 = C2,現(xiàn)在我們想存儲記錄b,那么我們可以采用模式2表示C2,用字符串表示A2
你可以舉出更多的情況,你也會發(fā)現(xiàn)在這種結構下,不同的字符串只需要存儲一次。
了解索引區(qū)
在"了解文件頭"部分,我們說明了文件頭實際上是兩個指針,分別指向了第一條索引和最后一條索引的絕對偏移。如圖8所示:
圖8. 文件頭指向索引區(qū)圖示
實在是很簡單,不是嗎?從文件頭你就可以定位到索引區(qū),然后你就可以開始搜索IP了!每條索引長度為7個字節(jié),前4個字節(jié)是起始IP地址,后三個字節(jié)就指向了IP記錄。這里有些概念需要說明一下,什么是起始IP,那么有沒有結束IP? 假設有這么一條記錄:166.111.0.0 - 166.111.255.255,那么166.111.0.0就是起始IP,166.111.255.255就是結束IP,結束IP就是IP記錄中的那頭4個字節(jié),這下你應該就清楚了吧。于是乎,每條索引配合一條記錄,構成了一個IP范圍,如果你要查找166.111.138.138所在的位置,你就會發(fā)現(xiàn)166.111.138.138落在了166.111.0.0 - 166.111.255.255 這個范圍內,那么你就可以順著這條索引去讀取國家和地區(qū)名了。那么我們給出一個最詳細的圖解吧:
圖9. 文件詳細結構
現(xiàn)在一切都清楚了是不是?也許還有一點你不清楚,QQWry.dat的版本信息存在哪里呢? 答案是:最后一條IP記錄實際上就是版本信息,最后一條記錄顯示出來就是這樣:255.255.255.0 255.255.255.255 純真網(wǎng)絡 2004年6月25日IP數(shù)據(jù)。OK,到現(xiàn)在你應該全部清楚了。
Demo
下一步:我給出一個讀取IP記錄的程序片斷,此片斷摘錄自LumaQQ源文件edu.tsinghua.lumaqq.IPSeeker.java,如果你有興趣,可以下載源代碼詳細看看。
/** * 給定一個ip國家地區(qū)記錄的偏移,返回一個IPLocation結構 * @param offset 國家記錄的起始偏移 * @return IPLocation對象 */ private IPLocation getIPLocation(long offset) { try { // 跳過4字節(jié)ip ipFile.seek(offset + 4); // 讀取第一個字節(jié)判斷是否標志字節(jié) byte b = ipFile.readByte(); if(b == REDIRECT_MODE_1) { // 讀取國家偏移 long countryOffset = readLong3(); // 跳轉至偏移處 ipFile.seek(countryOffset); // 再檢查一次標志字節(jié),因為這個時候這個地方仍然可能是個重定向 b = ipFile.readByte(); if(b == REDIRECT_MODE_2) { loc.country = readString(readLong3()); ipFile.seek(countryOffset + 4); } else loc.country = readString(countryOffset); // 讀取地區(qū)標志 loc.area = readArea(ipFile.getFilePointer()); } else if(b == REDIRECT_MODE_2) { loc.country = readString(readLong3()); loc.area = readArea(offset + 8); } else { loc.country = readString(ipFile.getFilePointer() - 1); loc.area = readArea(ipFile.getFilePointer()); } return loc; } catch (IOException e) { return null; } } /** * 從offset偏移開始解析后面的字節(jié),讀出一個地區(qū)名 * @param offset 地區(qū)記錄的起始偏移 * @return 地區(qū)名字符串 * @throws IOException 地區(qū)名字符串 */ private String readArea(long offset) throws IOException { ipFile.seek(offset); byte b = ipFile.readByte(); if(b == REDIRECT_MODE_1 || b == REDIRECT_MODE_2) { long areaOffset = readLong3(offset + 1); if(areaOffset == 0) return LumaQQ.getString("unknown.area"); else return readString(areaOffset); } else return readString(offset); } /** * 從offset位置讀取3個字節(jié)為一個long,因為java為big-endian格式,所以沒辦法 * 用了這么一個函數(shù)來做轉換 * @param offset 整數(shù)的起始偏移 * @return 讀取的long值,返回-1表示讀取文件失敗 */ private long readLong3(long offset) { long ret = 0; try { ipFile.seek(offset); ipFile.readFully(b3); ret |= (b3[0] & 0xFF); ret |= ((b3[1] << 8) & 0xFF00); ret |= ((b3[2] << 16) & 0xFF0000); return ret; } catch (IOException e) { return -1; } } /** * 從當前位置讀取3個字節(jié)轉換成long * @return 讀取的long值,返回-1表示讀取文件失敗 */ private long readLong3() { long ret = 0; try { ipFile.readFully(b3); ret |= (b3[0] & 0xFF); ret |= ((b3[1] << 8) & 0xFF00); ret |= ((b3[2] << 16) & 0xFF0000); return ret; } catch (IOException e) { return -1; } } /** * 從offset偏移處讀取一個以0結束的字符串 * @param offset 字符串起始偏移 * @return 讀取的字符串,出錯返回空字符串 */ private String readString(long offset) { try { ipFile.seek(offset); int i; for(i = 0, buf[i] = ipFile.readByte(); buf[i] != 0; buf[++i] = ipFile.readByte()); if(i != 0) return Utils.getString(buf, 0, i, "GBK"); } catch (IOException e) { log.error(e.getMessage()); } return ""; }
代碼并不復雜,getIPLocation是主要方法,它檢查國家記錄格式,并針對字符串形式,模式1,模式2采用不同的代碼,readArea則相對簡單,因為只有字符串和重定向兩種情況需要處理。
總結
純真IP數(shù)據(jù)庫的結構使得查找IP簡單迅速,不過你想要編輯它卻是比較麻煩的,我想應該需要專門的工具來生成QQWry.dat文件,由于其文件格式的限制,你要直接添加IP記錄就不容易了。不過,能查到IP已經(jīng)很開心了,希望純真記錄越來越多~。