Java NIO(New Input/Output)——新的輸入/輸出API包——是2002年引入到J2SE 1.4里的。Java NIO的目標(biāo)是提高Java平臺上的I/O密集型任務(wù)的性能。過了十年,很多Java開發(fā)者還是不知道怎么充分利用NIO,更少的人知道在Java SE 7里引入了更新的輸入/輸出 API(NIO.2)。NIO和NIO.2對于Java平臺最大的貢獻(xiàn)是提高了Java應(yīng)用開發(fā)中的一個核心組件的性能:輸入/輸出處理。不過這兩個包都不是很好用,并且它們也不是適用于所有的場景。如果能夠正確地使用的話,Java NIO和NIO.2可以大大減少一些常用I/O操作所花的時間。這就是NIO和NIO.2所具有的超能力,我會在這篇文章里向你展示5種使用它們的簡單方式。
變更通知(因為每個事件都需要一個監(jiān)聽者)
選擇器和異步IO:通過選擇器來提高多路復(fù)用
通道——承諾與現(xiàn)實
內(nèi)存映射——好鋼用在刀刃上
字符編碼和搜索
NIO的背景
為什么一個已經(jīng)存在10年的增強(qiáng)包還是Java的新I/O包呢?原因是對于大多數(shù)的Java程序員而言,基本的I/O操作都能夠勝任。在日常工作中,大部分的Java開發(fā)者沒有必要去學(xué)習(xí)NIO。更進(jìn)一步,NIO不僅僅是一個性能提升包。相反,它是一個和Java I/O相關(guān)的不同功能的集合。NIO通過使得Java應(yīng)用的性能“更加接近實質(zhì)”來達(dá)到性能提升的效果,也就是意味著NIO和NIO.2的API暴露了低層次的系統(tǒng)操作的入口。NIO的代價就是它在提供更強(qiáng)大的I/O控制能力的同時,也要求我們比使用基本的I/O編程更加細(xì)心地使用和練習(xí)。NIO的另一特點是它對于應(yīng)用程序的表現(xiàn)力的關(guān)注,這個我們會在下面的練習(xí)中看到。
開始學(xué)習(xí)NIO和NIO.2
NIO的參考資料非常多——參考資料中選取的一些鏈接。要學(xué)習(xí)NIO和NIO.2的話,Java 2 SDK Standard Edition(SE) documentation 和 Java SE 7 documentation 都是不可或缺的。要使用這篇文章里的代碼,你需要使用JDK 7或者更高的版本。
對于很多開發(fā)者而言,它們第一次遇到NIO都可能是在維護(hù)應(yīng)用的時候:一個功能正常的應(yīng)用響應(yīng)越來越慢,因此有人建議使用NIO來提高響應(yīng)速度。NIO在提升應(yīng)用性能的時候顯得比較出眾,不過具體的結(jié)果取決于底層系統(tǒng).(注意NIO是平臺相關(guān)的)。如果你是第一次使用NIO的話,你需要仔細(xì)衡量。你會發(fā)現(xiàn)NIO提升性能的能力不僅僅取決于OS,同時也取決于你所使用的JVM,主機(jī)的虛擬上下文,大容量存儲的特性甚至和數(shù)據(jù)也是相關(guān)的。因此,性能衡量的工作是比較難做的。尤其是當(dāng)你的系統(tǒng)存在一個可移動的部署環(huán)境的時候,你需要特別注意。
了解了上面的內(nèi)容后,我們沒有后顧之憂了,現(xiàn)在就來體驗一下NIO和NIO.2的5個重要的功能。
1. 變更通知(因為每個事件都需要一個監(jiān)聽者)
對NIO和NIO.2有興趣的開發(fā)者的共同關(guān)注點在于Java應(yīng)用的性能。根據(jù)我的經(jīng)驗,NIO.2里的文件變更通知者(file change notifier)是新輸入/輸出API里最讓人感興趣(被低估了)的特性。
很多企業(yè)級應(yīng)用需要在下面的情況時做一些特殊的處理:
當(dāng)一個文件上傳到一個FTP文件夾里時
當(dāng)一個配置里的定義被修改時
當(dāng)一個草稿文檔被上傳時
其他的文件系統(tǒng)事件出現(xiàn)時
這些都是變更通知或者變更響應(yīng)的例子。在Java(以及其他語言)的早期版本里,輪詢(polling)是檢測這些變更事件的最好方式。輪詢是一種特殊的無限循環(huán):檢查文件系統(tǒng)或者其他對象,并且和之前的狀態(tài)對比,如果沒有變化,在大概幾百個毫秒或者10秒的間隔后,繼續(xù)檢查。就這一直無限循環(huán)下去。
NIO.2提供了一個更好地方式來進(jìn)行變更檢測。列表1是一個簡單的示例。
列表1. NIO.2里的變更通知機(jī)制
import java.nio.file.attribute.*;
importjava.io.*;
importjava.util.*;
importjava.nio.file.Path;
importjava.nio.file.Paths;
importjava.nio.file.StandardWatchEventKinds;
importjava.nio.file.WatchEvent;
importjava.nio.file.WatchKey;
importjava.nio.file.WatchService;
importjava.util.List;
publicclassWatcher{
publicstaticvoidmain(String[]args){
Paththis_dir=Paths.get(".");
System.out.println("Nowwatchingthecurrentdirectory...");
try{
WatchServicewatcher=this_dir.getFileSystem().newWatchService();
this_dir.register(watcher,StandardWatchEventKinds.ENTRY_CREATE);
WatchKeywatckKey=watcher.take();
List<WatchEvent<<64;>>events=watckKey.pollEvents();
for(WatchEventevent:events){
System.out.println("Someonejustcreatedthefile'"+event.context().toString()+"'.");
}
}catch(Exceptione){
System.out.println("Error:"+e.toString());
}
}
}
編譯這段代碼,然后在命令行里執(zhí)行。在相同的目錄下,創(chuàng)建一個新的文件,例如運行touchexample或者copyWatcher.classexample命令。你會看到下面的變更通知消息:
Someonejustcreatethefiel‘example1′.
這個簡單的示例展示了怎么開始使用JavaNIO的功能。同時,它也介紹了NIO.2的Watcher類,它相比較原始的I/O中的輪詢方案而言,顯得更加直接和易用。
注意拼寫錯誤
當(dāng)你從這篇文章里拷貝代碼時,注意拼寫錯誤。例如,列表1種的StandardWatchEventKinds對象是復(fù)數(shù)的形式。即使在Java.net的文檔里都把它給拼寫錯了。
小技巧
NIO里的通知機(jī)制比老的輪詢方式使用起來更加簡單,這樣會誘導(dǎo)你忽略對具體需求的詳細(xì)分析。當(dāng)你在你第一次使用一個監(jiān)聽器的時候,你需要仔細(xì)考慮你所使用的這些概念的語義。例如,知道一個變更什么時候會結(jié)束比知道它什么時候開始更加重要。這種分析需要非常仔細(xì),尤其是像移動FTP文件夾這種常見的場景。NIO是一個功能非常強(qiáng)大的包,但同時它還會有一些微妙的“陷阱”,這會給那些不熟悉它的人帶來困擾。
2.選擇器和異步IO:通過選擇器來提高多路復(fù)用
NIO新手一般都把它和“非阻塞輸入/輸出”聯(lián)系在一起。NIO不僅僅只是非阻塞I/O,不過這種認(rèn)知也不完全是錯的:Java的基本I/O是阻塞式I/O——意味著它會一直等待到操作完成——然而,非阻塞或者異步I/O是NIO里最常用的一個特點,而非NIO的全部。
NIO的非阻塞I/O是事件驅(qū)動的,并且在列表1里文件系統(tǒng)監(jiān)聽示例里進(jìn)行了展示。這就意味著給一個I/O通道定義一個選擇器(回調(diào)或者監(jiān)聽器),然后程序可以繼續(xù)運行。當(dāng)一個事件發(fā)生在這個選擇器上時——例如接收到一行輸入——選擇器會“醒來”并且執(zhí)行。所有的這些都是通過一個單線程來實現(xiàn)的,這和Java的標(biāo)準(zhǔn)I/O有著顯著的差別的。
列表2里展示了使用NIO的選擇器實現(xiàn)的一個多端口的網(wǎng)絡(luò)程序echo-er,這里是修改了GregTravis在2003年創(chuàng)建的一個小程序(參考資源列表)。Unix和類Unix系統(tǒng)很早就已經(jīng)實現(xiàn)高效的選擇器,它是Java網(wǎng)絡(luò)高性能編程模型的一個很好的參考模型。
列表2.NIO選擇器
importjava.io.*;
importjava.net.*;
importjava.nio.*;
importjava.nio.channels.*;
importjava.util.*;
publicclassMultiPortEcho
{
privateintports[];
privateByteBufferechoBuffer=ByteBuffer.allocate(1024);
publicMultiPortEcho(intports[])throwsIOException{
this.ports=ports;
configure_selector();
}
privatevoidconfigure_selector()throwsIOException{
//Createanewselector
Selectorselector=Selector.open();
//Openalisteneroneachport,andregistereachone
//withtheselector
for(inti=0;i<ports.length;++i){
ServerSocketChannelssc=ServerSocketChannel.open();
ssc.configureBlocking(false);
ServerSocketss=ssc.socket();
InetSocketAddressaddress=newInetSocketAddress(ports[i]);
ss.bind(address);
SelectionKeykey=ssc.register(selector,SelectionKey.OP_ACCEPT);
System.out.println("Goingtolistenon"+ports[i]);
}
while(true){
intnum=selector.select();
SetselectedKeys=selector.selectedKeys();
Iteratorit=selectedKeys.iterator();
while(it.hasNext()){
SelectionKeykey=(SelectionKey)it.next();
if((key.readyOps()&SelectionKey.OP_ACCEPT)
==SelectionKey.OP_ACCEPT){
//Acceptthenewconnection
ServerSocketChannelssc=(ServerSocketChannel)key.channel();
SocketChannelsc=ssc.accept();
sc.configureBlocking(false);
//Addthenewconnectiontotheselector
SelectionKeynewKey=sc.register(selector,SelectionKey.OP_READ);
it.remove();
System.out.println("Gotconnectionfrom"+sc);
}elseif((key.readyOps()&SelectionKey.OP_READ)
==SelectionKey.OP_READ){
//Readthedata
SocketChannelsc=(SocketChannel)key.channel();
//Echodata
intbytesEchoed=0;
while(true){
echoBuffer.clear();
intnumber_of_bytes=sc.read(echoBuffer);
if(number_of_bytes<=0){
break;
}
echoBuffer.flip();
sc.write(echoBuffer);
bytesEchoed+=number_of_bytes;
}
System.out.println("Echoed"+bytesEchoed+"from"+sc);
it.remove();
}
}
}
}
staticpublicvoidmain(Stringargs[])throwsException{
if(args.length<=0){
System.err.println("Usage:javaMultiPortEchoport[portport...]");
System.exit(1);
}
intports[]=newint[args.length];
for(inti=0;i<args.length;++i){
ports[i]=Integer.parseInt(args[i]);
}
newMultiPortEcho(ports);
}
}
編譯這段代碼,然后通過類似于javaMultiPortEcho80058006這樣的命令來啟動它。一旦這個程序運行成功,啟動一個簡單的telnet或者其他的終端模擬器來連接8005和8006接口。你會看到這個程序會回顯它接收到的所有字符——并且它是通過一個Java線程來實現(xiàn)的。
3.通道:承諾與現(xiàn)實
在NIO里,一個通道(channel)可以表示任何可以讀寫的對象。它的作用是為文件和套接口提供抽象。NIO通道支持一系列一致的方法,這樣就使得編碼的時候不需要去特別關(guān)心不同的對象,無論它是標(biāo)準(zhǔn)輸出,網(wǎng)絡(luò)連接還是正在使用的通道。通道的這個特性是繼承自Java基本I/O中的流(stream)。流(stream)提供了阻塞式的IO;通道支持異步I/O。
NIO經(jīng)常會因為它的性能高而被推薦,不過更準(zhǔn)確地是因為它的響應(yīng)快速。在有些場景下NIO會比基本的JavaI/O的性能要差。例如,對于一個小文件的簡單的順序讀寫,簡單通過流來實現(xiàn)的性能可能比對應(yīng)的面向事件的基于通道的編碼實現(xiàn)的快兩到三倍。同時,非多路復(fù)用(non-multiplex)的通道——也就是每個線程一個單獨的通道——要比多個通道把各自的選擇器注冊在同一個線程里要慢多了。
下面你在考慮是使用流還是通道的時候,試著問自己下面幾個問題:
你需要讀寫多少個I/O對象?
不同的I/O對象直接是否有有順序,還是他們都需要同時發(fā)生的?
你的I/O對象是需要持續(xù)一小段時間還是在你的進(jìn)程的整個聲明周期都存在?
你的I/O是適合在單個線程里處理還是在幾個不同的線程里?
網(wǎng)絡(luò)通信和本地I/O是看起來一樣,還是各自有著不同的模式?
這樣的分析是決定使用流還是通道的一個最佳實踐。記住:NIO和NIO.2不是基本I/O的替代,而它的一個補(bǔ)充。
4.內(nèi)存映射——好鋼用在刀刃上
NIO里對性能提升最顯著的是內(nèi)存映射(memorymapping)。內(nèi)存映射是一個系統(tǒng)層面的服務(wù),它把程序里用到的文件的一段當(dāng)作內(nèi)存來處理。
內(nèi)存映射存在很多潛在的影響,比我這里提供的要多。在一個更高的層次上,它能夠使得文件訪問的I/O的性能達(dá)到內(nèi)存訪問的速度。內(nèi)存訪問的速度往往比文件訪問的速度快幾個數(shù)量級。列表3是一個NIO內(nèi)存映射的一個簡單示例。
列表3.NIO里的內(nèi)存映射
importjava.io.RandomAccessFile;
importjava.nio.MappedByteBuffer;
importjava.nio.channels.FileChannel;
publicclassmem_map_example{
privatestaticintmem_map_size=20*1024*1024;
privatestaticStringfn="example_memory_mapped_file.txt";
publicstaticvoidmain(String[]args)throwsException{
RandomAccessFilememoryMappedFile=newRandomAccessFile(fn,"rw");
//Mappingafileintomemory
MappedByteBufferout=memoryMappedFile.getChannel().map(FileChannel.MapMode.READ_WRITE,0,mem_map_size);
//WritingintoMemoryMappedFile
for(inti=0;i<mem_map_size;i++){
out.put((byte)'A');
}
System.out.println("File'"+fn+"'isnow"+Integer.toString(mem_map_size)+"bytesfull.");
//Readfrommemory-mappedfile.
for(inti=0;i<30;i++){
System.out.print((char)out.get(i));
}
System.out.println("\nReadingfrommemory-mappedfile'"+fn+"'iscomplete.");
}
}
在列表3中,這個簡單的示例創(chuàng)建了一個20M的文件example_memory_mapped_file.txt,并且用字符A對它進(jìn)行填充,然后讀取前30個字節(jié)。在實際的應(yīng)用中,內(nèi)存映射不僅僅擅長提高I/O的原始速度,同時它也允許多個不同的reader和writer同時處理同一個文件鏡像。這個技術(shù)功能強(qiáng)大但是也很危險,不過如果正確使用的話,它會使得你的IO速度提高數(shù)倍。眾所周知,華爾街的交易操作為了能夠贏得秒級甚至是毫秒級的優(yōu)勢,都使用了內(nèi)存映射技術(shù)。
5.字符編碼和搜索
我在這篇文章里要講解的NIO的最后一個特性是charset,一個用來轉(zhuǎn)換不同字符編碼的包。在NIO之前,Java通過getByte方法內(nèi)置實現(xiàn)了大部分相同的功能。charset很受歡迎,因為它比getBytes更加靈活,并且能夠在更底層去實現(xiàn),這樣就能夠獲得更好的性能。這個對于搜索那些對于編碼、順序以及其他語言特點比較敏感的非英語語言而言更加有價值。
列表4展示了一個把Java里的Unicode字符轉(zhuǎn)換成Latin-1的示例
列表4.NIO里的字符
Stringsome_string="ThisisastringthatJavanativelystoresasUnicode.";
Charsetlatin1_charset=Charset.forName("ISO-8859-1");
CharsetEncodelatin1_encoder=charset.newEncoder();
ByteBufferlatin1_bbuf=latin1_encoder.encode(CharBuffer.wrap(some_string));
注意Charset和通道被設(shè)計成能夠放在一起進(jìn)行使用,這樣就能夠使得程序在內(nèi)存映射、異步I/O以及編碼轉(zhuǎn)換進(jìn)行協(xié)作的時候,能夠正常運行。
總結(jié):當(dāng)然還有更多需要去了解
這篇文章的目的是為了讓Java開發(fā)者能夠熟悉NIO和NIO.2里的一些最主要(也是最有用)的功能。你可以通過這些示例建立起來的一些基礎(chǔ)來理解NIO的一些其他方法;例如,你所學(xué)習(xí)的關(guān)于通道的知識能夠幫助你去理解NIO的Path里對于文件系統(tǒng)里的符號鏈接的處理。你也可以參考一下我后面給出的資源列表,里面給出了一些深入學(xué)習(xí)Java新I/OAPI的文檔。