本文介紹了JAVA中實(shí)現(xiàn)原生的 socket 通信機(jī)制原理,分享給大家,具體如下:
當(dāng)前環(huán)境
jdk == 1.8
知識(shí)點(diǎn)
- socket 的連接處理
- IO 輸入、輸出流的處理
- 請(qǐng)求數(shù)據(jù)格式處理
- 請(qǐng)求模型優(yōu)化
場(chǎng)景
今天,和大家聊一下 JAVA 中的 socket 通信問題。這里采用最簡單的一請(qǐng)求一響應(yīng)模型為例,假設(shè)我們現(xiàn)在需要向 baidu 站點(diǎn)進(jìn)行通信。我們用 JAVA 原生的 socket 該如何實(shí)現(xiàn)。
建立 socket 連接
首先,我們需要建立 socket 連接(核心代碼)
1
2
3
4
5
6
7
8
9
10
|
import java.net.InetSocketAddress; import java.net.Socket; import java.net.SocketAddress; // 初始化 socket Socket socket = new Socket(); // 初始化遠(yuǎn)程連接地址 SocketAddress remote = new InetSocketAddress(host, port); // 建立連接 socket.connect(remote); |
處理 socket 輸入輸出流
成功建立 socket 連接后,我們就能獲得它的輸入輸出流,通信的本質(zhì)是對(duì)輸入輸出流的處理。通過輸入流,讀取網(wǎng)絡(luò)連接上傳來的數(shù)據(jù),通過輸出流,將本地的數(shù)據(jù)傳出給遠(yuǎn)端。
socket 連接實(shí)際與處理文件流有點(diǎn)類似,都是在進(jìn)行 IO 操作。
獲取輸入、輸出流代碼如下:
1
2
3
4
|
// 輸入流 InputStream in = socket.getInputStream(); // 輸出流 OutputStream out = socket.getOutputStream(); |
關(guān)于 IO 流的處理,我們一般會(huì)用相應(yīng)的包裝類來處理 IO 流,如果直接處理的話,我們需要對(duì) byte[] 進(jìn)行操作,而這是相對(duì)比較繁瑣的。如果采用包裝類,我們可以直接以string、int等類型進(jìn)行處理,簡化了 IO 字節(jié)操作。
下面以 BufferedReader
與 PrintWriter
作為輸入輸出的包裝類進(jìn)行處理。
1
2
3
4
5
6
7
8
9
10
11
|
// 獲取 socket 輸入流 private BufferedReader getReader(Socket socket) throws IOException { InputStream in = socket.getInputStream(); return new BufferedReader( new InputStreamReader(in)); } // 獲取 socket 輸出流 private PrintWriter getWriter(Socket socket) throws IOException { OutputStream out = socket.getOutputStream(); return new PrintWriter( new OutputStreamWriter(out)); } |
數(shù)據(jù)請(qǐng)求與響應(yīng)
有了 socket 連接、IO 輸入輸出流,下面就該向發(fā)送請(qǐng)求數(shù)據(jù),以及獲取請(qǐng)求的響應(yīng)結(jié)果。
因?yàn)橛辛?IO 包裝類的支持,我們可以直接以字符串的格式進(jìn)行傳輸,由包裝類幫我們將數(shù)據(jù)裝換成相應(yīng)的字節(jié)流。
因?yàn)槲覀兣c baidu 站點(diǎn)進(jìn)行的是 HTTP 訪問,所有我們不需要額外定義輸出格式。采用標(biāo)準(zhǔn)的 HTTP 傳輸格式,就能進(jìn)行請(qǐng)求響應(yīng)了(某些特定的 RPC 框架,可能會(huì)有自定義的通信格式)。
請(qǐng)求的數(shù)據(jù)內(nèi)容處理如下:
1
2
3
4
5
6
7
8
9
10
11
|
public class HttpUtil { public static String compositeRequest(String host){ return "GET / HTTP/1.1\r\n" + "Host: " + host + "\r\n" + "User-Agent: curl/7.43.0\r\n" + "Accept: */*\r\n\r\n" ; } } |
發(fā)送請(qǐng)求數(shù)據(jù)代碼如下:
1
2
3
4
5
6
7
8
9
10
11
12
|
// 發(fā)起請(qǐng)求 PrintWriter writer = getWriter(socket); writer.write(HttpUtil.compositeRequest(host)); writer.flush(); 接收響應(yīng)數(shù)據(jù)代碼如下: // 讀取響應(yīng) String msg; BufferedReader reader = getReader(socket); while ((msg = reader.readLine()) != null ){ System.out.println(msg); } |
至此,講完了原生 socket 下的創(chuàng)建連接、發(fā)送請(qǐng)求與接收響應(yīng)的所有核心代碼。
完整代碼如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
|
import java.io.*; import java.net.InetSocketAddress; import java.net.Socket; import java.net.SocketAddress; import com.test.network.util.HttpUtil; public class SocketHttpClient { public void start(String host, int port) { // 初始化 socket Socket socket = new Socket(); try { // 設(shè)置 socket 連接 SocketAddress remote = new InetSocketAddress(host, port); socket.setSoTimeout( 5000 ); socket.connect(remote); // 發(fā)起請(qǐng)求 PrintWriter writer = getWriter(socket); System.out.println(HttpUtil.compositeRequest(host)); writer.write(HttpUtil.compositeRequest(host)); writer.flush(); // 讀取響應(yīng) String msg; BufferedReader reader = getReader(socket); while ((msg = reader.readLine()) != null ){ System.out.println(msg); } } catch (IOException e) { e.printStackTrace(); } finally { try { socket.close(); } catch (IOException e) { e.printStackTrace(); } } } private BufferedReader getReader(Socket socket) throws IOException { InputStream in = socket.getInputStream(); return new BufferedReader( new InputStreamReader(in)); } private PrintWriter getWriter(Socket socket) throws IOException { OutputStream out = socket.getOutputStream(); return new PrintWriter( new OutputStreamWriter(out)); } } |
下面,我們通過實(shí)例化一個(gè)客戶端,來展示 socket 通信的結(jié)果。
1
2
3
4
5
6
7
8
|
public class Application { public static void main(String[] args) { new SocketHttpClient().start( "www.baidu.com" , 80 ); } } |
結(jié)果輸出:
請(qǐng)求模型優(yōu)化
這種方式,雖然實(shí)現(xiàn)功能沒什么問題。但是我們細(xì)看,發(fā)現(xiàn)在 IO 寫入與讀取過程,是發(fā)生了 IO 阻塞的情況。即:
1
2
3
|
// 會(huì)發(fā)生 IO 阻塞 writer.write(HttpUtil.compositeRequest(host)); reader.readLine(); |
所以如果要同時(shí)請(qǐng)求10個(gè)不同的站點(diǎn),如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
|
public class SingleThreadApplication { public static void main(String[] args) { // HttpConstant.HOSTS 為 站點(diǎn)集合 for (String host: HttpConstant.HOSTS) { new SocketHttpClient().start(host, HttpConstant.PORT); } } } |
它一定是第一個(gè)請(qǐng)求響應(yīng)結(jié)束后,才會(huì)發(fā)起下一個(gè)站點(diǎn)處理。
這在服務(wù)端更明顯,雖然這里的代碼是客戶端連接,但是具體的操作和服務(wù)端是差不多的。請(qǐng)求只能一個(gè)個(gè)串行處理,這在響應(yīng)時(shí)間上肯定不能達(dá)標(biāo)。
- 多線程處理
有人覺得這根本不是問題,JAVA 是多線程的編程語言。對(duì)于這種情況,采用多線程的模型再合適不過。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
public class MultiThreadApplication { public static void main(String[] args) { for ( final String host: HttpConstant.HOSTS) { Thread t = new Thread( new Runnable() { public void run() { new SocketHttpClient().start(host, HttpConstant.PORT); } }); t.start(); } } } |
這種方式起初看起來挺有用的,但并發(fā)量一大,應(yīng)用會(huì)起很多的線程。都知道,在服務(wù)器上,每一個(gè)線程實(shí)際都會(huì)占據(jù)一個(gè)文件句柄。而服務(wù)器上的句柄數(shù)是有限的,而且大量的線程,造成的線程間切換的消耗也會(huì)相當(dāng)?shù)拇蟆K赃@種方式在并發(fā)量大的場(chǎng)景下,一定是承載不住的。
- 多線程 + 線程池 處理
既然線程太多不行,那我們控制一下線程創(chuàng)建的數(shù)目不就行了。只啟動(dòng)固定的線程數(shù)來進(jìn)行 socket 處理,既利用了多線程的處理,又控制了系統(tǒng)的資源消耗。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
public class ThreadPoolApplication { public static void main(String[] args) { ExecutorService executorService = Executors.newFixedThreadPool( 8 ); for ( final String host: HttpConstant.HOSTS) { Thread t = new Thread( new Runnable() { public void run() { new SocketHttpClient().start(host, HttpConstant.PORT); } }); executorService.submit(t); new SocketHttpClient().start(host, HttpConstant.PORT); } } } |
關(guān)于啟動(dòng)的線程數(shù),一般 CPU 密集型會(huì)設(shè)置在 N+1(N為CPU核數(shù)),IO 密集型設(shè)置在 2N + 1。
這種方式,看起來是最優(yōu)的了。那有沒有更好的呢,如果一個(gè)線程能同時(shí)處理多個(gè) socket 連接,并且在每個(gè) socket 輸入輸出數(shù)據(jù)沒有準(zhǔn)備好的情況下,不進(jìn)行阻塞,那是不是更優(yōu)呢。這種技術(shù)叫做“IO多路復(fù)用”。在 JAVA 的 nio 包中,提供了相應(yīng)的實(shí)現(xiàn)。
后續(xù)
- JAVA 中是如何實(shí)現(xiàn) IO多路復(fù)用
- Netty 下的實(shí)現(xiàn)異步請(qǐng)求的
github地址:https://github.com/jasonGeng88/blog/tree/master/201708
以上就是本文的全部內(nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持服務(wù)器之家。
原文鏈接:https://segmentfault.com/a/1190000010740643