假設網站一天有很大的訪問量，數據庫服務器就需要為每次連接創建一次數據庫連接，極大的浪費數據庫的資源，并且極易造成數據庫服務器內存溢出、拓機。
數據庫連接是一種關鍵的有限的昂貴的資源,這一點在多用戶的網頁應用程序中體現的尤為突出.對數據庫連接的管理能顯著影響到整個應用程序的伸縮性和健壯性,影響到程序的性能指標.數據庫連接池正式針對這個問題提出來的.數據庫連接池負責分配,管理和釋放數據庫連接,它允許應用程序重復使用一個現有的數據庫連接,而不是重新建立一個。
數據庫連接池在初始化時將創建一定數量的數據庫連接放到連接池中, 這些數據庫連接的數量是由最小數據庫連接數來設定的.無論這些數據庫連接是否被使用,連接池都將一直保證至少擁有這么多的連接數量.連接池的最大數據庫連接數量限定了這個連接池能占有的最大連接數,當應用程序向連接池請求的連接數超過最大連接數量時,這些請求將被加入到等待隊列中.
數據庫連接池的最小連接數和最大連接數的設置要考慮到以下幾個因素:
1, 最小連接數:是連接池一直保持的數據庫連接,所以如果應用程序對數據庫連接的使用量不大,將會有大量的數據庫連接資源被浪費.
2, 最大連接數:是連接池能申請的最大連接數,如果數據庫連接請求超過次數,后面的數據庫連接請求將被加入到等待隊列中,這會影響以后的數據庫操作
3, 如果最小連接數與最大連接數相差很大:那么最先連接請求將會獲利,之后超過最小連接數量的連接請求等價于建立一個新的數據庫連接.不過,這些大于最小連接數的數據庫連接在使用完不會馬上被釋放,他將被 放到連接池中等待重復使用或是空間超時后被釋放.
二, 數據庫連接池的原理及實現
到了這里我們已經知道數據庫連接池是用來做什么的了, 下面我們就來說數據庫連接池是如何來實現的.
1, 建立一個數據庫連接池pool, 池中有若干個Connection 對象, 當用戶發來請求需要進行數據庫交互時則會使用池中第一個Connection對象.
2, 當本次連接結束時, 再將這個Connection對象歸還池中, 這樣就可以保證池中一直有足夠的Connection對象.
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
public class SimplePoolDemo { //創建一個連接池 private static LinkedList<Connection> pool = new LinkedList<Connection>(); //初始化10個連接 static{ try { for (int i = 0; i < 10; i++) { Connection conn = DBUtils.getConnection();//得到一個連接 pool.add(conn); } } catch (Exception e) { throw new ExceptionInInitializerError("數據庫連接失敗，請檢查配置"); } } //從池中獲取一個連接 public static Connection getConnectionFromPool(){ return pool.removeFirst();//移除一個連接對象 } //釋放資源 public static void release(Connection conn){ pool.addLast(conn); }} |
以上的Demo就是一個簡單的數據庫連接池的例子, 先在靜態代碼塊中初始化10個Connection對象, 當本次請求結束后再將Connection添加進池中.
這只是我們自己手動去實現的, 當然在實際生產中并不需要我們去手動去寫數據庫連接池. 下面就重點講DBCP和C3P0的實現方式.
三, DBCP連接池
首先我們來看DBCP 的例子, 然后根據例子來分析:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
|
#連接設置 driverClassName=com.mysql.jdbc.Driver url=jdbc:mysql://localhost:3306/bjpowernode username=root password=abc #<!-- 初始化連接 --> initialSize=10 #最大連接數量maxActive=50 #<!-- 最大空閑連接 -->maxIdle=20#<!-- 最小空閑連接 -->minIdle=5 #<!-- 超時等待時間以毫秒為單位 60000毫秒/1000等于60秒 -->maxWait=60000 #JDBC驅動建立連接時附帶的連接屬性屬性的格式必須為這樣：[屬性名=property;] #注意："user" 與 "password" 兩個屬性會被明確地傳遞，因此這里不需要包含他們。connectionProperties=useUnicode=true;characterEncoding=utf8 #指定由連接池所創建的連接的自動提交（auto-commit）狀態。defaultAutoCommit=true#driver default 指定由連接池所創建的連接的只讀（read-only）狀態。#如果沒有設置該值，則“setReadOnly”方法將不被調用。（某些驅動并不支持只讀模式，如：Informix）defaultReadOnly= #driver default 指定由連接池所創建的連接的事務級別（TransactionIsolation）。#可用值為下列之一：（詳情可見javadoc。）NONE,READ_UNCOMMITTED, READ_COMMITTED, REPEATABLE_READ, SERIALIZABLEdefaultTransactionIsolation=REPEATABLE_READ |
DBCP配置文件
DBCPUtils:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
|
public class DBCPUtils { private static DataSource ds;//定義一個連接池對象 static{ try { Properties pro = new Properties(); pro.load(DBCPUtils.class.getClassLoader().getResourceAsStream("dbcpconfig.properties")); ds = BasicDataSourceFactory.createDataSource(pro);//得到一個連接池對象 } catch (Exception e) { throw new ExceptionInInitializerError("初始化連接錯誤，請檢查配置文件！"); } } //從池中獲取一個連接 public static Connection getConnection() throws SQLException{ return ds.getConnection(); } public static void closeAll(ResultSet rs,Statement stmt,Connection conn){ if(rs!=null){ try { rs.close(); } catch (SQLException e) { e.printStackTrace(); } } if(stmt!=null){ try { stmt.close(); } catch (SQLException e) { e.printStackTrace(); } } if(conn!=null){ try { conn.close();//關閉 } catch (SQLException e) { e.printStackTrace(); } } }} |
在這個closeAll方法中, conn.close(); 這個地方會將connection還回到池子中嗎? DataSource 中是如何處理close()方法的呢?
上面的兩個問題就讓我們一起來看看源碼是如何來實現的吧．
這里我們從ds.getConnection();入手, 看看一個數據源DataSource是如何創建connection的.
用eclipse導入:commons-dbcp-1.4-src.zip和commons-pool-1.5.6-src.zip則可查看源碼:
BasicDataSource.class:(implements DataSource)
|
1
2
3
|
public Connection getConnection() throws SQLException { return createDataSource().getConnection();} |
接下來看createDataSoruce() 方法:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
|
protected synchronized DataSource createDataSource() throws SQLException { if (closed) { throw new SQLException("Data source is closed"); } // Return the pool if we have already created it if (dataSource != null) { return (dataSource); } // create factory which returns raw physical connections ConnectionFactory driverConnectionFactory = createConnectionFactory(); // create a pool for our connections createConnectionPool(); // Set up statement pool, if desired GenericKeyedObjectPoolFactory statementPoolFactory = null; if (isPoolPreparedStatements()) { statementPoolFactory = new GenericKeyedObjectPoolFactory(null, -1, // unlimited maxActive (per key) GenericKeyedObjectPool.WHEN_EXHAUSTED_FAIL, 0, // maxWait 1, // maxIdle (per key) maxOpenPreparedStatements); } // Set up the poolable connection factory createPoolableConnectionFactory(driverConnectionFactory, statementPoolFactory, abandonedConfig); // Create and return the pooling data source to manage the connections createDataSourceInstance(); try { for (int i = 0 ; i < initialSize ; i++) { connectionPool.addObject(); } } catch (Exception e) { throw new SQLNestedException("Error preloading the connection pool", e); } return dataSource;} |
從源代碼可以看出，createDataSource()方法通過7步，逐步構造出一個數據源，下面是詳細的步驟：
1、檢查數據源是否關閉或者是否創建完成，如果關閉了就拋異常，如果已經創建完成就直接返回。
2、調用createConnectionFactory()創建JDBC連接工廠driverConnectionFactory，這個工廠使用數據庫驅動來創建最底層的JDBC連接
3、調用createConnectionPool()創建數據源使用的連接池，連接池顧名思義就是緩存JDBC連接的地方。
4、如果需要就設置statement的緩存池，這個一般不需要設置
5、調用createPoolableConnectionFactory創建PoolableConnection的工廠，這個工廠使用上述driverConnectionFactory來創建底層JDBC連接，然后包裝出一個PoolableConnection，這個PoolableConnection與連接池設置了一對多的關系，也就是說，連接池中存在多個PoolableConnection，每個PoolableConnection都關聯同一個連接池，這樣的好處是便于該表PoolableConnection的close方法的行為，具體會在后面詳細分析。
6、調用createDataSourceInstance()創建內部數據源
7、為連接池中添加PoolableConnection
經過以上7步，一個數據源就形成了，這里明確一點，一個數據源本質就是連接池+連接+管理策略。下面，將對每一步做詳細的分析。
JDBC連接工廠driverConnectionFactory的創建過程
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
|
protected ConnectionFactory createConnectionFactory() throws SQLException { // Load the JDBC driver class Class driverFromCCL = null; if (driverClassName != null) { try { try { if (driverClassLoader == null) { Class.forName(driverClassName); } else { Class.forName(driverClassName, true, driverClassLoader); } } catch (ClassNotFoundException cnfe) { driverFromCCL = Thread.currentThread( ).getContextClassLoader().loadClass( driverClassName); } } catch (Throwable t) { String message = "Cannot load JDBC driver class '" + driverClassName + "'"; logWriter.println(message); t.printStackTrace(logWriter); throw new SQLNestedException(message, t); } } // Create a JDBC driver instance Driver driver = null; try { if (driverFromCCL == null) { driver = DriverManager.getDriver(url); } else { // Usage of DriverManager is not possible, as it does not // respect the ContextClassLoader driver = (Driver) driverFromCCL.newInstance(); if (!driver.acceptsURL(url)) { throw new SQLException("No suitable driver", "08001"); } } } catch (Throwable t) { String message = "Cannot create JDBC driver of class '" + (driverClassName != null ? driverClassName : "") + "' for connect URL '" + url + "'"; logWriter.println(message); t.printStackTrace(logWriter); throw new SQLNestedException(message, t); } // Can't test without a validationQuery if (validationQuery == null) { setTestOnBorrow(false); setTestOnReturn(false); setTestWhileIdle(false); } // Set up the driver connection factory we will use String user = username; if (user != null) { connectionProperties.put("user", user); } else { log("DBCP DataSource configured without a 'username'"); } String pwd = password; if (pwd != null) { connectionProperties.put("password", pwd); } else { log("DBCP DataSource configured without a 'password'"); } ConnectionFactory driverConnectionFactory = new DriverConnectionFactory(driver, url, connectionProperties); return driverConnectionFactory;} |
上面一連串代碼干了什么呢？其實就干了兩件事：
1、獲取數據庫驅動
2、使用驅動以及參數（url、username、password）構造一個工廠。
一旦這個工廠構建完畢了，就可以來生成連接，而這個連接的生成其實是驅動加上配置來完成的.
創建連接池的過程
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
protected void createConnectionPool() { // Create an object pool to contain our active connections GenericObjectPool gop; if ((abandonedConfig != null) && (abandonedConfig.getRemoveAbandoned())) { gop = new AbandonedObjectPool(null,abandonedConfig); } else { gop = new GenericObjectPool(); } gop.setMaxActive(maxActive); gop.setMaxIdle(maxIdle); gop.setMinIdle(minIdle); gop.setMaxWait(maxWait); gop.setTestOnBorrow(testOnBorrow); gop.setTestOnReturn(testOnReturn); gop.setTimeBetweenEvictionRunsMillis(timeBetweenEvictionRunsMillis); gop.setNumTestsPerEvictionRun(numTestsPerEvictionRun); gop.setMinEvictableIdleTimeMillis(minEvictableIdleTimeMillis); gop.setTestWhileIdle(testWhileIdle); connectionPool = gop; } |
在創建連接池的時候，用到了common-pool里的GenericObjectPool，對于JDBC連接的緩存以及管理其實是交給GenericObjectPool的，DBCP其實只是負責創建這樣一種pool然后使用它而已。
創建statement緩存池
一般來說，statement并不是重量級的對象，創建過程消耗的資源并不像JDBC連接那樣重，所以沒必要做緩存池化，這里為了簡便起見，對此不做分析。
創建PoolableConnectionFactory
這一步是一個承上啟下的過程，承上在于利用上面兩部創建的連接工廠和連接池，構建PoolableConnectionFactory，啟下則在于為后面的向連接池里添加連接做準備。
下面先上一張靜態的類關系圖：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
protected void createPoolableConnectionFactory(ConnectionFactory driverConnectionFactory, KeyedObjectPoolFactory statementPoolFactory, AbandonedConfig configuration) throws SQLException { PoolableConnectionFactory connectionFactory = null; try { connectionFactory = new PoolableConnectionFactory(driverConnectionFactory, connectionPool, statementPoolFactory, validationQuery, validationQueryTimeout, connectionInitSqls, defaultReadOnly, defaultAutoCommit, defaultTransactionIsolation, defaultCatalog, configuration); validateConnectionFactory(connectionFactory); } catch (RuntimeException e) { throw e; } catch (Exception e) { throw new SQLNestedException("Cannot create PoolableConnectionFactory (" + e.getMessage() + ")", e); }} |
可以看見，在創建PoolableConnectionFactory的時候，需要用到前面創建的driverConnectionFactory以及連接池connectionPool，那么那個構造函數到底干了先什么呢？
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
|
public PoolableConnectionFactory( ConnectionFactory connFactory, ObjectPool pool, KeyedObjectPoolFactory stmtPoolFactory, String validationQuery, int validationQueryTimeout, Collection connectionInitSqls, Boolean defaultReadOnly, boolean defaultAutoCommit, int defaultTransactionIsolation, String defaultCatalog, AbandonedConfig config) { _connFactory = connFactory; _pool = pool; _config = config; _pool.setFactory(this); _stmtPoolFactory = stmtPoolFactory; _validationQuery = validationQuery; _validationQueryTimeout = validationQueryTimeout; _connectionInitSqls = connectionInitSqls; _defaultReadOnly = defaultReadOnly; _defaultAutoCommit = defaultAutoCommit; _defaultTransactionIsolation = defaultTransactionIsolation; _defaultCatalog = defaultCatalog;} |
它在內部保存了真正的JDBC 連接的工廠以及連接池，然后，通過一句_pool.setFactory(this); 將它自己設置給了連接池。這行代碼十分重要，要理解這行代碼，首先需要明白common-pool中的GenericObjectPool添加內部元素的一般方法，沒錯，那就是必須要傳入一個工廠Factory。GenericObjectPool添加內部元素時會調用addObject()這個方法，內部其實是調用工廠的makeObejct()方法來創建元素，然后再加入到自己的池中。_pool.setFactory(this)這句代碼其實起到了啟下的作用，沒有它，后面的為連接池添加連接也就不可能完成。
當創建完工廠后，會有個validateConnectionFactory(connectionFactory);這個方法的作用僅僅是用來驗證數據庫連接可使用，看代碼：
|
1
2
3
4
5
6
7
8
9
10
11
12
|
protected static void validateConnectionFactory(PoolableConnectionFactory connectionFactory) throws Exception { Connection conn = null; try { conn = (Connection) connectionFactory.makeObject(); connectionFactory.activateObject(conn); connectionFactory.validateConnection(conn); connectionFactory.passivateObject(conn); } finally { connectionFactory.destroyObject(conn); }} |
先是用makeObject方法來創建一個連接，然后做相關驗證（就是用一些初始化sql來試著執行一下，看看能不能連接到數據庫），然后銷毀連接，這里并沒有向連接池添加連接，真正的添加連接在后面，不過，我們可以先通過下面一張時序圖來看看makeObject方法到底做了什么。
下面是一張整體流程的時序圖：
從圖中可以看出，makeObject方法的大致流程：從driverConnectionFactory那里拿到底層連接，初始化驗證，然后創建PoolableConnection，在創建這個PoolableConnection的時候，將PoolableConnection與連接池關聯了起來，真正做到了連接池和連接之間的一對多的關系，這也為改變PoolableConnection的close方法提供了方便。
下面是makeObject方法的源代碼：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
public Object makeObject() throws Exception { Connection conn = _connFactory.createConnection(); if (conn == null) { throw new IllegalStateException("Connection factory returned null from createConnection"); } initializeConnection(conn); //初始化，這個過程可有可無 if(null != _stmtPoolFactory) { KeyedObjectPool stmtpool = _stmtPoolFactory.createPool(); conn = new PoolingConnection(conn,stmtpool); stmtpool.setFactory((PoolingConnection)conn); } //這里是關鍵 return new PoolableConnection(conn,_pool,_config); } |
其中PoolableConnection的構造函數如下：
|
1
2
3
4
|
public PoolableConnection(Connection conn, ObjectPool pool, AbandonedConfig config) { super(conn, config); _pool = pool;} |
內部關聯了一個連接池，這個連接池的作用體現在PoolableConnection的close方法中：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
|
public synchronized void close() throws SQLException { if (_closed) { // already closed return; } boolean isUnderlyingConectionClosed; try { isUnderlyingConectionClosed = _conn.isClosed(); } catch (SQLException e) { try { _pool.invalidateObject(this); // XXX should be guarded to happen at most once } catch(IllegalStateException ise) { // pool is closed, so close the connection passivate(); getInnermostDelegate().close(); } catch (Exception ie) { // DO NOTHING the original exception will be rethrown } throw (SQLException) new SQLException("Cannot close connection (isClosed check failed)").initCause(e); } if (!isUnderlyingConectionClosed) { // Normal close: underlying connection is still open, so we // simply need to return this proxy to the pool try { _pool.returnObject(this); // XXX should be guarded to happen at most once } catch(IllegalStateException e) { // pool is closed, so close the connection passivate(); getInnermostDelegate().close(); } catch(SQLException e) { throw e; } catch(RuntimeException e) { throw e; } catch(Exception e) { throw (SQLException) new SQLException("Cannot close connection (return to pool failed)").initCause(e); } } else { // Abnormal close: underlying connection closed unexpectedly, so we // must destroy this proxy try { _pool.invalidateObject(this); // XXX should be guarded to happen at most once } catch(IllegalStateException e) { // pool is closed, so close the connection passivate(); getInnermostDelegate().close(); } catch (Exception ie) { // DO NOTHING, "Already closed" exception thrown below } throw new SQLException("Already closed."); }} |
一行_pool.returnObject(this)表明并非真的關閉了，而是返還給了連接池。
到這里， PoolableConnectionFactory創建好了，它使用driverConnectionFactory來創建底層連接，通過makeObject來創建PoolableConnection，這個PoolableConnection通過與connectionPool關聯來達到改變close方法的作用，當PoolableConnectionFactory創建好的時候，它自己已經作為一個工廠類被設置到了connectionPool，后面connectionPool會使用這個工廠來生產PoolableConnection，而生成的所有的PoolableConnection都與connectionPool關聯起來了，可以從connectionPool取出，也可以還給connectionPool。接下來，讓我們來看一看到底怎么去初始化connectionPool。
創建數據源并初始化連接池
|
1
2
3
4
5
6
7
8
9
|
createDataSourceInstance(); try { for (int i = 0 ; i < initialSize ; i++) { connectionPool.addObject(); } } catch (Exception e) { throw new SQLNestedException("Error preloading the connection pool", e); } |
我們先看 createDataSourceInstance();
|
1
2
3
4
5
6
|
protected void createDataSourceInstance() throws SQLException { PoolingDataSource pds = new PoolingDataSource(connectionPool); pds.setAccessToUnderlyingConnectionAllowed(isAccessToUnderlyingConnectionAllowed()); pds.setLogWriter(logWriter); dataSource = pds;} |
其實就是創建一個PoolingDataSource，作為底層真正的數據源，這個PoolingDataSource比較簡單，這里不做詳細介紹
接下來是一個for循環，通過調用connectionPool.addObject();來為連接池添加數據庫連接，下面是一張時序圖：
可以看出，在3.5中創建的PoolableConnectionFactory在這里起作用了，addObject依賴的正是makeObject，而makeObject在上面也介紹過了。
到此為止，數據源創建好了，連接池里也有了可以使用的連接，而且每個連接和連接池都做了關聯，改變了close的行為。這個時候BasicDataSource正是可以工作了，調用getConnection的時候，實際是調用底層數據源的getConnection，而底層數據源其實就是從連接池中獲取的連接。
四.總結
整個數據源最核心的其實就三個東西：
一個是連接池，在這里體現為common-pool中的GenericObjectPool，它負責緩存和管理連接，所有的配置策略都是由它管理。
第二個是連接，這里的連接就是PoolableConnection，當然它是對底層連接進行了封裝。
第三個則是連接池和連接的關系，在此表現為一對多的互相引用。對數據源的構建則是對連接池，連接以及連接池與連接的關系的構建，掌握了這些點，就基本能掌握數據源的構建。
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持服務器之家。
