分布式鎖的場景
秒殺場景案例
對于商品秒殺的場景,我們需要防止庫存超賣或者重復扣款等并發(fā)問題,我們通常需要使用分布式鎖,來解決共享資源競爭導致數(shù)據(jù)不一致的問題。
以手機秒殺的場景為例子,在搶購的過程中通常我們有三個步驟:
扣掉對應商品的庫存;2. 創(chuàng)建商品的訂單;3. 用戶支付。
對于這樣的場景我們就可以采用分布式鎖的來解決,比如我們在用戶進入秒殺 “下單“ 鏈接的過程中,我們可以對商品庫存進行加鎖,然后完成扣庫存和其他操作,操作完成后。釋放鎖,讓下一個用戶繼續(xù)進入保證庫存的安全性;也可以減少因為秒殺失敗,導致 DB 回滾的次數(shù)。整個流程如下圖所示:
注:對于鎖的粒度要根據(jù)具體的場景和需求來權衡。
三種分布式鎖
對于 Zookeeper 的分布式鎖實現(xiàn),主要是利用 Zookeeper 的兩個特征來實現(xiàn):
- Zookeeper 的一個節(jié)點不能被重復創(chuàng)建
- Zookeeper 的 Watcher 監(jiān)聽機制
非公平鎖
對于非公平鎖,我們在加鎖的過程如下圖所示。
優(yōu)點和缺點
其實上面的實現(xiàn)有優(yōu)點也有缺點:
優(yōu)點:
實現(xiàn)比較簡單,有通知機制,能提供較快的響應,有點類似 ReentrantLock 的思想,對于節(jié)點刪除失敗的場景由 Session 超時保證節(jié)點能夠刪除掉。
缺點:
重量級,同時在大量鎖的情況下會有 “驚群” 的問題。
“驚群” 就是在一個節(jié)點刪除的時候,大量對這個節(jié)點的刪除動作有訂閱 Watcher 的線程會進行回調(diào),這對Zk集群是十分不利的。所以需要避免這種現(xiàn)象的發(fā)生。
解決“驚群”:
為了解決“驚群“問題,我們需要放棄訂閱一個節(jié)點的策略,那么怎么做呢?
- 我們將鎖抽象成目錄,多個線程在此目錄下創(chuàng)建瞬時的順序節(jié)點,因為 Zookeeper 會為我們保證節(jié)點的順序性,所以可以利用節(jié)點的順序進行鎖的判斷。
- 首先創(chuàng)建順序節(jié)點,然后獲取當前目錄下最小的節(jié)點,判斷最小節(jié)點是不是當前節(jié)點,如果是那么獲取鎖成功,如果不是那么獲取鎖失敗。
- 獲取鎖失敗的節(jié)點獲取當前節(jié)點上一個順序節(jié)點,對此節(jié)點注冊監(jiān)聽,當節(jié)點刪除的時候通知當前節(jié)點。
- 當unlock的時候刪除節(jié)點之后會通知下一個節(jié)點。
公平鎖
基于非公平鎖的缺點,我們可以通過一下的方案來規(guī)避。
優(yōu)點和缺點
優(yōu)點: 如上借助于臨時順序節(jié)點,可以避免同時多個節(jié)點的并發(fā)競爭鎖,緩解了服務端壓力。
缺點: 對于讀寫場景來說,無法解決一致性的問題,如果讀的時候也去獲取鎖的話,這樣會導致性能下降,對于這樣的問題,我們可以通過讀寫鎖來實現(xiàn)如類似 jdk 中的 ReadWriteLock
讀寫鎖實現(xiàn)
對于讀寫鎖的特點:讀寫鎖在如果多個線程都是在讀的時候,是可以并發(fā)讀的,就是一個無鎖的狀態(tài),如果有寫鎖正在操作的時候,那么讀鎖需要等待寫鎖。在加寫鎖的時候,由于前面的讀鎖都是并發(fā),所以需要監(jiān)聽最后一個讀鎖完成后執(zhí)行寫鎖。步驟如下:
- read 請求, 如果前面是讀鎖,可以直接讀取,不需要監(jiān)聽。如果前面是一個或者多個寫鎖那么只需要監(jiān)聽最后一個寫鎖。
- write 請求,只需要對前面的節(jié)點監(jiān)聽。Watcher 機制和互斥鎖一樣。
分布式鎖實戰(zhàn)
本文源碼中使用環(huán)境:JDK 1.8 、Zookeeper 3.6.x
Curator 組件實現(xiàn)
POM 依賴
- <dependency>
- <groupId>org.apache.curator</groupId>
- <artifactId>curator-framework</artifactId>
- <version>2.13.0</version>
- </dependency>
- <dependency>
- <groupId>org.apache.curator</groupId>
- <artifactId>curator-recipes</artifactId>
- <version>2.13.0</version>
- </dependency>
互斥鎖運用
由于 Zookeeper 非公平鎖的 “驚群” 效應,非公平鎖在 Zookeeper 中其實并不是最好的選擇。下面是一個模擬秒殺的例子來使用 Zookeeper 分布式鎖。
- public class MutexTest {
- static ExecutorService executor = Executors.newFixedThreadPool(8);
- static AtomicInteger stock = new AtomicInteger(3);
- public static void main(String[] args) throws InterruptedException {
- CuratorFramework client = getZkClient();
- String key = "/lock/lockId_111/111";
- final InterProcessMutex mutex = new InterProcessMutex(client, key);
- for (int i = 0; i < 99; i++) {
- executor.submit(() -> {
- if (stock.get() < 0) {
- System.err.println("庫存不足, 直接返回");
- return;
- }
- try {
- boolean acquire = mutex.acquire(200, TimeUnit.MILLISECONDS);
- if (acquire) {
- int s = stock.decrementAndGet();
- if (s < 0) {
- System.err.println("進入秒殺,庫存不足");
- } else {
- System.out.println("購買成功, 剩余庫存: " + s);
- }
- }
- } catch (Exception e) {
- e.printStackTrace();
- } finally {
- try {
- if (mutex.isAcquiredInThisProcess())
- mutex.release();
- } catch (Exception e) {
- e.printStackTrace();
- }
- }
- });
- }
- while (true) {
- if (executor.isTerminated()) {
- executor.shutdown();
- System.out.println("秒殺完畢剩余庫存為:" + stock.get());
- }
- TimeUnit.MILLISECONDS.sleep(100);
- }
- }
- private static CuratorFramework getZkClient() {
- String zkServerAddress = "127.0.0.1:2181";
- ExponentialBackoffRetry retryPolicy = new ExponentialBackoffRetry(1000, 3, 5000);
- CuratorFramework zkClient = CuratorFrameworkFactory.builder()
- .connectString(zkServerAddress)
- .sessionTimeoutMs(5000)
- .connectionTimeoutMs(5000)
- .retryPolicy(retryPolicy)
- .build();
- zkClient.start();
- return zkClient;
- }
- }
讀寫鎖運用
讀寫鎖可以用來保證緩存雙寫的強一致性的,因為讀寫鎖在多線程讀的時候是無鎖的, 只有在前面有寫鎖的時候才會等待寫鎖完成后訪問數(shù)據(jù)。
- public class ReadWriteLockTest {
- static ExecutorService executor = Executors.newFixedThreadPool(8);
- static AtomicInteger stock = new AtomicInteger(3);
- static InterProcessMutex readLock;
- static InterProcessMutex writeLock;
- public static void main(String[] args) throws InterruptedException {
- CuratorFramework client = getZkClient();
- String key = "/lock/lockId_111/1111";
- InterProcessReadWriteLock readWriteLock = new InterProcessReadWriteLock(client, key);
- readLock = readWriteLock.readLock();
- writeLock = readWriteLock.writeLock();
- for (int i = 0; i < 16; i++) {
- executor.submit(() -> {
- try {
- boolean read = readLock.acquire(2000, TimeUnit.MILLISECONDS);
- if (read) {
- int num = stock.get();
- System.out.println("讀取庫存,當前庫存為: " + num);
- if (num < 0) {
- System.err.println("庫存不足, 直接返回");
- return;
- }
- }
- } catch (Exception e) {
- e.printStackTrace();
- }finally {
- if (readLock.isAcquiredInThisProcess()) {
- try {
- readLock.release();
- } catch (Exception e) {
- e.printStackTrace();
- }
- }
- }
- try {
- boolean acquire = writeLock.acquire(2000, TimeUnit.MILLISECONDS);
- if (acquire) {
- int s = stock.get();
- if (s <= 0) {
- System.err.println("進入秒殺,庫存不足");
- } else {
- s = stock.decrementAndGet();
- System.out.println("購買成功, 剩余庫存: " + s);
- }
- }
- } catch (Exception e) {
- e.printStackTrace();
- } finally {
- try {
- if (writeLock.isAcquiredInThisProcess())
- writeLock.release();
- } catch (Exception e) {
- e.printStackTrace();
- }
- }
- });
- }
- while (true) {
- if (executor.isTerminated()) {
- executor.shutdown();
- System.out.println("秒殺完畢剩余庫存為:" + stock.get());
- }
- TimeUnit.MILLISECONDS.sleep(100);
- }
- }
- private static CuratorFramework getZkClient() {
- String zkServerAddress = "127.0.0.1:2181";
- ExponentialBackoffRetry retryPolicy = new ExponentialBackoffRetry(1000, 3, 5000);
- CuratorFramework zkClient = CuratorFrameworkFactory.builder()
- .connectString(zkServerAddress)
- .sessionTimeoutMs(5000)
- .connectionTimeoutMs(5000)
- .retryPolicy(retryPolicy)
- .build();
- zkClient.start();
- return zkClient;
- }
- }
打印結果如下,一開始會有 8 個輸出結果為 讀取庫存,當前庫存為: 3 然后在寫鎖中回去順序的扣減少庫存。
- 讀取庫存,當前庫存為: 3
- 讀取庫存,當前庫存為: 3
- 讀取庫存,當前庫存為: 3
- 讀取庫存,當前庫存為: 3
- 讀取庫存,當前庫存為: 3
- 讀取庫存,當前庫存為: 3
- 讀取庫存,當前庫存為: 3
- 讀取庫存,當前庫存為: 3
- 購買成功, 剩余庫存: 2
- 購買成功, 剩余庫存: 1
- 購買成功, 剩余庫存: 0
- 進入秒殺,庫存不足
- 進入秒殺,庫存不足
- 進入秒殺,庫存不足
- 進入秒殺,庫存不足
- 進入秒殺,庫存不足
- 讀取庫存,當前庫存為: 0
- 讀取庫存,當前庫存為: 0
- 讀取庫存,當前庫存為: 0
- 讀取庫存,當前庫存為: 0
- 讀取庫存,當前庫存為: 0
- 讀取庫存,當前庫存為: 0
- 讀取庫存,當前庫存為: 0
- 讀取庫存,當前庫存為: 0
- 進入秒殺,庫存不足
- 進入秒殺,庫存不足
- 進入秒殺,庫存不足
- 進入秒殺,庫存不足
- 進入秒殺,庫存不足
- 進入秒殺,庫存不足
- 進入秒殺,庫存不足
- 進入秒殺,庫存不足
分布式鎖的選擇
咱們最常用的就是 Redis 的分布式鎖和 Zookeeper 的分布式鎖,在性能方面 Redis 的每秒鐘 TPS 可以上輕松上萬。在大規(guī)模的高并發(fā)場景我推薦使用 Redis 分布式鎖來作為推薦的技術方案。如果對并發(fā)要求不是特別高的場景可以使用 Zookeeper 分布式來處理。
參考資料
https://www.cnblogs.com/leeego-123/p/12162220.html
http://curator.apache.org/
https://blog.csdn.net/hosaos/article/details/89521537
原文地址:https://mp.weixin.qq.com/s/k1HR_2rUWUe-ARN7KzhlYg