1.背景
在平時的維護中,經常會遇到要統計某個前綴的key有多少,在請求比較多的redis中,keys * 會直接導致阻塞。
可以采用scan的方式進行增量迭代,查詢使用pipeline減少交互,提高效率。
2.scan命令的優缺點
SCAN命令的有SCAN,SSCAN,HSCAN,ZSCAN。
SCAN的話就是遍歷所有的keys
其他的SCAN命令的話是SCAN選中的集合。
SCAN命令是增量的循環,每次調用只會返回一小部分的元素。所以不會有KEYS命令的坑。
SCAN命令返回的是一個游標,從0開始遍歷,到0結束遍歷。
1
2
3
4
|
scan 0 1) "655" 2) 1) "test1" 2) "test2" |
返回值一個array,一個是下次循環的cursorId,一個是元素數組。SCAN命令不能保證每次返回的值都是有序的,另外同一個key有可能返回多次,不做區分,需要應用程序去處理。
另外SCAN命令可以指定COUNT,默認是10。但是這個并不是指定多少,就能返回多少,這只是一個提示,并不能保證一定返回這么多條。
優點:
- 提供鍵空間的遍歷操作,支持游標,復雜度O(1), 整體遍歷一遍只需要O(N);
- 提供結果模式匹配;
- 支持一次返回的數據條數設置,但僅僅是個hints,有時候返回的會多;
- 弱狀態,所有狀態只需要客戶端需要維護一個游標;
缺點:
- 無法提供完整的快照遍歷,也就是中間如果有數據修改,可能有些涉及改動的數據遍歷不到;
- 每次返回的數據條數不一定,極度依賴內部實現;
- 返回的數據可能有重復,應用層必須能夠處理重入邏輯;
3. python腳本的實現
python中有一個封裝的函數scan_iter--查看所有元素--迭代器
腳本內容:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
|
#!/usr/bin/env python # -*- coding: UTF-8 -*- #作用:統計某個前綴key的個數,并將其輸入到文件 #使用方法:python scan_redis.py apus* 100 __author__ = "lcl" import sys import redis import os pool = redis.ConnectionPool(host = '192.168.225.128' ,port = 6379 ,db = 0 ) r = redis.StrictRedis(connection_pool = pool) #掃描匹配值,通過sys.argv傳參 match = sys.argv[ 1 ] #每次匹配數量 count = sys.argv[ 2 ] #print match #print count #總數量 total = 0 #掃描到的key輸出到文件 path = os.getcwd() #掃描到的key輸出的文件 txt = path + "/keys.txt" f = open (txt, "w" ) for key in r.scan_iter(match = match,count = count): # f.write("%s %s" % (key,"\n")) f.write(key + "\n" ) total = total + 1 f.close print "匹配: %s 的數量為:%d " % (match,total) |
總結
以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,如果有疑問大家可以留言交流,謝謝大家對服務器之家的支持。