前言
眾所周知，redis里面的大key存在是非常危險的一件事情。因為最近的工作轉移到中間件相關的工作，因此關注了一下bigkey的掃描方法。首先介紹一下阿里云提供的掃描腳本：
具體可見：https://yq.aliyun.com/articles/117042?t=t1
我對這個腳本進行了一個壓力測試，在redis的內存為15G，key的數量為2KW，ops為40K到80K之間，在這種情況下，阿里云的腳本完全不能跑成功(估計跑出來的時間以天為單位)，主要原因是每確認一個key的情況，就需要與redis交互多次。因此，我對它的腳本進行了改造，加入了pipeline和debug object方法，腳本如下：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
|
import sysimport redis def find_big_key_normal(db_host, db_port, db_password, db_num): client = redis.StrictRedis(host=db_host, port=db_port, password=db_password, db=db_num) i=0 temp = client.scan(cursor=i,count=1000) j =0 while temp[0]>0 : i=temp[0] j=j+len(temp[1]) try: r = client.pipeline(transaction=False) for k in temp[1]: r.debug_object(k) tempA = r.execute() x = 0 for key in tempA: length = key.get("serializedlength") ##type = key.get("encoding") if length > 10240 : type = client.type(temp[1][x]) print temp[1][x], type,length x=x+1 except : print "a execption come" temp = client.scan(cursor=i,count=1000) if __name__ == '__main__': if len(sys.argv) != 4: print 'Usage: python ', sys.argv[0], ' host port password ' exit(1) db_host = sys.argv[1] db_port = sys.argv[2] db_password = sys.argv[3] r = redis.StrictRedis(host=db_host, port=int(db_port), password=db_password) nodecount = 1 keyspace_info = r.info("keyspace") for db in keyspace_info: print 'check ', db, ' ', keyspace_info[db] find_big_key_normal(db_host, db_port, db_password, db.replace("db", "")) |
我對上面的腳本同樣進行了一個壓力測試，在redis的內存為15G，key的數量為2KW，ops為40K到80K之間，在這種情況下：
腳本10分鐘跑完，完全可用。
說明：阿里云的腳本是支持cluster的，我這個腳本是只支持單機的，大家有興趣的可以自己去更改。
總結
以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，如果有疑問大家可以留言交流，謝謝大家對服務器之家的支持。原文鏈接：https://www.cnblogs.com/mantu/p/9249683.html
