1、GIL簡介
GIL的全稱為Global Interpreter Lock,全局解釋器鎖。
1.1 GIL設(shè)計(jì)理念與限制
python的代碼執(zhí)行由python虛擬機(jī)(也叫解釋器主循環(huán),CPython版本)來控制,python在設(shè)計(jì)之初就考慮到在解釋器的主循環(huán)中,同時(shí)只有一個(gè)線程在運(yùn)行。即在任意時(shí)刻只有一個(gè)線程在解釋器中運(yùn)行。對python虛擬機(jī)訪問的控制由全局解釋鎖GIL控制,正是這個(gè)鎖來控制同一時(shí)刻只有一個(gè)線程能夠運(yùn)行。
在調(diào)用外部代碼(如C、C++擴(kuò)展函數(shù))的時(shí)候,GIL將會被鎖定,直到這個(gè)函數(shù)結(jié)束為止(由于期間沒有python的字節(jié)碼運(yùn)行,所以不會做線程切換)。
在python中使用都是操作系統(tǒng)級別的線程,linux中使用的pthread,window使用的是其原生線程。
從上面的概述中可以直觀的看出py在同一時(shí)刻只能跑一個(gè)線程,這樣在跑多線程的情況下,只有當(dāng)線程獲取到全局解釋器鎖后才能運(yùn)行,而全局解釋器鎖只有一個(gè),因此即使在多核的情況下也只能發(fā)揮出單核的功能。
那么這樣看起來py不給力啊,GIL直接導(dǎo)致CPython不能利用物理多核的性能加速運(yùn)行。那么為什么會有這樣的設(shè)計(jì)?考慮到Guido van Rossum 在創(chuàng)造python的時(shí)候,上世紀(jì)90年代,多核cpu完全屬于不可想象的,現(xiàn)在由于硬件發(fā)展速度太快,程序編寫就要考慮用盡cpu的全部性能,否則就要被淘汰,那么對于python同樣也要如此。
上面主要說的是這種設(shè)計(jì)的劣勢,下面再討論它的優(yōu)勢。
GIL的設(shè)計(jì)簡化了CPython的實(shí)現(xiàn),使得對象模型,包括關(guān)鍵的內(nèi)建類型如字典,都隱式可以并發(fā)訪問。鎖住全局解釋器使得其比較容易的實(shí)現(xiàn)對多線程的支持,但也折損了多處理器主機(jī)的并行計(jì)算能力。
但是不論標(biāo)準(zhǔn)的,還是第三方的擴(kuò)展模塊,都被設(shè)計(jì)成在進(jìn)行密集計(jì)算任務(wù)時(shí)釋放GIL。另外還有在做IO操作時(shí),GIL總是被釋放。對所有面對內(nèi)建的操作系統(tǒng)C代碼的程序來說,GIL會在這個(gè)IO調(diào)用之前被釋放,以允許其它的線程在等待這個(gè)IO的時(shí)候運(yùn)行。如果是純計(jì)算的程序,沒有IO操作,解釋器會每隔100次或每隔一定時(shí)間15ms去釋放GIL。
這里可以理解為IO密集型的python比計(jì)算密集型的程序更能利用多線程環(huán)境帶來的便利。
1.2 GIL對線程執(zhí)行的影響
多線程環(huán)境中,python虛擬機(jī)按照以下方式執(zhí)行:
- 設(shè)置GIL
- 切換到一個(gè)線程去執(zhí)行
-
運(yùn)行代碼,這里有兩種機(jī)制:
- 指定數(shù)量的字節(jié)碼指令(100個(gè))
- 固定時(shí)間15ms線程主動讓出控制
- 把線程設(shè)置為睡眠狀態(tài)
- 解鎖GIL
- 再次重復(fù)以上步驟
上節(jié)說到python語言和程序一樣要考慮用盡cpu的性能,下面在討論py的應(yīng)對方法。
python的應(yīng)對方法很簡單,在新的python3中依然有GIL,原因大概有下幾點(diǎn):
- CPython的GIL本意是用來保護(hù)所有全局的解釋器和環(huán)境狀態(tài)變量的,如果去掉GIL,就需要更多的更細(xì)粒度的鎖對解釋器的眾多全局狀態(tài)進(jìn)行保護(hù)。或者采用Lock-Free算法。無論采用哪一種,要做到多線程安全都會比維系一個(gè)GIL要難得多。另外改動的還是CPython的代碼樹及其各種第三方擴(kuò)展也在依賴GIL。
- 進(jìn)一步說,有人做過測試將GIL去掉,加入更細(xì)粒度的鎖。但是實(shí)踐檢測對單線程來說,性能更低。只有利用的物理cpu到一定數(shù)目后,性能才會比GIL版本好。且現(xiàn)在絕大部分的python程序都是單線程的。
然后最重要的還在于以下幾個(gè)方面,簡單來說就是py不改,一樣能實(shí)現(xiàn)我們的需求。
- 自2.6引出的多進(jìn)程標(biāo)準(zhǔn)庫mutilprocessing,讓多進(jìn)程的python編寫簡化到類似多線程的程度,大大減輕GIL帶來的諸多不利。
- 利用ctypes繞過GIL:ctypes可以使py直接調(diào)用任意的C動態(tài)庫的導(dǎo)出函數(shù)。所要做的只是用ctypes寫python代碼即可。而且,ctypes會在調(diào)用C函數(shù)前釋放GIL。
python中GIL使得同一個(gè)時(shí)刻只有一個(gè)線程在一個(gè)cpu上執(zhí)行,無法將多個(gè)線程映射到多個(gè)cpu上執(zhí)行,但GIL并不會一直占有,它會在適當(dāng)?shù)臅r(shí)候釋放
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
import threading count = 0 def add(): global count for i in range ( 10 * * 6 ): count + = 1 def minus(): global count for i in range ( 10 * * 6 ): count - = 1 thread1 = threading.Thread(target = add) thread2 = threading.Thread(target = minus) thread1.start() thread2.start() thread1.join() thread2.join() print (count) |
分別運(yùn)行三次的結(jié)果:
-59452
60868
-77007
可以看到count并不是一個(gè)固定值,說明GIL會在某個(gè)時(shí)刻釋放,那么GIL具體在什么情況下釋放呢:
1.執(zhí)行的字節(jié)碼行數(shù)到達(dá)一定閾值
2.通過時(shí)間片劃分,到達(dá)一定時(shí)間閾值
3.在遇到IO操作時(shí),主動釋放
以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,如果有疑問大家可以留言交流,謝謝大家對服務(wù)器之家的支持。
原文鏈接:https://www.cnblogs.com/FG123/p/9703952.html