Python通過yield提供了對協程的基本支持,但是不完全。而第三方的gevent為Python提供了比較完善的協程支持。
gevent是第三方庫,通過greenlet實現協程,其基本思想是:
當一個greenlet遇到IO操作時,比如訪問網絡,就自動切換到其他的greenlet,等到IO操作完成,再在適當的時候切換回來繼續執行。由于IO操作非常耗時,經常使程序處于等待狀態,有了gevent為我們自動切換協程,就保證總有greenlet在運行,而不是等待IO。
由于切換是在IO操作時自動完成,所以gevent需要修改Python自帶的一些標準庫,這一過程在啟動時通過monkey patch完成:
1
2
3
4
5
6
7
8
9
10
11
12
13
|
from gevent import monkey; monkey.patch_socket() import gevent def f(n): for i in range (n): print gevent.getcurrent(), i g1 = gevent.spawn(f, 5 ) g2 = gevent.spawn(f, 5 ) g3 = gevent.spawn(f, 5 ) g1.join() g2.join() g3.join() |
運行結果:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
<Greenlet at 0x10e49f550 : f( 5 )> 0 <Greenlet at 0x10e49f550 : f( 5 )> 1 <Greenlet at 0x10e49f550 : f( 5 )> 2 <Greenlet at 0x10e49f550 : f( 5 )> 3 <Greenlet at 0x10e49f550 : f( 5 )> 4 <Greenlet at 0x10e49f910 : f( 5 )> 0 <Greenlet at 0x10e49f910 : f( 5 )> 1 <Greenlet at 0x10e49f910 : f( 5 )> 2 <Greenlet at 0x10e49f910 : f( 5 )> 3 <Greenlet at 0x10e49f910 : f( 5 )> 4 <Greenlet at 0x10e49f4b0 : f( 5 )> 0 <Greenlet at 0x10e49f4b0 : f( 5 )> 1 <Greenlet at 0x10e49f4b0 : f( 5 )> 2 <Greenlet at 0x10e49f4b0 : f( 5 )> 3 <Greenlet at 0x10e49f4b0 : f( 5 )> 4 |
可以看到,3個greenlet是依次運行而不是交替運行。
要讓greenlet交替運行,可以通過gevent.sleep()交出控制權:
1
2
3
4
|
def f(n): for i in range (n): print gevent.getcurrent(), i gevent.sleep( 0 ) |
執行結果:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
<Greenlet at 0x10cd58550 : f( 5 )> 0 <Greenlet at 0x10cd58910 : f( 5 )> 0 <Greenlet at 0x10cd584b0 : f( 5 )> 0 <Greenlet at 0x10cd58550 : f( 5 )> 1 <Greenlet at 0x10cd584b0 : f( 5 )> 1 <Greenlet at 0x10cd58910 : f( 5 )> 1 <Greenlet at 0x10cd58550 : f( 5 )> 2 <Greenlet at 0x10cd58910 : f( 5 )> 2 <Greenlet at 0x10cd584b0 : f( 5 )> 2 <Greenlet at 0x10cd58550 : f( 5 )> 3 <Greenlet at 0x10cd584b0 : f( 5 )> 3 <Greenlet at 0x10cd58910 : f( 5 )> 3 <Greenlet at 0x10cd58550 : f( 5 )> 4 <Greenlet at 0x10cd58910 : f( 5 )> 4 <Greenlet at 0x10cd584b0 : f( 5 )> 4 |
3個greenlet交替運行,
把循環次數改為500000,讓它們的運行時間長一點,然后在操作系統的進程管理器中看,線程數只有1個。
當然,實際代碼里,我們不會用gevent.sleep()去切換協程,而是在執行到IO操作時,gevent自動切換,代碼如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
from gevent import monkey; monkey.patch_all() import gevent import urllib2 def f(url): print ( 'GET: %s' % url) resp = urllib2.urlopen(url) data = resp.read() print ( '%d bytes received from %s.' % ( len (data), url)) gevent.joinall([ gevent.spawn(f, 'https://www.python.org/' ), gevent.spawn(f, 'https://www.yahoo.com/' ), gevent.spawn(f, 'https://github.com/' ), ]) |
運行結果:
1
2
3
4
5
6
|
GET: https: / / www.python.org / GET: https: / / www.yahoo.com / GET: https: / / github.com / 45661 bytes received from https: / / www.python.org / . 14823 bytes received from https: / / github.com / . 304034 bytes received from https: / / www.yahoo.com / . |
從結果看,3個網絡操作是并發執行的,而且結束順序不同,但只有一個線程。
小結
使用gevent,可以獲得極高的并發性能,但gevent只能在Unix/Linux下運行,在Windows下不保證正常安裝和運行。
由于gevent是基于IO切換的協程,所以最神奇的是,我們編寫的Web App代碼,不需要引入gevent的包,也不需要改任何代碼,僅僅在部署的時候,用一個支持gevent的WSGI服務器,立刻就獲得了數倍的性能提升。具體部署方式可以參考后續“實戰”-“部署Web App”一節。