最近學習了python和爬蟲，想寫一個程序練練手，所以我就想到了大家都比較關心的自己的博客訪問量，使用python來獲取自己博客的訪問量，這也是后邊我將要進行的項目的一部分，后邊我會對博客的訪問量進行分析，以折線圖和餅圖等可視化的方式展示自己博客被訪問的情況，使自己能更加清楚自己的哪些博客更受關注，博客專家請勿噴，因為我不是專家，我聽他們說專家本身就有這個功能。

一、網址分析

進入自己的博客頁面，網址為：http://blog.csdn.net/xingjiarong 網址還是非常清晰的就是csdn的網址+個人csdn登錄賬號，我們來看一下下一頁的網址。

看到第二頁的地址為：http://blog.csdn.net/xingjiarong/article/list/2
后邊的數字表示現在正處于第幾頁，再用其他的頁面驗證一下，確實是這樣的，那么第一頁為什么不是http://blog.csdn.net/xingjiarong/article/list/1呢，那么我們在瀏覽器中輸入http://blog.csdn.net/xingjiarong/article/list/1試試，哎，果然是第一頁啊，其實第一頁是被重定向了，http://blog.csdn.net/xingjiarong被重定向到http://blog.csdn.net/xingjiarong/article/list/1，所以兩個網址都能訪問第一頁，那么現在規律就非常明顯了：
http://blog.csdn.net/xingjiarong/article/list/ + 頁號

二、如何獲取標題

右鍵查看網頁的源代碼，我們看到可以找到這樣一段代碼：

我們可以看到標題都是在標簽

所以我們可以使用下面的正則表達式來匹配標題：

三、如何獲取訪問量

拿到了標題之后，就要獲得對應的訪問量了，經過對源碼的分析，我看到訪問量的結構都是這樣的：

括號中的數字即為訪問量，我們可以用下面的正則表達式來匹配：

四、如何判斷是否為尾頁

接下來我們要判斷當前頁是否為最后一頁，否則我們就不能判斷什么時候結束了，我找到了源碼中‘尾頁'的標簽，發現是下面的結構：

所以我們可以用下面的正則表達式來匹配，如果匹配成功就說明當前頁不是最后一頁，否則當前頁就是最后一頁。

五、編程實現

下面是完整的代碼實現：

1. #!usr/bin/python 
2. # -*- coding: utf-8 -*- 
3. ''' 
4. Created on 2016年2月13日 
5. @author: xingjiarong 
6. 使用python爬取csdn個人博客的訪問量，主要用來練手 
7. ''' 
8. import urllib2 
9. import re 
10. #當前的博客列表頁號 
11. page_num = 1 
12. #不是最后列表的一頁 
13. notLast = 1 
14. account = str(raw_input('輸入csdn的登錄賬號:')) 
15. while notLast: 
16. #首頁地址 
17. baseUrl = 'http://blog.csdn.net/'+account 
18. #連接頁號，組成爬取的頁面網址 
19. myUrl = baseUrl+'/article/list/'+str(page_num) 
20. #偽裝成瀏覽器訪問，直接訪問的話csdn會拒絕 
21. user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' 
22. headers = {'User-Agent':user_agent} 
23. #構造請求 
24. req = urllib2.Request(myUrl,headers=headers) 
25. #訪問頁面 
26. myResponse = urllib2.urlopen(req) 
27. myPage = myResponse.read() 
28. #在頁面中查找是否存在‘尾頁'這一個標簽來判斷是否為最后一頁 
29. notLast = re.findall('<a href=".*?">尾頁</a>',myPage,re.S) 
30. print '-----------------------------第%d頁---------------------------------' % (page_num,) 
31. #利用正則表達式來獲取博客的標題 
32. title = re.findall('<span class="link_title"><a href=".*?">(.*?)</a></span>',myPage,re.S) 
33. titleList=[] 
34. for items in title: 
35. titleList.append(str(items).lstrip().rstrip()) 
36. #利用正則表達式獲取博客的訪問量 
37. view = re.findall('<span class="link_view".*?><a href=".*?" title="閱讀次數">閱讀</a>((.*?))</span>',myPage,re.S) 
38. viewList=[] 
39. for items in view: 
40. viewList.append(str(items).lstrip().rstrip()) 
41. #將結果輸出 
42. for n in range(len(titleList)): 
43. print '訪問量:%s 標題:%s' % (viewList[n].zfill(4),titleList[n]) 
44. #頁號加1 
45. page_num = page_num + 1 

下面是部分結果：

總結：

使用python編寫爬蟲，我個人總結了以下的步驟：

1、分析要抓取的網址特征，以確定如何生成相關網頁的網址，如果只爬取一個網頁，則這一步可以省略。

2、查看網頁的源碼，分析自己想要爬取的內容所在的標簽的特征。

3、使用正則表達式從源碼中將自己想要的部分摳出來。

4、編程實現。

以上內容是針對如何使用python爬取csdn博客訪問量的相關知識，希望對大家有所幫助。