国产片侵犯亲女视频播放_亚洲精品二区_在线免费国产视频_欧美精品一区二区三区在线_少妇久久久_在线观看av不卡

腳本之家,腳本語言編程技術及教程分享平臺!
分類導航

Python|VBS|Ruby|Lua|perl|VBA|Golang|PowerShell|Erlang|autoit|Dos|bat|

香港云服务器
服務器之家 - 腳本之家 - Python - 玩轉python爬蟲之URLError異常處理

玩轉python爬蟲之URLError異常處理

2020-08-12 09:49崔慶才 Python

這篇文章主要介紹了python爬蟲的URLError異常處理,詳細探尋一下URL\HTTP異常處理的相關內容,通過一些具體的實例來分析一下,非常的簡單,但是卻很實用,感興趣的小伙伴們可以參考一下

本節在這里主要說的是URLError還有HTTPError,以及對它們的一些處理。

1.URLError

首先解釋下URLError可能產生的原因:

  • 網絡無連接,即本機無法上網
  • 連接不到特定的服務器
  • 服務器不存在

在代碼中,我們需要用try-except語句來包圍并捕獲相應的異常。下面是一個例子,先感受下它的風騷

?
1
2
3
4
5
6
7
import urllib2
 
requset = urllib2.Request('http://www.xxxxx.com')
try:
  urllib2.urlopen(requset)
except urllib2.URLError, e:
  print e.reason

我們利用了 urlopen方法訪問了一個不存在的網址,運行結果如下:

?
1
[Errno 11004] getaddrinfo failed

它說明了錯誤代號是11004,錯誤原因是 getaddrinfo failed

2.HTTPError

HTTPError是URLError的子類,在你利用urlopen方法發出一個請求時,服務器上都會對應一個應答對象response,其中它包含一個數字”狀態碼”。舉個例子,假如response是一個”重定向”,需定位到別的地址獲取文檔,urllib2將對此進行處理。

其他不能處理的,urlopen會產生一個HTTPError,對應相應的狀態嗎,HTTP狀態碼表示HTTP協議所返回的響應的狀態。下面將狀態碼歸結如下:

  • 100:繼續  客戶端應當繼續發送請求??蛻舳藨斃^續發送請求的剩余部分,或者如果請求已經完成,忽略這個響應。
  • 101: 轉換協議  在發送完這個響應最后的空行后,服務器將會切換到在Upgrade 消息頭中定義的那些協議。只有在切換新的協議更有好處的時候才應該采取類似措施。
  • 102:繼續處理   由WebDAV(RFC 2518)擴展的狀態碼,代表處理將被繼續執行。
  • 200:請求成功      處理方式:獲得響應的內容,進行處理
  • 201:請求完成,結果是創建了新資源。新創建資源的URI可在響應的實體中得到    處理方式:爬蟲中不會遇到
  • 202:請求被接受,但處理尚未完成    處理方式:阻塞等待
  • 204:服務器端已經實現了請求,但是沒有返回新的信 息。如果客戶是用戶代理,則無須為此更新自身的文檔視圖。    處理方式:丟棄
  • 300:該狀態碼不被HTTP/1.0的應用程序直接使用, 只是作為3XX類型回應的默認解釋。存在多個可用的被請求資源。    處理方式:若程序中能夠處理,則進行進一步處理,如果程序中不能處理,則丟棄
  • 301:請求到的資源都會分配一個永久的URL,這樣就可以在將來通過該URL來訪問此資源    處理方式:重定向到分配的URL
  • 302:請求到的資源在一個不同的URL處臨時保存     處理方式:重定向到臨時的URL
  • 304:請求的資源未更新     處理方式:丟棄
  • 400:非法請求     處理方式:丟棄
  • 401:未授權     處理方式:丟棄
  • 403:禁止     處理方式:丟棄
  • 404:沒有找到     處理方式:丟棄
  • 500:服務器內部錯誤  服務器遇到了一個未曾預料的狀況,導致了它無法完成對請求的處理。一般來說,這個問題都會在服務器端的源代碼出現錯誤時出現。
  • 501:服務器無法識別  服務器不支持當前請求所需要的某個功能。當服務器無法識別請求的方法,并且無法支持其對任何資源的請求。
  • 502:錯誤網關  作為網關或者代理工作的服務器嘗試執行請求時,從上游服務器接收到無效的響應。
  • 503:服務出錯   由于臨時的服務器維護或者過載,服務器當前無法處理請求。這個狀況是臨時的,并且將在一段時間以后恢復。
  •  

HTTPError實例產生后會有一個code屬性,這就是是服務器發送的相關錯誤號。
因為urllib2可以為你處理重定向,也就是3開頭的代號可以被處理,并且100-299范圍的號碼指示成功,所以你只能看到400-599的錯誤號碼。

下面我們寫一個例子來感受一下,捕獲的異常是HTTPError,它會帶有一個code屬性,就是錯誤代號,另外我們又打印了reason屬性,這是它的父類URLError的屬性。

?
1
2
3
4
5
6
7
8
import urllib2
 
req = urllib2.Request('http://blog.csdn.net/cqcre')
try:
  urllib2.urlopen(req)
except urllib2.HTTPError, e:
  print e.code
  print e.reason

運行結果如下

?
1
2
403
Forbidden

錯誤代號是403,錯誤原因是Forbidden,說明服務器禁止訪問。

我們知道,HTTPError的父類是URLError,根據編程經驗,父類的異常應當寫到子類異常的后面,如果子類捕獲不到,那么可以捕獲父類的異常,所以上述的代碼可以這么改寫

?
1
2
3
4
5
6
7
8
9
10
11
import urllib2
 
req = urllib2.Request('http://blog.csdn.net/cqcre')
try:
  urllib2.urlopen(req)
except urllib2.HTTPError, e:
  print e.code
except urllib2.URLError, e:
  print e.reason
else:
  print "OK"

如果捕獲到了HTTPError,則輸出code,不會再處理URLError異常。如果發生的不是HTTPError,則會去捕獲URLError異常,輸出錯誤原因。

另外還可以加入 hasattr屬性提前對屬性進行判斷,代碼改寫如下

?
1
2
3
4
5
6
7
8
9
10
11
12
import urllib2
 
req = urllib2.Request('http://blog.csdn.net/cqcre')
try:
  urllib2.urlopen(req)
except urllib2.URLError, e:
  if hasattr(e,"code"):
    print e.code
  if hasattr(e,"reason"):
    print e.reason
else:
  print "OK"

首先對異常的屬性進行判斷,以免出現屬性輸出報錯的現象。

以上,就是對URLError和HTTPError的相關介紹,以及相應的錯誤處理辦法

延伸 · 閱讀

精彩推薦
586
Weibo Article 1 Weibo Article 2 Weibo Article 3 Weibo Article 4 Weibo Article 5 Weibo Article 6 Weibo Article 7 Weibo Article 8 Weibo Article 9 Weibo Article 10 Weibo Article 11 Weibo Article 12 Weibo Article 13 Weibo Article 14 Weibo Article 15 Weibo Article 16 Weibo Article 17 Weibo Article 18 Weibo Article 19 Weibo Article 20 Weibo Article 21 Weibo Article 22 Weibo Article 23 Weibo Article 24 Weibo Article 25 Weibo Article 26 Weibo Article 27 Weibo Article 28 Weibo Article 29 Weibo Article 30 Weibo Article 31 Weibo Article 32 Weibo Article 33 Weibo Article 34 Weibo Article 35 Weibo Article 36 Weibo Article 37 Weibo Article 38 Weibo Article 39 Weibo Article 40
主站蜘蛛池模板: 自拍偷拍五月天 | 久久国产欧美日韩精品 | 中文字幕国产 | 欧美一区二区大片 | 人人干人人看 | 色欧美片视频在线观看 | 一级毛片观看 | 精品视频一区二区三区 | 成人av网站免费观看 | 成人免费在线视频 | 免费看国产一级片 | 影音先锋亚洲资源 | 亚洲 成人 av | 亚洲国产高清在线 | 国产精品成人在线观看 | 日韩精品在线视频 | 福利片在线免费观看 | 中文字幕av亚洲精品一部二部 | 99亚洲精品| 日韩一区二区视频 | 全毛片| 免费观看一级特黄欧美大片 | 国产精品久久久久久久午夜片 | 欧美专区在线 | 视频一区二区三区在线观看 | 精品无人乱码一区二区三区的优势 | 中文字幕久热 | 亚洲精品专区 | 91在线视频观看 | 九九综合九九 | 亚洲视频在线观看 | 精品欧美一区二区三区久久久 | 国产一区二区三区免费看 | 毛片网| 黄在线 | 一区二区三区高清 | 亚洲一视频 | 视频一区二区中文字幕 | 国产精品99久久 | 日韩在线免费观看视频 | 黄色av免费看 |