1.登陸網站，開啟開發者模式。
可以在瀏覽器中點擊右鍵檢查或者F12打開開發者模式。
2.點選 NetWork，DOC，然后刷新頁面。
在 network 中選擇 doc，在請求的 headers 中搜索 cookie。
3.獲取對應的 cookie 以及 user-agent。
4.在代碼中添加到 headers 里面。
|
1
2
3
4
5
6
7
8
9
10
11
12
|
def getHTMLText(url): kv = { 'cookie': 'adsgadfafegadsgadsfaefasdfaewfadsfag' 'uaer-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36' } try: r = requests.get(url, headers=kv, timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "gg" |
實例擴展：
程序的結構設計
- 提交商品搜索請求，循環獲取頁面
- 對于每個頁面，提取商品名稱和價格信息
- 將信息輸出
遇到問題
爬取成功，數據有問題
打印 html 文件，返回如下
|
1
2
3
4
5
6
7
8
9
10
|
<script type="text/javascript"> TRLang = { ERROR_NICK_BLANK: "請填寫賬戶名", ERROR_PASSWORD_BLANK: "請輸入密碼", ERROR_NICK_PASSWORD_BLANK: "請輸入賬戶名和密碼", ERROR_CHECKCODE_BLANK: "請輸入驗證碼", TIPS_REMEMBER_PASSWORD: "記住密碼", TIPS_NOT_REMEMBER_PSW_ON_PUBLIC: "不要在公共計算機記住密碼，防止賬戶被盜" };</script> |
到此這篇關于Python爬蟲爬取商品失敗處理方法的文章就介紹到這了,更多相關Python爬蟲爬取商品失敗內容請搜索服務器之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持服務器之家！
原文鏈接：https://www.py.cn/jishu/spider/32181.html
