簡單爬蟲可以劃分為get、post格式。其中，get是單方面的獲取資源，而post存在交互，如翻譯中需要文字輸入。本文主要描述簡單的get爬蟲。

環境準備

安裝第三方庫

pip install requests
pip install bs4
pip install lxml

進行爬蟲

1.獲取網頁數據。

import requests
from bs4 import BeautifulSoup
url = "https://cn.bing.com/search?q=爬蟲CSDN&qs=n&form=QBRE&sp=-1&pq=爬蟲csdn&sc=5-6&sk=&cvid=0B13B88D8F444A0182A4A6C36E463179/"
response = requests.get(self.url)

2.解析網頁數據

soup = BeautifulSoup(response.text, 'lxml')

3.選取目標數據。此處key 依據源代碼目標標題的位置確定。首先進入開發者模式，后查看目標在html中的位置，右擊選擇“復制selector”，見下圖。

key = "#b_results > li > div.b_title > h2 > a"
soup.select(key)

4.清洗數據

result = {}
for i, item in enumerate(data):
   result.update({
       f'title_{i}': item.get_text(),
       f'url_{i}': item.get('href')
   })
print(result)

參考

http://www.jfrwli.cn/article/159801.html

總結

本篇文章就到這里了，希望能夠給你帶來幫助，也希望您能夠多多關注服務器之家的更多內容！

原文鏈接：https://blog.csdn.net/sinat_33465240/article/details/120191249