国产片侵犯亲女视频播放_亚洲精品二区_在线免费国产视频_欧美精品一区二区三区在线_少妇久久久_在线观看av不卡

腳本之家,腳本語言編程技術及教程分享平臺!
分類導航

Python|VBS|Ruby|Lua|perl|VBA|Golang|PowerShell|Erlang|autoit|Dos|bat|

服務器之家 - 腳本之家 - Python - Python實現抓取頁面上鏈接的簡單爬蟲分享

Python實現抓取頁面上鏈接的簡單爬蟲分享

2020-05-20 09:22腳本之家 Python

這篇文章主要介紹了Python實現抓取頁面上鏈接的簡單爬蟲分享,本文使用了一個開源模塊requests實現需求,需要的朋友可以參考下

除了C/C++以外,我也接觸過不少流行的語言,PHP、java、javascript、python,其中python可以說是操作起來最方便,缺點最少的語言了。

前幾天想寫爬蟲,后來跟朋友商量了一下,決定過幾天再一起寫。爬蟲里重要的一部分是抓取頁面中的鏈接,我在這里簡單的實現一下。

首先我們需要用到一個開源的模塊,requests。這不是python自帶的模塊,需要從網上下載、解壓與安裝:

 

復制代碼 代碼如下:

$ curl -OL https://github.com/kennethreitz/requests/zipball/master
$ python setup.py install

 

windows用戶直接點擊下載。解壓后再本地使用命令python setup.py install安裝即可。 https://github.com/kennethreitz/requests/zipball/master

這個模塊的文檔我也正在慢慢翻譯,翻譯完了就給大家傳上來(英文版先發在附件里)。就像它的說明里面說的那樣,built for human beings,為人類而設計。使用它很方便,自己看文檔。最簡單的,requests.get()就是發送一個get請求。

代碼如下:

 

復制代碼 代碼如下:


# coding:utf-8
import re
import requests

 

# 獲取網頁內容
r = requests.get('http://www.163.com')
data = r.text

# 利用正則查找所有連接
link_list =re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')" ,data)
for url in link_list:
    print url

 

 

首先import進re和requests模塊,re模塊是使用正則表達式的模塊。

data = requests.get('http://www.163.com'),向網易首頁提交get請求,得到一個requests對象r,r.text就是獲得的網頁源代碼,保存在字符串data中。

再利用正則查找data中所有的鏈接,我的正則寫的比較粗糙,直接把href=""或href=''之間的信息獲取到,這就是我們要的鏈接信息。

re.findall返回的是一個列表,用for循環遍歷列表并輸出:

Python實現抓取頁面上鏈接的簡單爬蟲分享

這是我獲取到的所有連接的一部分。

上面是獲取網站里所有鏈接的一個簡單的實現,沒有處理任何異常,沒有考慮到超鏈接的類型,代碼僅供參考。requests模塊文檔見附件。

延伸 · 閱讀

精彩推薦
主站蜘蛛池模板: 亚洲成人av在线 | 久久伊人中文字幕 | 精品国精品国产自在久不卡 | 免费午夜在线视频 | 欧美一级二级视频 | 色接久久| 国产精品久久久久久久久久三级 | 黄色小视频在线观看 | 国产精品美女久久久久久免费 | 日本精品一区 | 涩涩涩久久久成人精品 | 日韩精品免费在线视频 | 中文字幕精品一区久久久久 | 国产亚洲精品美女久久久久久久久久 | 成人免费在线电影 | 欧美一区二区三区在线视频 | 欧美操穴| 视频一区在线观看 | 国产资源在线视频 | 午夜男人天堂 | 中文字幕一区二区三区四区不卡 | 亚洲专区在线播放 | 日韩中文一区 | 欧美激情一区二区三级高清视频 | 我要看一级黄色 | 色站综合| 国产美女www | 欧美不卡视频 | 亚洲成人免费在线播放 | 婷婷四房综合激情五月 | 中文字幕在线观看日本 | 中文字幕欧美激情 | 青青草一区 | 欧美成人精品激情在线观看 | 亚洲精品一区二区三区在线 | 欧美视频一二 | 国产日韩一区二区 | 欧美日韩成人一区 | 亚洲精品国产综合区久久久久久久 | 精品福利一区二区三区 | 国产高清精品在线 |