網(wǎng)絡(luò)爬蟲網(wǎng)絡(luò)爬蟲(又被稱作網(wǎng)絡(luò)蜘蛛、網(wǎng)絡(luò)機(jī)器人在某社區(qū)中經(jīng)常被稱為網(wǎng)頁追逐者)可以按照指定的規(guī)則(網(wǎng)絡(luò)爬蟲的算法)自動瀏覽或抓取網(wǎng)絡(luò)中的信息通過Python可以很輕松地編寫爬蟲程序或者是腳本。在生活中網(wǎng)絡(luò)爬蟲經(jīng)常出現(xiàn)搜索引擎就離不開網(wǎng)絡(luò)爬蟲。例如百度搜索引擎的爬蟲名字叫作百度蜘蛛(Baiduspider)。百度蜘蛛是百度搜索引擎的一個自動程序。它每天都會在海量的互聯(lián)網(wǎng)信息中進(jìn)行爬取收集并整理互聯(lián)網(wǎng)上的網(wǎng)頁、圖片視頻等信息。然后當(dāng)用戶在百度搜索引擎中輸入對應(yīng)的關(guān)鍵詞時百度將從收集的網(wǎng)絡(luò)信息中找出相關(guān)的內(nèi)容按照一定的順序?qū)⑿畔⒄宫F(xiàn)給用戶。百度蜘蛛在工作的過程中搜索引擎會構(gòu)建一個調(diào)度程序來調(diào)度百度蜘蛛的工作這些調(diào)度程序都是需要使用一定的算法來實現(xiàn)的采用不同的算法爬蟲的工作效率也會有所不同爬取的結(jié)果也會有所差異。基本原理Python實現(xiàn)HTTP請求常見的三種方式urllib,urllib3,requests,其中urllib是Python自帶模塊urllib3和requests需要手動安裝終端輸入 pip install requests 進(jìn)行安裝urllib模塊的函數(shù)信息示例程序【NetRequest.py】import urllib.request import urllib.parse import urllib3 #需要安裝包 import requests #在下面的終端輸入 pip install requests 進(jìn)行安裝 #打開指定需要爬取的網(wǎng)頁 responseurllib.request.urlopen(https://www.baidu.com) htmlresponse.read() print(html) print(----------------------演示post----------------------) databytes(urllib.parse.urlencode({word:hello}), encodingutf8) responseurllib.request.urlopen(http://www.httpbin.org/post,datadata) htmlresponse.read() print(html) print(----------------------使用urllib3庫----------------------) httpurllib3.PoolManager() responsehttp.request(GET,http://www.baidu.com/) print(response.data) print(----------------------使用requests庫----------------------) responserequests.get(http://www.baidu.com/) print(狀態(tài)碼:,response.status_code) print(url地址:,response.url) print(headers頭信息:,response.headers) print(cookie信息:,response.cookies) print(文本源碼:,response.text) print(字節(jié)源碼,response.content) #超時時間為5秒,一個不存在的url try: responserequests.post(http://www.xyzsnake.com/post,timeout5) print(文本,response.text,,狀態(tài)碼,response.status_code) except Exception as e: print(異常信息:,str(e))運行如圖