1. 項目概述從零到一用Python抓取豆瓣電影Top 250最近在整理個人觀影記錄想看看還有哪些經(jīng)典沒看過直接去豆瓣翻Top 250列表太麻煩了一頁頁翻還得手動記錄。作為一個Python愛好者第一反應(yīng)就是寫個腳本把它“搬”下來。這個“Python爬取豆瓣Top 250保存至csv文件”的項目聽起來簡單但麻雀雖小五臟俱全它幾乎涵蓋了入門級網(wǎng)絡(luò)爬蟲的所有核心環(huán)節(jié)請求網(wǎng)頁、解析數(shù)據(jù)、應(yīng)對反爬、數(shù)據(jù)清洗和持久化存儲。對于剛學完P(guān)ython語法想找個實戰(zhàn)項目練手的朋友來說這再合適不過了。它不僅能讓你鞏固requests、BeautifulSoup、pandas這些庫的使用更能讓你親身體會從互聯(lián)網(wǎng)上自動化獲取并結(jié)構(gòu)化數(shù)據(jù)的完整流程。今天我就把自己實現(xiàn)這個項目的詳細過程、踩過的坑以及一些優(yōu)化思路分享出來你可以跟著一步步操作最終得到一個包含電影排名、名稱、評分、評價人數(shù)、經(jīng)典臺詞等信息的整潔CSV文件。2. 核心思路與工具選型解析2.1 項目目標與需求拆解我們的核心目標是自動化獲取豆瓣電影Top 250榜單的所有信息并以結(jié)構(gòu)化的格式CSV保存到本地。拆解開來需要完成以下幾個子任務(wù)遍歷所有頁面Top 250榜單分頁展示共10頁每頁25部電影。我們需要能自動拼接出所有頁面的URL。發(fā)送網(wǎng)絡(luò)請求模擬瀏覽器訪問這些頁面獲取頁面的HTML源代碼。解析HTML內(nèi)容從復(fù)雜的HTML代碼中精準地提取出每部電影的排名、名稱、評分、評價人數(shù)、導(dǎo)演、主演、年份、地區(qū)、類型、簡介、經(jīng)典臺詞等信息。數(shù)據(jù)清洗與存儲將提取出的文本信息進行清洗如去除多余空格、處理缺失值然后以行每部電影和列每個字段的形式保存到CSV文件中。2.2 技術(shù)棧選擇與理由為什么選擇以下工具這是基于簡單、高效、社區(qū)支持度高的原則。請求庫requests。這是Python中最簡單易用的HTTP庫相比原生urllib其API設(shè)計非常人性化幾行代碼就能完成請求發(fā)送和響應(yīng)獲取是爬蟲入門的不二之選。解析庫BeautifulSoup。我們的目標頁面是靜態(tài)HTML結(jié)構(gòu)相對清晰。BeautifulSoup提供了非常直觀的“選擇器”方式來定位元素例如通過標簽名、CSS類名來查找對于新手來說學習曲線平緩遠比正則表達式友好。雖然lxml解析速度更快但BeautifulSoup的易用性在初期更具優(yōu)勢。數(shù)據(jù)存儲csv模塊與pandas。Python內(nèi)置的csv模塊足以完成基本的寫入操作。但這里我選擇用pandas因為它不僅能輕松寫入CSV其DataFrame數(shù)據(jù)結(jié)構(gòu)更便于我們在內(nèi)存中進行數(shù)據(jù)清洗、分析和預(yù)覽是數(shù)據(jù)處理的事實標準。輔助工具time與User-Agent。time.sleep()用于在請求間插入延遲是尊重網(wǎng)站、避免被封IP的基本禮儀。而設(shè)置隨機的User-Agent請求頭是為了讓我們的請求看起來更像來自不同的瀏覽器是應(yīng)對基礎(chǔ)反爬的常見手段。注意在開始任何爬蟲項目前務(wù)必查看目標網(wǎng)站的robots.txt文件通常是https://www.douban.com/robots.txt和其服務(wù)條款。雖然豆瓣對Top 250頁面的爬取相對寬容用于個人學習但我們必須控制請求頻率嚴禁高并發(fā)、高頻次訪問以免對服務(wù)器造成壓力。3. 環(huán)境準備與頁面結(jié)構(gòu)分析3.1 安裝必要的Python庫打開你的命令行終端CMD、PowerShell或Terminal使用pip命令安裝我們所需的庫。建議在虛擬環(huán)境中進行。pip install requests beautifulsoup4 pandas如果安裝速度慢可以使用國內(nèi)鏡像源例如清華源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests beautifulsoup4 pandas。3.2 分析豆瓣Top 250頁面結(jié)構(gòu)這是爬蟲最關(guān)鍵的一步?jīng)Q定了我們?nèi)绾螌懡馕龃a。我們打開豆瓣電影Top 250的第一頁https://movie.douban.com/top250?start0。觀察URL規(guī)律注意URL中的參數(shù)start0。點擊第二頁URL變?yōu)閟tart25第三頁是start50。由此可知每頁顯示25部電影start參數(shù)表示從第幾部開始顯示。我們可以用循環(huán)生成10個URLstart (page-1) * 25。使用開發(fā)者工具定位元素在瀏覽器頁面右鍵選擇“檢查”或“審查元素”打開開發(fā)者工具。點擊左上角的箭頭圖標或按CtrlShiftC然后去點擊頁面上第一部電影《肖申克的救贖》的整個條目區(qū)域。在Elements面板中你會發(fā)現(xiàn)這個條目被包裹在一個div classitem的標簽內(nèi)。所有250部電影都被包含在多個div classitem中。這是我們提取數(shù)據(jù)的循環(huán)單元。在每一個.item內(nèi)部我們再細找排名通常在em class標簽里。電影名稱在span classtitle里注意可能有中文名和英文名/別名。評分在span classrating_num里。評價人數(shù)在div classstar里的最后一個span。簡介Quote在span classinq里但不是每部電影都有。其他信息導(dǎo)演、演員、年份等在div classbd里的p class中這是一段混合的文本需要用字符串方法進行分割提取。通過以上分析我們得到了一個清晰的“地圖”先找到所有.item然后在每個.item里像查字典一樣根據(jù)特定的CSS類名去提取對應(yīng)的信息。4. 分步實現(xiàn)爬蟲核心代碼4.1 構(gòu)建請求頭與實現(xiàn)單頁抓取首先我們導(dǎo)入庫并設(shè)置請求頭這是為了讓自己看起來更像一個普通的瀏覽器訪問。import requests from bs4 import BeautifulSoup import pandas as pd import time import random # 定義請求頭模擬瀏覽器訪問 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 }User-Agent字符串可以從你瀏覽器的開發(fā)者工具Network標簽中找到任意一個請求復(fù)制過來。接下來我們寫一個函數(shù)fetch_one_page(url)用于獲取單頁HTML并解析出該頁25部電影的數(shù)據(jù)。def fetch_one_page(url): 抓取并解析單個頁面 # 發(fā)送HTTP GET請求 resp requests.get(url, headersheaders) # 如果狀態(tài)碼不是200拋出異常 resp.raise_for_status() # 設(shè)置正確的編碼豆瓣使用utf-8 resp.encoding utf-8 # 將響應(yīng)文本轉(zhuǎn)換為BeautifulSoup對象指定解析器為html.parser soup BeautifulSoup(resp.text, html.parser) movie_list [] # 用于存儲當前頁所有電影信息的列表 # 找到當前頁面所有的電影項目每個div classitem代表一部電影 for item in soup.find_all(div, class_item): movie {} # 用字典存儲一部電影的所有信息 # 1. 提取排名 rank_tag item.find(em) movie[排名] rank_tag.text if rank_tag else # 2. 提取標題可能包含中文名和英文名 title_tag item.find(span, class_title) movie[標題] title_tag.text if title_tag else # 提取英文名/別名可能在第二個class為title的span里 other_title_tag title_tag.find_next_sibling(span, class_title) if title_tag else None movie[其他標題] other_title_tag.text.replace(/, ).strip() if other_title_tag else # 3. 提取評分 rating_tag item.find(span, class_rating_num) movie[評分] rating_tag.text if rating_tag else 0.0 # 4. 提取評價人數(shù) star_div item.find(div, class_star) if star_div: # 找到star div下所有的span最后一個包含評價人數(shù) spans star_div.find_all(span) if len(spans) 4: # 例如“1254564人評價” 我們需要提取數(shù)字 eval_text spans[3].text movie[評價人數(shù)] eval_text.replace(人評價, ).strip() else: movie[評價人數(shù)] 0 else: movie[評價人數(shù)] 0 # 5. 提取簡介經(jīng)典臺詞/短評 quote_tag item.find(span, class_inq) movie[簡介] quote_tag.text if quote_tag else # 6. 提取其他信息導(dǎo)演、主演、年份、地區(qū)、類型 # 這些信息都在 div classbd 下的 p class 里是一個混雜的字符串 bd_p item.find(div, class_bd).find(p, class_) if bd_p: info_text bd_p.get_text(stripTrue) # 獲取純文本并去除兩端空格 # 示例字符串“導(dǎo)演: 弗蘭克·德拉邦特 Frank Darabont 主演: 蒂姆·羅賓斯 Tim Robbins /...\n1994 / 美國 / 犯罪 劇情” # 我們用換行符‘\n’分割字符串 parts info_text.split(\n) if len(parts) 2: # 第一部分包含導(dǎo)演和主演信息 director_actor parts[0] # 第二部分包含年份、地區(qū)、類型 year_country_genre parts[1] # 進一步分割導(dǎo)演和主演以“主演:”為界 if 主演: in director_actor: director_part, actor_part director_actor.split(主演:, 1) movie[導(dǎo)演] director_part.replace(導(dǎo)演:, ).strip() movie[主演] actor_part.strip() else: movie[導(dǎo)演] director_actor.replace(導(dǎo)演:, ).strip() movie[主演] # 處理年份、地區(qū)、類型 # 格式可能是“1994 / 美國 / 犯罪 劇情” 用‘/’分割 ycg_parts year_country_genre.split(/) ycg_parts [p.strip() for p in ycg_parts] movie[年份] ycg_parts[0] if len(ycg_parts) 0 else movie[地區(qū)] ycg_parts[1] if len(ycg_parts) 1 else movie[類型] ycg_parts[2] if len(ycg_parts) 2 else else: # 如果分割失敗全部放入一個字段 movie[其他信息] info_text movie[導(dǎo)演] movie[主演] movie[年份] movie[地區(qū)] movie[類型] else: movie[導(dǎo)演] movie[主演] movie[年份] movie[地區(qū)] movie[類型] movie_list.append(movie) return movie_list這個函數(shù)是核心中的核心。它完成了從定位元素到提取文本的所有臟活累活。注意其中使用了.find()和.find_all()方法以及.text屬性獲取標簽內(nèi)文本。對于混雜的“其他信息”我們用了字符串分割的方法來提取結(jié)構(gòu)化字段這是一種非常實用的技巧。4.2 實現(xiàn)多頁遍歷與數(shù)據(jù)匯總單頁抓取函數(shù)寫好之后遍歷所有頁面就很簡單了。我們構(gòu)造所有頁面的URL循環(huán)調(diào)用fetch_one_page并將結(jié)果合并。def fetch_all_pages(): 抓取所有10頁數(shù)據(jù) base_url https://movie.douban.com/top250?start{} all_movies [] # 存儲所有250部電影 for page in range(10): # 0到9共10頁 start page * 25 url base_url.format(start) print(f正在抓取第 {page1} 頁URL: {url}) try: one_page_movies fetch_one_page(url) all_movies.extend(one_page_movies) print(f 成功抓取 {len(one_page_movies)} 部電影信息。) except Exception as e: print(f 抓取第 {page1} 頁時出錯: {e}) # 非常重要的延遲避免請求過快 # 隨機睡眠2-5秒模擬人類操作 time.sleep(random.uniform(2, 5)) print(f所有頁面抓取完成總計 {len(all_movies)} 部電影。) return all_movies這里有兩個關(guān)鍵點異常處理用try...except包裹單頁抓取這樣即使某一頁出錯如網(wǎng)絡(luò)波動程序也不會崩潰而是記錄錯誤后繼續(xù)抓取下一頁。請求延遲time.sleep(random.uniform(2, 5))是爬蟲的道德底線。不加延遲的快速連續(xù)請求極易觸發(fā)網(wǎng)站的反爬機制導(dǎo)致IP被暫時封禁。隨機延遲讓請求行為更接近真人瀏覽。4.3 數(shù)據(jù)清洗與保存至CSV抓取到的原始數(shù)據(jù)可能包含一些空白、格式不一致的問題用pandas處理起來非常方便。def save_to_csv(movie_list, filenamedouban_top250.csv): 將電影列表保存為CSV文件 # 將字典列表轉(zhuǎn)換為DataFrame df pd.DataFrame(movie_list) # 數(shù)據(jù)清洗示例 # 1. 確?！霸u價人數(shù)”是數(shù)值類型用于后續(xù)排序或計算 df[評價人數(shù)] pd.to_numeric(df[評價人數(shù)], errorscoerce).fillna(0).astype(int) # 2. 確?！霸u分”是浮點數(shù)類型 df[評分] pd.to_numeric(df[評分], errorscoerce).fillna(0.0) # 3. 處理可能的空字符串替換為NaN或特定占位符 df.replace(, pd.NA, inplaceTrue) # 選擇我們想要的列順序 columns_order [排名, 標題, 其他標題, 評分, 評價人數(shù), 導(dǎo)演, 主演, 年份, 地區(qū), 類型, 簡介] df df[columns_order] # 保存到CSV文件不保存行索引使用UTF-8編碼確保中文不亂碼 df.to_csv(filename, indexFalse, encodingutf-8-sig) # ‘utf-8-sig’能讓Excel正確識別編碼 print(f數(shù)據(jù)已成功保存至文件: {filename}) print(df.head()) # 打印前幾行預(yù)覽一下使用utf-8-sig編碼是一個重要技巧它會在文件開頭添加一個BOM字節(jié)順序標記這樣用微軟Excel打開CSV文件時中文字符就不會顯示為亂碼。如果你只用文本編輯器或Python處理用utf-8也可以。4.4 主函數(shù)與完整腳本整合最后我們將所有功能整合到一個主函數(shù)中。def main(): print(開始抓取豆瓣電影Top 250...) all_movies fetch_all_pages() if all_movies: save_to_csv(all_movies) print(任務(wù)完成) else: print(未抓取到任何數(shù)據(jù)。) if __name__ __main__: main()將上述所有代碼塊按順序保存到一個.py文件中例如douban_top250_spider.py在終端運行python douban_top250_spider.py就可以看到程序開始一頁頁抓取并在完成后生成一個douban_top250.csv文件。5. 進階優(yōu)化與反爬策略應(yīng)對基礎(chǔ)的爬蟲寫好了但它還很脆弱。在實際運行中你可能會遇到各種問題。下面分享一些進階優(yōu)化和應(yīng)對策略。5.1 處理動態(tài)加載與請求失敗我們當前的腳本假設(shè)每次請求都能成功。但網(wǎng)絡(luò)是不穩(wěn)定的。增加重試機制可以使用requests的適配器或自己寫循環(huán)在請求失敗時如遇到連接超時、狀態(tài)碼5xx重試幾次。import requests from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry def create_session(retries3, backoff_factor0.5): session requests.Session() retry_strategy Retry( totalretries, backoff_factorbackoff_factor, # 重試等待時間{backoff factor} * (2 ** ({retry number} - 1)) status_forcelist[500, 502, 503, 504] # 遇到這些狀態(tài)碼才重試 ) adapter HTTPAdapter(max_retriesretry_strategy) session.mount(http://, adapter) session.mount(https://, adapter) return session # 使用session代替直接的requests.get session create_session() resp session.get(url, headersheaders, timeout10) # 設(shè)置超時使用代理IP如果你的IP因請求過快被封可能需要使用代理IP池。但這對于豆瓣Top 250這種低頻、禮貌的爬取通常不是必須的優(yōu)先級低于控制頻率。5.2 數(shù)據(jù)解析的健壯性提升網(wǎng)頁結(jié)構(gòu)可能會微調(diào)我們的解析代碼不能太“硬編碼”。使用更靈活的CSS選擇器BeautifulSoup支持CSS選擇器語法soup.select()有時比find更簡潔。# 例如提取所有電影項目 items soup.select(div.item) # 提取單個電影的標題 title item.select_one(span.title).text增加字段缺失的容錯處理我們在基礎(chǔ)代碼中已經(jīng)用了if tag:的判斷這是很好的習慣?？梢赃M一步為每個字段提供默認值。5.3 將數(shù)據(jù)存入數(shù)據(jù)庫可選CSV文件適合一次性分析和存檔但如果數(shù)據(jù)需要頻繁查詢或更新存入SQLite或MySQL數(shù)據(jù)庫是更好的選擇。import sqlite3 def save_to_sqlite(movie_list, db_namedouban_top250.db): conn sqlite3.connect(db_name) cursor conn.cursor() # 創(chuàng)建表 cursor.execute( CREATE TABLE IF NOT EXISTS movies ( id INTEGER PRIMARY KEY AUTOINCREMENT, rank INTEGER, title TEXT, other_title TEXT, rating REAL, eval_count INTEGER, director TEXT, actors TEXT, year TEXT, region TEXT, genre TEXT, quote TEXT ) ) # 插入數(shù)據(jù) for movie in movie_list: cursor.execute( INSERT INTO movies (rank, title, other_title, rating, eval_count, director, actors, year, region, genre, quote) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?) , ( movie.get(排名), movie.get(標題), movie.get(其他標題), movie.get(評分), movie.get(評價人數(shù)), movie.get(導(dǎo)演), movie.get(主演), movie.get(年份), movie.get(地區(qū)), movie.get(類型), movie.get(簡介) )) conn.commit() conn.close() print(f數(shù)據(jù)已保存至SQLite數(shù)據(jù)庫: {db_name})6. 常見問題與排查技巧實錄在實際操作中你幾乎一定會遇到下面這些問題。這里是我的排查記錄。6.1 請求被拒絕返回403或418錯誤現(xiàn)象requests.get()拋出異常狀態(tài)碼是403 Forbidden或418 I‘m a teapot。原因網(wǎng)站識別出你是爬蟲程序。最常見的原因是請求頭User-Agent被識別為Python腳本。解決檢查并完善headers確保User-Agent是有效的瀏覽器字符串?？梢远鄿蕚鋷讉€每次請求隨機選擇一個。添加更多請求頭模擬更真實的瀏覽器例如添加Referer告訴服務(wù)器你從哪個頁面跳轉(zhuǎn)過來、Accept-Language等。headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)..., Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Referer: https://www.douban.com/, Connection: keep-alive, }終極方案使用Selenium模擬瀏覽器。如果網(wǎng)站有復(fù)雜的JavaScript驗證或動態(tài)加載requests無法獲取完整頁面。這時需要Selenium控制Chrome或Firefox等真實瀏覽器去渲染頁面再獲取源碼。但這會大大增加復(fù)雜度和運行時間僅作為最后手段。6.2 抓取到的數(shù)據(jù)是空的或亂碼現(xiàn)象movie_list為空或者中文顯示為亂碼。原因1網(wǎng)頁結(jié)構(gòu)已更新原來的CSS類名或標簽路徑失效。排查1重新打開豆瓣Top 250頁面用開發(fā)者工具再次檢查.item、.title等關(guān)鍵元素的類名是否變化。有時網(wǎng)站會進行A/B測試或改版。解決1更新代碼中的選擇器。嘗試使用更通用的選擇器比如item.find(‘span’, attrs{‘class’: ‘title’})。原因2編碼問題。排查2打印resp.text的前500個字符看是否是亂碼。解決2確保設(shè)置了resp.encoding ‘utf-8’。如果不行可以嘗試resp.encoding resp.apparent_encoding讓requests自動判斷。6.3 程序運行中途停止或變慢現(xiàn)象抓取了幾頁后程序卡住或報錯停止。原因最可能的原因是觸發(fā)了反爬機制IP被限流或臨時封禁。解決立即增加延遲將time.sleep的時間延長比如random.uniform(5, 10)。檢查請求頻率確保每頁之間都有延遲不要在循環(huán)內(nèi)快速連續(xù)請求。暫停程序等待一段時間如半小時再運行。對于豆瓣禮貌的、低頻率的爬取通常不會被永久封禁?？紤]使用更分布式的抓取如果是大規(guī)模抓取需要設(shè)計IP池、用戶代理池但這已超出本入門項目的范疇。6.4 生成的CSV文件在Excel中打開中文亂碼現(xiàn)象用記事本或代碼編輯器打開CSV正常但用Excel打開中文是亂碼。原因Excel默認使用系統(tǒng)區(qū)域編碼如中文Windows是GBK打開CSV而我們的文件是UTF-8編碼。解決在保存CSV時使用encoding‘utf-8-sig’。這個sig代表BOM它能讓Excel自動識別為UTF-8編碼。6.5 “評價人數(shù)”提取失敗或為0現(xiàn)象評價人數(shù)全部是0或空。原因解析div class“star”下的結(jié)構(gòu)不準確。網(wǎng)頁結(jié)構(gòu)可能微調(diào)或者我們用的索引不對。排查與解決打印出star_div的內(nèi)容看看。star_div item.find(div, class_star) print(star_div) # 觀察其內(nèi)部HTML結(jié)構(gòu)找到包含“人評價”文本的那個span標簽。 # 可能需要改用更精確的查找方式例如 eval_span star_div.find(span, stringlambda text: text and 人評價 in text) if eval_span: movie[‘評價人數(shù)’] eval_span.text.replace(‘人評價’, ‘’)這種基于文本內(nèi)容查找的方式比依賴固定索引更健壯。這個項目雖然基礎(chǔ)但貫穿了爬蟲的核心邏輯。我建議你在成功運行基礎(chǔ)版本后嘗試自己添加新功能比如抓取電影的封面圖片鏈接、影片時長或者將評分和評價人數(shù)轉(zhuǎn)換為數(shù)值類型后嘗試用pandas做簡單的數(shù)據(jù)分析例如評分分布、哪個年份的高分電影最多。這些練習能讓你對數(shù)據(jù)抓取和處理的流程有更深的體會。記住爬蟲的世界里耐心和尊重規(guī)則比技術(shù)炫技更重要。