簡介基于注意力機(jī)制和圖卷積神經(jīng)網(wǎng)絡(luò)的多任務(wù)謠言檢測源碼與數(shù)據(jù)集面向深度學(xué)習(xí)、自然語言處理方向的學(xué)生及研究者尤其適合作為畢業(yè)設(shè)計或期末大作業(yè)的參考實現(xiàn)也可用于相關(guān)課題的基線對比。這套實現(xiàn)源自2022屆本科生畢業(yè)論文的后續(xù)優(yōu)化在原始基線模型上改用BERT編碼器獲取詞向量與句向量并接入雙向圖卷積網(wǎng)絡(luò)或自注意力機(jī)制分別完成謠言檢測與立場分類任務(wù)同時重構(gòu)了數(shù)據(jù)集存儲方式使目錄更規(guī)整直觀。壓縮包共75個文件包含Python腳本、JSON數(shù)據(jù)文件、Jupyter Notebook示例、文本說明及Markdown文檔等整體約18.67MB既能直接運行訓(xùn)練與評估也便于二次開發(fā)。目前已有364人學(xué)習(xí)下載對理解多任務(wù)謠言檢測的模型搭建與數(shù)據(jù)預(yù)處理具有實際參考價值。1. 警惕“詞在傳播模型在睡覺”的謠言檢測陷阱謠言檢測跑通不難但跑出能寫進(jìn)論文的數(shù)字是另一回事。這份基于注意力機(jī)制和圖卷積神經(jīng)網(wǎng)絡(luò)的多任務(wù)謠言檢測源碼包來自一篇2022屆本科畢業(yè)論文的后續(xù)優(yōu)化原論文的baseline跑在master分支主分支換成了BERT編碼器再接BiGCN或Self-Attention同一套數(shù)據(jù)同時做謠言檢測和立場分類兩個任務(wù)。倉庫里Python源碼、PHEME和SemEval2017-Task8數(shù)據(jù)集、訓(xùn)練腳本、可視化notebook都是齊的不用自己湊數(shù)據(jù)。適合兩類人一是在復(fù)現(xiàn)論文、想找一份能直接跑的圖神經(jīng)網(wǎng)絡(luò)基線二是做多任務(wù)學(xué)習(xí)課程設(shè)計想?yún)⒖颊鎸嵱?xùn)練流程而不是demo玩具。下面幾章按數(shù)據(jù)、模型、訓(xùn)練、部署的順序把MSA-BiGCN這條線完整拆一遍。2. MSA-BiGCN與BERT-BiGCN注意力機(jī)制和圖卷積的兩條實現(xiàn)路徑打開倉庫根目錄最先注意到的是兩套并行的實現(xiàn)MSABiGCN.py含ABGCN.py和BertBiGCN.py含BiGCN.py。它們共享utils.py里的數(shù)據(jù)讀取和batch組織邏輯但模型結(jié)構(gòu)差異很大理解這個差異是后續(xù)改代碼的前提。2.1 BERT作為編碼器詞向量和句向量的來源原論文用的是GloVe或Word2Vec靜態(tài)詞向量主分支改成BERT后輸入從input_idsattention_mask進(jìn)入得到兩個關(guān)鍵張量每個token的詞向量序列l(wèi)ast_hidden_state和整句話的句向量pooler_output。在rumorDataset.py里能看到數(shù)據(jù)集的每條記錄已經(jīng)提前用BERT的tokenizer切好max_len默認(rèn)設(shè)為128超過直接截斷不足用[PAD]補(bǔ)齊。# utils.py 中關(guān)于BERT輸入的典型處理 def bert_encode(texts, tokenizer, max_len128): return tokenizer( texts, paddingTrue, truncationTrue, max_lengthmax_len, return_tensorspt, )邏輯說明paddingTrue保證一個batch內(nèi)的樣本長度一致truncationTrue把超長推文截到128。謠言文本大多在20~40個詞128足夠覆蓋絕大多數(shù)情況如果做的是中文謠言數(shù)據(jù)建議把max_len提到256因為中文字符的信息密度低于英文單詞。參數(shù)說明max_len決定GPU顯存占用和訓(xùn)練速度。顯存不夠時先減batch size不要輕易減max_len因為截斷會直接砍掉謠言事件里“轉(zhuǎn)發(fā)鏈末端”的證據(jù)信息。選擇BERT而不是繼續(xù)用GloVe核心原因是謠言檢測對上下文語義敏感——同一條推文前面加“據(jù)媒體報道”和加“我聽說”立場完全相反靜態(tài)向量捕捉不到這種差異。BERT的12層Transformer把每個詞都放到整句話的上下文里重新編碼詞向量本身已經(jīng)帶了句法角色信息后續(xù)圖卷積做鄰居聚合時輸入特征質(zhì)量直接決定傳播結(jié)構(gòu)能被利用到什么程度。2.2 圖卷積層BiGCN是怎么建圖的BiGCN的核心思路是把一條謠言事件的所有相關(guān)推文看成節(jié)點節(jié)點之間的三類關(guān)系建邊轉(zhuǎn)發(fā)關(guān)系誰轉(zhuǎn)發(fā)了誰、回復(fù)關(guān)系誰回復(fù)了誰、相似關(guān)系文本語義相似的推文互為鄰居。圖建好后每個節(jié)點的初始特征就是BERT輸出的句向量然后過兩層GCN每層都做鄰居特征聚合。# BiGCN.py 中圖卷積層的關(guān)鍵片段 class BiGCN(nn.Module): def __init__(self, in_dim, hidden_dim, out_dim, dropout0.5): super(BiGCN, self).__init__() self.conv1 GraphConv(in_dim, hidden_dim) self.conv2 GraphConv(hidden_dim, out_dim) self.dropout nn.Dropout(dropout) def forward(self, x, adj): x self.conv1(x, adj) x F.relu(x) x self.dropout(x) x self.conv2(x, adj) return x邏輯說明第一層conv1把BERT句向量通常是768維投影到隱藏層代碼里hidden_dim默認(rèn)128經(jīng)過ReLU激活和Dropout后第二層conv2再投影到類別數(shù)謠言檢測2類立場分類3類。adj是從數(shù)據(jù)集構(gòu)建的鄰接矩陣行歸一化在GraphConv內(nèi)部完成。參數(shù)說明dropout0.5是圖網(wǎng)絡(luò)里偏高的設(shè)置因為謠言事件圖通常很小一個事件幾十到幾百個節(jié)點節(jié)點少意味著容易過擬合Dropout是成本最低的正則手段。如果你的場景是大型社交網(wǎng)絡(luò)圖可以把dropout降到0.3否則信息傳遞被斷掉太多。2.3 注意力機(jī)制加在哪MSA-BiGCN的多頭自注意力位置MSA-BiGCN不是簡單在GCN后面接一個注意力層而是把多頭自注意力放在BERT和圖卷積之間。先用BERT得到句向量再過一層TransformerEncoderLayer做序列內(nèi)的自注意力讓模型在進(jìn)入圖結(jié)構(gòu)之前先完成事件內(nèi)部“跨推文”的語義交互。提示如果只聽到“注意力機(jī)制”就默認(rèn)是CBAM或SE那種通道注意力方向就偏了。這里做的是NLP里的Self-Attention作用對象是推文序列不是圖像特征圖。從MSABiGCN.py的實現(xiàn)看多頭注意力頭數(shù)num_heads默認(rèn)是8和BERT的默認(rèn)頭數(shù)一致。這樣設(shè)計的好處是圖卷積只負(fù)責(zé)建模傳播結(jié)構(gòu)注意力只負(fù)責(zé)建模文本交互兩個模塊的職責(zé)邊界清晰。改代碼時如果想加大注意力容量優(yōu)先加num_layersTransformer層數(shù)而不是num_heads因為后者超過16后收益很小顯存卻漲得很快。3. PHEME與SemEval2017從零構(gòu)造Dataloader的數(shù)據(jù)整理思路倉庫里datasets目錄分三塊PHEME謠言檢測經(jīng)典基準(zhǔn)、PHEME-stance立場標(biāo)注版本、semeval2017-task8SemEval2017的官方任務(wù)數(shù)據(jù)。舊repo把所有信息塞進(jìn)一個JSON文件維護(hù)起來痛苦這次改成每個事件一個文件夾事件下的每條推文一個單獨文件標(biāo)注信息用字段名直接可讀。3.1 目錄結(jié)構(gòu)切換從嵌套JSON到扁平化存儲以PHEME為例典型目錄長這樣datasets/PHEME/ charliehebdo/ source-tweet.txt tweet_001/ tweet.json reply_001.json reply_002.json sydneysiege/ source-tweet.txt tweet_002/ tweet.jsonrumorDataset.py里的load_event函數(shù)負(fù)責(zé)遍歷這個目錄把每條推文的正文、轉(zhuǎn)發(fā)/回復(fù)關(guān)系、標(biāo)注結(jié)果抽出來組裝成后續(xù)訓(xùn)練用的event_list。每個事件由一個source_tweet和若干replies組成二者構(gòu)成圖結(jié)構(gòu)中的邊。# rumorDataset.py 中解析PHEME目錄的簡化邏輯 def parse_pheme_event(event_path): source_tweet load_json(os.path.join(event_path, source-tweet.txt)) replies [] for sub_dir in os.listdir(event_path): if sub_dir.startswith(tweet_): tweet_data load_json(os.path.join(event_path, sub_dir, tweet.json)) replies.append(tweet_data) return {source: source_tweet, replies: replies, label: source_tweet[label]}邏輯說明label字段存在source-tweet的元數(shù)據(jù)里代表這個事件是謠言還是非謠言replies里的每條推文都有獨立的in_reply_to字段用來重建傳播樹的父子關(guān)系。參數(shù)說明這里有個容易被忽略的點——tweet.json里存的是原始推文結(jié)構(gòu)包含user_id、timestamp等噪聲字段。第一次跑通前不建議清理這些字段因為后續(xù)如果要做用戶特征比如粉絲數(shù)、注冊時長還要回到這里取數(shù)據(jù)。3.2 構(gòu)建鄰接矩陣三種圖關(guān)系的取舍在data.py里能看到build_graph函數(shù)它返回的adj矩陣是常規(guī)的numpy.ndarray形狀為[num_nodes, num_nodes]。三種關(guān)系對應(yīng)三種建邊規(guī)則關(guān)系類型建邊條件鄰接矩陣權(quán)重轉(zhuǎn)發(fā)邊tweet.retweeted_status_id source_id1回復(fù)邊tweet.in_reply_to_status_id target_id1相似邊句向量余弦相似度 0.8相似度值相似邊的加入是BiGCN能超過普通GCN的關(guān)鍵。BERT句向量本身已經(jīng)編碼了語義相似邊把“說同一件事但沒直接互動”的節(jié)點連起來相當(dāng)于給圖卷積提供了“軟關(guān)系”通道。PHEME數(shù)據(jù)集平均每個事件只有約30條推文靠轉(zhuǎn)發(fā)和回復(fù)建出的圖非常稀疏不加相似邊圖卷積退化成只更新孤立節(jié)點等于白跑。3.3 多任務(wù)標(biāo)簽的對齊問題謠言檢測的標(biāo)簽是二分類謠言/非謠言立場分類的標(biāo)簽是三分類支持/否定/觀望兩套標(biāo)簽存在同一批數(shù)據(jù)上。trainOnlyStance.py和trainOnlyRumor.py的存在就是為了先單獨驗證每個任務(wù)能不能收斂再合到一起訓(xùn)練。合訓(xùn)之前要確認(rèn)兩個任務(wù)的dataloader返回的batch里label_rumor和label_stance都能取到值缺一個就報KeyError。注意PHEME-stance和semeval2017-task8的立場標(biāo)注口徑不完全一致前者每一條回復(fù)都有立場標(biāo)簽后者只有部分子集有。用load_dataset.py切分?jǐn)?shù)據(jù)時先打印label_distribution()統(tǒng)計一下類別數(shù)量防止某個類只有個位數(shù)樣本導(dǎo)致訓(xùn)練直接崩。4. 多任務(wù)訓(xùn)練的梯度流動與損失函數(shù)設(shè)置在第二和第三章里我們把數(shù)據(jù)和模型都理清了接下來是最容易出問題的一步訓(xùn)練。train.py是整個倉庫的主入口它把BERT微調(diào)、圖卷積前向傳播、兩個損失函數(shù)反向傳播串在一條鏈路里。多任務(wù)不等于多模型各訓(xùn)各的這里的核心機(jī)制是共享BERT主干分叉兩個輸出頭。4.1 損失函數(shù)組合CrossEntropyLoss的加權(quán)策略# train.py 中多任務(wù)損失計算的核心邏輯 loss_rumor F.cross_entropy(logits_rumor, label_rumor) loss_stance F.cross_entropy(logits_stance, label_stance) loss_total alpha * loss_rumor (1 - alpha) * loss_stance loss_total.backward()邏輯說明alpha默認(rèn)取0.6即謠言檢測的損失權(quán)重更高。原因很簡單——謠言檢測是主任務(wù)立場分類是輔助任務(wù)輔助任務(wù)的作用是給BERT提供更多語義監(jiān)督信號讓句向量更快收斂到“有立場區(qū)分度”的表示空間而不是喧賓奪主。參數(shù)說明當(dāng)你發(fā)現(xiàn)立場分類的accuracy很高但謠言檢測的F1上不去時把a(bǔ)lpha往0.7~0.8調(diào)反過來如果謠言檢測很快過擬合訓(xùn)練集F195但驗證集不到70把a(bǔ)lpha降到0.5讓立場任務(wù)充當(dāng)正則項。4.2 優(yōu)化器與學(xué)習(xí)率BERT微調(diào)的邊界條件BERT部分的參數(shù)學(xué)習(xí)率不能和GCN部分一樣大。倉庫里的做法是給BERT單獨設(shè)一個小的學(xué)習(xí)率# train.py 中分組設(shè)置學(xué)習(xí)率的典型寫法 optimizer torch.optim.AdamW([ {params: bert.parameters(), lr: 2e-5}, {params: gcn.parameters(), lr: 1e-3}, {params: classifier.parameters(), lr: 1e-3}, ], weight_decay1e-5)邏輯說明BERT的預(yù)訓(xùn)練權(quán)重已經(jīng)很好用2e-5的learning rate只做微調(diào)防止劇烈更新把預(yù)訓(xùn)練學(xué)到的語言知識沖掉而GCN和最后的分類頭是從零訓(xùn)練需要更大學(xué)習(xí)率才能快速收斂。AdamW比Adam多了權(quán)重衰減的解耦對BERT這類大模型更穩(wěn)。參數(shù)說明weight_decay1e-5是常規(guī)值不需要經(jīng)常動。如果訓(xùn)練過程Loss曲線出現(xiàn)鋸齒狀震蕩把GCN的學(xué)習(xí)率降到5e-4多半能緩解。Batch size設(shè)在32時SemEval2017訓(xùn)練集跑一個epoch大約3~5分鐘單張V100總共20個epoch左右能收斂。4.2.1 訓(xùn)練過程中的Checkpoint策略getbash.py里已經(jīng)寫好了一段時間間隔保存一次model.pt的命令。建議保留這個邏輯因為多任務(wù)訓(xùn)練最怕訓(xùn)到第10個epoch才開始發(fā)散沒有checkpoint就得重跑。保存時只存state_dict不要直接存整個model對象前者換環(huán)境加載更省事。4.2.2 常用實驗參數(shù)速查回到訓(xùn)練本身這套代碼里我比較常用的一組參數(shù)是參數(shù)默認(rèn)值推薦調(diào)整區(qū)間調(diào)整依據(jù)batch_size3216~64顯存不足優(yōu)先減到16max_len128128~256中文數(shù)據(jù)調(diào)到256alpha0.60.5~0.8主任務(wù)收斂慢就調(diào)大dropout0.50.3~0.6小數(shù)據(jù)集調(diào)大num_heads84~16顯存充足可試16這套參數(shù)在PHEME上跑出來的結(jié)果謠言檢測F1通常在0.82~0.88之間浮動對比只用GCN不加注意力的baseline高出3到5個點差距主要來自BERT替換靜態(tài)詞向量帶來的語義增益。4.3 多任務(wù)梯度沖突的觀察方法訓(xùn)練時在train.py的backward之后手動打印兩個任務(wù)的gradient norm能直觀看到?jīng)_突如果loss_rumor的梯度范數(shù)一直比loss_stance大一個數(shù)量級說明主任務(wù)主導(dǎo)了共享層的更新輔助任務(wù)基本沒起作用。處理辦法是梯度裁剪和動態(tài)調(diào)整alpha。# 打印梯度范數(shù)的調(diào)試代碼 total_norm_rumor 0.0 for p in model.bert.parameters(): if p.grad is not None: total_norm_rumor p.grad.norm().item() ** 2 print(fRumor grad norm: {total_norm_rumor ** 0.5:.4f})邏輯說明這段話掛在loss_total.backward()和optimizer.step()之間每個epoch打印一次。如果值一直往上漲說明訓(xùn)練不穩(wěn)定配合clip_grad_norm_(model.parameters(), max_norm1.0)做全局梯度裁剪即可。5. 從trainOnly到完整訓(xùn)練如何區(qū)分是代碼問題還是模型問題倉庫里trainOnlyStance.py和trainOnlyRumor.py這兩個文件一般不太會被當(dāng)成核心模塊但調(diào)試的時候它們比train.py有用得多。多任務(wù)訓(xùn)練失敗的排查順序永遠(yuǎn)先跑單任務(wù)再跑多任務(wù)。5.1 實驗一只用立場分類分支# 運行單任務(wù)立場分類 python trainOnlyStance.py --only-stance --epochs 10跑通后觀察驗證集accuracy。SemEval2017的立場分類理論上在0.65以上算正常三類隨機(jī)猜是0.33。如果訓(xùn)練5個epoch還停在0.4問題不出在模型結(jié)構(gòu)而是標(biāo)簽對齊出錯。5.2 實驗二只用謠言檢測分支# 運行單任務(wù)謠言檢測 python trainOnlyRumor.py --only-rumor --epochs 10謠言檢測二分類隨機(jī)基線是0.5。PHEME上跑到0.8以上是及格線。如果單任務(wù)正常、多任務(wù)反而掉點再回train.py里調(diào)alpha。5.3 單任務(wù)與多任務(wù)的三個關(guān)鍵結(jié)論第一兩個單任務(wù)都能收斂是多任務(wù)訓(xùn)練的前提任何一個單任務(wù)Loss不降多任務(wù)一定更差。第二多任務(wù)的最優(yōu)epoch數(shù)往往比單任務(wù)長因為兩個任務(wù)交替收斂Loss曲線會出現(xiàn)平臺期不要在第5個epoch看到Loss不降就early stop再等3個epoch觀察。第三立場分類的收斂速度普遍快于謠言檢測分類頭更簡單、類別更分散如果謠言檢測的F1開始下降但立場分類還在漲把a(bǔ)lpha往0.7調(diào)強(qiáng)行壓住立場任務(wù)的梯度貢獻(xiàn)。這些結(jié)論在不同隨機(jī)種子下跑過多次結(jié)果一致。驗證方法也簡單固定隨機(jī)種子跑三次取平均如果標(biāo)準(zhǔn)差小于0.5個F1點說明實驗設(shè)置可信。6. 部署到推理把訓(xùn)練好的模型接到新的推文流上訓(xùn)練完不是終點.ipynb里那些result和test文件才是把模型變成能用的工具的最后一公里。這里的部署不是指上線服務(wù)而是把model.pt加載回來對一條新推文或一個新事件做謠言預(yù)測并和真實標(biāo)注對比。6.1 可復(fù)用的推理流程模板# 推理腳本 inference.py 的關(guān)鍵流程 def predict_event(event_texts, model, tokenizer, devicecpu): # 1. 用BERT tokenizer編碼事件內(nèi)所有推文 inputs tokenizer( event_texts, paddingTrue, truncationTrue, max_length128, return_tensorspt ).to(device) # 2. 構(gòu)建事件圖鄰接矩陣這里用簡化版只建相似邊 adj build_similarity_graph(inputs[input_ids]) # 3. 模型前向推理 with torch.no_grad(): logits_rumor, logits_stance model(inputs, adj) rumor_prob torch.softmax(logits_rumor, dim-1) return rumor_prob.argmax(dim-1).item(), rumor_prob.max().item()代碼說明build_similarity_graph里用BERT輸出句向量算余弦相似度大于0.8的節(jié)點之間建邊。推理階段沒有轉(zhuǎn)發(fā)關(guān)系數(shù)據(jù)時只用相似邊也能給出基本結(jié)果代價是F1會比完整圖低2~3個百分點。6.2 部署時容易踩的坑注意加載model.pt時必須用和訓(xùn)練時完全相同的model_class MSABiGCN()或BertBiGCN()實例化再load_state_dict。直接torch.load(model.pt)在跨Python版本或跨PyTorch小版本時大概率報_pickle.UnpicklingError。建議保存時多存一個model_config.json記錄模型參數(shù)hidden_dim、num_heads、max_len加載時先讀配置再建模型這是最不踩坑的做法。最后一步驗證用result.ipynb里的classification_report函數(shù)輸出精確率、召回率、F1關(guān)注謠言類label1的召回率。二分類場景里模型傾向于把所有樣本都判為非謠言來獲得高準(zhǔn)確率但召回率會掉到0.5以下。如果出現(xiàn)這種情況在推理時把rumor類的閾值從默認(rèn)的0.5降到0.4通常是保召回最直接的手段。本文還有配套的精品資源點擊獲取