會議背景EMNLPConference on Empirical Methods in Natural Language Processing自然語言處理實證方法會議由 ACL 專委會 SIGDAT 主辦自 1996 年起每年召開是自然語言處理領(lǐng)域頂級國際會議。2017 年 EMNLP 于 9 月在丹麥哥本哈根舉行。論文信息標(biāo)題Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints獎項EMNLP 2017 最佳長論文Best Long Paper Award作者群作者單位簡介趙潔玉Jieyu Zhao弗吉尼亞大學(xué) → UCLA研究方向為機器學(xué)習(xí)中偏見的探測與消除北航本碩曾于滴滴研究院實習(xí)王天露Tianlu Wang弗吉尼亞大學(xué)浙江大學(xué)士導(dǎo)哈為 Vicente Ordó?ezMark Yatskar華盛頓大學(xué)NLP 與圖像處理領(lǐng)域多篇高質(zhì)量論文Vicente Ordó?ez弗吉尼亞大學(xué)助理教授NLP 與計算機視覺交叉方向UNC Chapel Hill 博士畢業(yè)Kai-Wei Chang弗吉尼亞大學(xué) → UCLA助理教授UIUC 博士師從 Dan Roth曾參與 LibLinear 開發(fā)核心問題機器學(xué)習(xí)算法在帶有社會偏見的數(shù)據(jù)上訓(xùn)練后可能放大原有的偏見。例如訓(xùn)練集中女性與做飯共現(xiàn)比例為 66%男性為 34%相差約 30 個百分點經(jīng)算法訓(xùn)練后測試集上該差距可能擴大至 68 個百分點女性達 84%。論文目標(biāo)消除算法對偏見的放大效應(yīng)使測試集上的偏見水平回歸到訓(xùn)練集水平而非追求性別完全平衡。核心方法1. 偏見值Bias Score定義目標(biāo)變量與特定屬性如性別之間的比例關(guān)系。由于同一屬性下各選項如男性/“女性”比例之和恒為 1訓(xùn)練集與測試集上偏見值的差異即可量化偏見放大程度。2. 限制條件建模對測試集預(yù)測標(biāo)簽施加約束使預(yù)測結(jié)果分布逼近訓(xùn)練集中的偏見水平。該問題形式化為經(jīng)典限制優(yōu)化問題。3. 拉格朗日簡化法Lagrangian Relaxation由于限制優(yōu)化涉及整個測試集的全局優(yōu)化計算量隨測試集規(guī)模急劇增長。作者采用拉格朗日簡化法將原問題轉(zhuǎn)化為非限制優(yōu)化問題迭代更新對每個測試樣本計算當(dāng)前最優(yōu)標(biāo)簽修正方案再更新拉格朗日參數(shù)遍歷一次測試集即收斂。關(guān)鍵約束算法使用測試數(shù)據(jù)但不需要測試集真實標(biāo)簽僅依賴訓(xùn)練集標(biāo)簽信息。實驗與效果數(shù)據(jù)集任務(wù)類型規(guī)?；A(chǔ)模型imSitu視覺語義角色識別12 萬張圖片212 個動詞條件隨機場CRFMS-COCO多標(biāo)簽圖片分類80 類物品條件隨機場CRF兩數(shù)據(jù)集均使用 CRF 為基礎(chǔ)模型特征采用基于深度學(xué)習(xí)的預(yù)訓(xùn)練特征在此基礎(chǔ)上施加偏見調(diào)整算法。結(jié)果測試準(zhǔn)確度基本不變的前提下性別偏見值最高降低40% 以上。要點總結(jié)機器學(xué)習(xí)算法會放大訓(xùn)練數(shù)據(jù)中已有的社會偏見在 NLP 任務(wù)中尤為突出。論文提出基于限制優(yōu)化的測試結(jié)果校正算法以偏見值為核心度量指標(biāo)。通過拉格朗日簡化法將全局優(yōu)化轉(zhuǎn)化為可高效求解的迭代流程無需測試集真實標(biāo)簽。在 imSitu 和 MS-COCO 上驗證偏見大幅降低準(zhǔn)確率基本不損失。延伸閱讀論文原文Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints