# 論文總結(jié)：Knowledge Acquisition During Pre?training? Large Language Models Learn Better With Auxiliary Views 論文信息：arXiv:2609.04180，接收于 Findings of EMNLP 2026 作者：Joseph Lee, Yidi Huang, Dokyoon Kim, Shu Yang, Li Shen## 一、論文主要內(nèi)容該論文聚焦**大語言模型預(yù)訓(xùn)練階段的知識獲取機(jī)制**。當(dāng)前業(yè)界已經(jīng)知道去重、過濾、數(shù)據(jù)質(zhì)量、數(shù)據(jù)多樣性對預(yù)訓(xùn)練很重要，但缺少解釋：**知識該以怎樣的表達(dá)形式被模型學(xué)習(xí)**。論文提出**輔助視角（Auxiliary Views）**概念：對同一知識做概念層面的多種重表述（教材、博客、問答等不同體裁，不等同于簡單同義改寫paraphrase），通過受控的繼續(xù)預(yù)訓(xùn)練實(shí)驗(yàn)，探究輔助視角如何影響模型對事實(shí)知識、推理知識的習(xí)得。核心實(shí)驗(yàn)設(shè)置：收集計算機(jī)、法律、醫(yī)學(xué)3個領(lǐng)域未出現(xiàn)在OLMo?2預(yù)訓(xùn)練語料的原始文檔；針對每篇文檔生成多類輔助視角文本，嚴(yán)格固定token預(yù)算，對比「僅原始文檔」「僅同義改寫」「原始+輔助視角」多種訓(xùn)練方案；同時改變模型規(guī)模、batch size、生成輔助視角的教師模型能力，觀測知識召回、推理能力、模型內(nèi)部層編碼行為的變化。主要實(shí)驗(yàn)發(fā)現(xiàn)：1. 重復(fù)是知識獲取的必要條件，但同義改寫（paraphrase）的增益僅在小batch size下有效；batch變大后改寫帶來的收益會消失。2. 在token總預(yù)算不變前提下，把原本用于重復(fù)原始文檔的token分配給輔助視角，**即便減少原始文檔的訓(xùn)練頻次，依然同時提升事實(shí)