深夜安全運營群里突然彈出一條截圖一封釣魚郵件正文里帶著一段“美國銀行系統(tǒng)維護公告”落款是某家知名安全公司還附了一個“官方驗證鏈接”。乍一看郵件寫得滴水不漏語句通順邏輯連貫甚至引用了幾個行業(yè)標(biāo)準(zhǔn)術(shù)語。但值班的安全分析師還是發(fā)現(xiàn)了破綻——郵件里提到的“CVE-2025-XXXX”漏洞編號在漏洞庫里根本查不到。再往下一查原來這是攻擊者讓大模型生成的一段“合理但不存在”的說明模型為了回應(yīng)提示詞自己編造了一個漏洞編號、一段修復(fù)時間線以及一條看起來權(quán)威的官網(wǎng)鏈接。這就是AI幻覺正在成為攻擊者“新武器”的典型切片。過去我們討論AI幻覺焦點通常是“模型一本正經(jīng)地胡說八道會誤導(dǎo)用戶”。但現(xiàn)在更值得警惕的是有人已經(jīng)開始主動利用這種幻覺把錯誤信息包裝成看起來比真話還真話的素材。不是說AI幻覺本身是新的攻擊方式而是它成了攻擊鏈條里最廉價的“偽造素材生成器”。這篇文章我想從工程和防御的角度把這件事拆開講清楚為什么幻覺被盯上怎么識別幻覺以及我們在做AI應(yīng)用和內(nèi)容安全時能通過哪些手段把風(fēng)險壓到可接受范圍。1. 先搞清楚AI幻覺不是“單純的錯誤”而是一種模式很多人把AI幻覺理解為“模型答錯了”但“錯誤”和“幻覺”之間有本質(zhì)區(qū)別。普通錯誤是模型能力不足、訓(xùn)練數(shù)據(jù)缺失或推理邏輯缺陷導(dǎo)致的錯誤通?？梢员恍拚踔量梢酝ㄟ^增加更多數(shù)據(jù)來解決。而幻覺指的是模型生成了通順、合理、自信但事實上不存在或無法驗證的內(nèi)容。它不只是一個錯誤答案而是一整套“看似真實”的虛構(gòu)。1.1 兩種最常見的幻覺類型在實際工程中我會把幻覺分成兩類來看。第一類是事實性幻覺模型給出的內(nèi)容在現(xiàn)實世界中不存在。比如上文提到的虛構(gòu)漏洞編號、虛構(gòu)的銀行公告、虛構(gòu)的法規(guī)條款。這類幻覺最容易被惡意利用因為它的“證據(jù)感”很強普通人很難立刻辨別。第二類是忠實性幻覺模型忽視或曲解了用戶提供的上下文自己補充了無關(guān)甚至矛盾的細(xì)節(jié)。比如你把一段日志給它讓它總結(jié)異常它卻根據(jù)訓(xùn)練時的記憶補了一個“最常見的錯誤原因”而那段日志里根本沒有這個錯誤。這類幻覺在代碼生成、日志分析、法律合同審查這類對準(zhǔn)確性要求極高的場景里同樣危險。1.2 為什么模型無法徹底擺脫幻覺從技術(shù)機制上看大語言模型的核心任務(wù)是預(yù)測下一個詞的概率而非驗證事實的真?zhèn)?。它在生成過程中會根據(jù)上下文、訓(xùn)練參數(shù)和先驗知識選擇“最連貫”的表達。連貫性優(yōu)先于真實性這是架構(gòu)層面的取舍。只要模型還在按照“文本概率”生成內(nèi)容幻覺就不可能被徹底消滅我們只能降低它的頻率并增加事后檢測。也正因此幻覺是一種穩(wěn)定的、可預(yù)測的脆弱性。攻擊者不需要理解模型內(nèi)部原理只需要知道“讓模型在缺少事實支撐時生成看起來合理的回答”就能批量制造虛假素材。更可怕的是隨著模型能力越來越強幻覺的“可信度”也在同步上升過去那種一眼假的內(nèi)容正在減少。2. 攻擊者為什么開始“喜歡”AI幻覺標(biāo)題里的“Crooks Are Learning to Love AI Hallucinations”其實指向一個很現(xiàn)實的變化以前攻擊者要偽造一份文件、一封郵件或一條新聞需要人工撰寫、排版、找證據(jù)成本很高而且容易留下語言風(fēng)格上的破綻。而AI生成內(nèi)容在語言層面幾乎無懈可擊如果再加上一些幻覺制造出的“細(xì)節(jié)”——具體的日期、部門名、項目編號、聯(lián)系人郵箱——那這份偽造素材的可信度就會大幅提升。2.1 幻覺產(chǎn)出的“可驗證細(xì)節(jié)”是最大的威脅一個普通用戶不會輕易相信一封措辭流暢但沒有任何具體信息的通知。但如果郵件里包含一個“這次升級涉及的服務(wù)器編號”“一條名不見經(jīng)傳的法規(guī)條款”“一封來自隔壁部門負(fù)責(zé)人的轉(zhuǎn)發(fā)記錄”那信任度就完全不一樣了。這些細(xì)節(jié)在現(xiàn)實中根本不存在卻因為模型幻覺而“被創(chuàng)造”了出來。我在一次內(nèi)部演練里見過評委組用AI生成一份“公司內(nèi)部安全審計報告”報告中包含五個從沒有過的“歷史漏洞記錄”每個漏洞都有編號、影響范圍、修復(fù)時間還配了“負(fù)責(zé)人意見”。如果不是事先知道這是演練材料只看報告的人很難懷疑它的真實性。2.2 典型的惡意利用場景從安全社區(qū)和公開事件看攻擊者目前主要把AI幻覺用在以下幾類場景釣魚郵件和社會工程生成“內(nèi)部系統(tǒng)升級通知”“財務(wù)報銷異常提醒”“領(lǐng)導(dǎo)臨時指令”細(xì)節(jié)全部由模型即興發(fā)揮甚至可以根據(jù)目標(biāo)對象的公開信息定制。虛假客服和客服詐騙利用模型生成“退款失敗”“賬戶被凍結(jié)”等話術(shù)配合虛構(gòu)的工單號和客服姓名誘導(dǎo)用戶提供驗證碼或轉(zhuǎn)賬。虛假新聞和輿情操控批量生成帶有“可靠信源”字樣的新聞稿引用的專家、機構(gòu)、研究數(shù)據(jù)都是模型虛構(gòu)的用來影響輿情或企業(yè)聲譽。惡意代碼注釋和文檔投毒在開源代碼或技術(shù)文檔中插入由模型生成的“官方配置指南”其中包含不存在的依賴庫名和安裝命令引導(dǎo)開發(fā)者下載惡意包。知識問答和客服系統(tǒng)的“幻覺漏洞”當(dāng)用戶刻意構(gòu)造一個不存在的背景誘導(dǎo)客服機器人輸出危險建議例如虛構(gòu)一個“官方工單號”或“退款入口”。這些場景的共同點是都依賴“聽起來專業(yè)、結(jié)構(gòu)完整、細(xì)節(jié)豐富”的內(nèi)容。AI幻覺恰好提供了這一整套包裝。過去攻擊者需要花幾個小時偽造細(xì)節(jié)現(xiàn)在用一次模型調(diào)用就能完成。2.3 幻覺和“AI投毒”不一樣但會形成疊加有人會把AI幻覺和“提示注入”“數(shù)據(jù)投毒”混為一談。提示注入是攻擊者通過構(gòu)造輸入覆蓋模型原有指令數(shù)據(jù)投毒則是污染訓(xùn)練數(shù)據(jù)讓模型學(xué)壞。幻覺更像是模型自身的一種“慣性”——在信息不足時自動補全。真正的威脅在于攻擊者可以先對模型的上下文進行“誘導(dǎo)”再讓模型基于一個錯誤前提生成內(nèi)容。例如在輸入里寫“參考2025年某部門發(fā)布的《數(shù)據(jù)安全規(guī)范》”模型不知道這份規(guī)范不存在就會順著生成符合規(guī)范格式的條款并在后面加上一個“依據(jù)文件編號”。這種情況下幻覺和提示注入產(chǎn)生了疊加檢測難度也更大。3. 工程上怎么識別和攔截“惡意幻覺”面對這類攻擊我們的目標(biāo)不是完全消除幻覺——這做不到而是要在具體業(yè)務(wù)場景里建立識別和攔截的機制。這里的關(guān)鍵不是訓(xùn)練一個“更不會騙人”的模型而是設(shè)計一套能對模型輸出進行獨立驗證的流程。3.1 先建立“不要無條件相信模型輸出”的基線很多AI應(yīng)用的失敗都是從“過度信任模型”開始的。開發(fā)者在做客服機器人、文檔生成器或代碼助手時往往第一版只關(guān)注“生成的回答質(zhì)量”卻忘了加驗證層。當(dāng)你開始把AI輸出當(dāng)成可執(zhí)行指令或高置信事實時就已經(jīng)處于風(fēng)險之中。工程上我通常建議設(shè)定一條基線任何模型輸出只要包含了“事實性斷言”就必須經(jīng)過外部驗證。所謂外部驗證不是讓模型自己確認(rèn)而是用獨立的工具、數(shù)據(jù)庫或知識庫去核對。比如生成的內(nèi)容里提到某個漏洞編號就調(diào)用漏洞庫API查一下提到某條法規(guī)就檢索法規(guī)庫提到某個人物或公司就查公開信息源。3.2 按層次排查AI輸出風(fēng)險的鏈路如果已經(jīng)懷疑一條輸出可能是幻覺或者被惡意利用不要急著改提示詞也不要盲目微調(diào)模型。先按下面的鏈路逐層排查看輸出本身的“事實密度”是否包含大量具體但不必要的細(xì)節(jié)比如具體時間、編號、人名、機構(gòu)名。如果細(xì)節(jié)過多而且不是用戶提供的就要警惕這是模型在“編造事實支撐”?？从脩舻妮斎胧欠裼姓T導(dǎo)痕跡是否故意提供了不存在的背景比如“我們公司2024年上線了XX系統(tǒng)”“請基于這份不存在的規(guī)范說明整改措施”攻擊者經(jīng)常用這類看似正常的背景來觸發(fā)幻覺。查外部數(shù)據(jù)源對輸出中引用的每一個關(guān)鍵實體漏洞編號、法規(guī)名、公司名、郵箱、域名逐一通過官方數(shù)據(jù)庫或可信檢索驗證。這一步不能省。查模型配置確認(rèn)溫度、top_p、max_tokens等參數(shù)是否過高導(dǎo)致模型在低置信度時仍然“勇敢”生成還要確認(rèn)系統(tǒng)提示中是否寫明了“不知道時直接說不清楚”。查上下文處理在RAG場景中模型是否真的只基于檢索到的文檔作答還是把訓(xùn)練記憶也混了進來需要檢查檢索召回的相關(guān)性、分割粒度以及是否有“文檔相關(guān)性閾值”。3.3 建立“輸出事實核驗層”的四個維度真正穩(wěn)定的防護是在AI應(yīng)用架構(gòu)里加一個獨立的“事實核驗層”而不是依賴模型自我修正。這個核驗層可以考慮以下四個維度實體核驗抽取輸出中的命名實體人名、地名、機構(gòu)名、產(chǎn)品名、日期與可信知識庫交叉比對。凡是知識庫中不存在的實體要么標(biāo)記為低置信要么直接攔截。邏輯核驗檢查輸出是否存在自相矛盾。比如前文說“系統(tǒng)已修復(fù)”后文又提到“該問題仍在影響生產(chǎn)環(huán)境”。這類矛盾可以通過規(guī)則引擎或另一個模型做一致性檢查。引用核驗如果模型引用了外部文檔、鏈接、編號必須逐條驗證其存在性?？赏ㄟ^爬蟲或API實時訪問引用內(nèi)容。外部約束核驗針對特定行業(yè)比如金融、醫(yī)療、法律可以定義“危險斷言清單”。當(dāng)輸出涉及“停藥”“轉(zhuǎn)賬”“訴訟”“解除合同”等高風(fēng)險操作時強制要求人工審核。這個核驗層本質(zhì)上就是一個獨立的“信源過濾系統(tǒng)”。它不關(guān)心模型是否自信只關(guān)心事實能不能被驗證。3.4 小心“幻覺放大器”類的系統(tǒng)設(shè)計有些AI應(yīng)用不僅沒有防幻覺反而強化了幻覺。常見情況有三種多輪對話中把上一輪的幻覺當(dāng)事實繼續(xù)使用用戶第一輪問“XX公司2025年財報中提到的虧損額是多少”模型編了一個數(shù)第二輪用戶在同樣對話里問“這個虧損對股價影響多大”模型會基于第一輪編的數(shù)字繼續(xù)推導(dǎo)越推越離譜。RAG檢索到不相關(guān)內(nèi)容但不做過濾文檔庫本身有錯誤信息或過時條目模型檢索到后直接引用導(dǎo)致幻覺被“合法化”。使用高溫度參數(shù)追求“多樣性”溫度越高模型越傾向于選擇概率更低的詞幻覺概率也隨之上升。在很多內(nèi)容生成場景里為了提高“創(chuàng)意”開發(fā)者把溫度調(diào)到0.8甚至1.2結(jié)果就是大量虛構(gòu)細(xì)節(jié)。如果你正在開發(fā)對話型AI務(wù)必先跑一次“幻覺壓力測試”。準(zhǔn)備一批包含“不存在實體”的測試樣本看模型是否會在未知實體上生成內(nèi)容。如果它總是強行解釋一個不存在的公司名說明現(xiàn)有配置不適合安全敏感場景。4. 從開發(fā)到運營怎么把幻覺風(fēng)險壓到可控范圍知道攻擊者怎么利用幻覺之后回歸到AI應(yīng)用的開發(fā)和運營上我們需要一套更落地的實踐而不僅是在技術(shù)上做核驗。4.1 輸入側(cè)把“補全模式”改成“拒絕模式”很多人不知道大模型的默認(rèn)行為就是“被問到什么都要回答”哪怕沒有足夠信息。我們可以在系統(tǒng)提示里明確告訴模型當(dāng)問題中包含無法驗證的實體、文檔、事件時必須輸出“我無法確認(rèn)該信息”而不是嘗試解釋。這會讓模型從“補全模式”切到“拒絕模式”雖然犧牲了一點回答率但能顯著降低幻覺被利用的可能。系統(tǒng)提示示例如果你不確定用戶提到的某個公司、編號、條款或事件是否真實存在請直接回答“我無法確認(rèn)該信息的真實性”不要猜測不要補全不要提供任何自定義細(xì)節(jié)。這類策略配合“敏感話題關(guān)鍵詞過濾”能擋住相當(dāng)一部分誘導(dǎo)攻擊。注意單純這樣做了之后也要持續(xù)測試因為攻擊者會用更隱晦的表達繞過限制例如不直接問你“某公司是否存在”而是說“請以該公司為例寫一份運營方案”。4.2 輸出側(cè)給高置信度和低置信度內(nèi)容設(shè)不同出口不是所有輸出都要按同一套標(biāo)準(zhǔn)審核。我的建議是把輸出按“事實風(fēng)險等級”分成三層風(fēng)險等級典型內(nèi)容處理策略低風(fēng)險通用知識、閑聊、創(chuàng)意寫作常規(guī)生成可加“AI生成”標(biāo)識中風(fēng)險產(chǎn)品介紹、代碼示例、技術(shù)建議自動核驗關(guān)鍵實體和技術(shù)名詞加入免責(zé)聲明高風(fēng)險金融建議、法律意見、健康指導(dǎo)、簡歷偽造、安全補丁變更強制人工審核禁止無審核對外發(fā)布在實際項目里高風(fēng)險內(nèi)容往往只有少部分但如果這部分沒有審核閘門一旦出現(xiàn)問題就是事故級影響。寧可低風(fēng)險內(nèi)容審批慢一點也不要讓高風(fēng)險內(nèi)容裸奔。4.3 系統(tǒng)側(cè)引入“負(fù)樣本日志”并持續(xù)評估很多團隊上線AI應(yīng)用后只知道統(tǒng)計“回答數(shù)”“好評率”很少有人記錄“模型哪些輸出被人工否決”“哪些內(nèi)容被用戶舉報不符合事實”。這些被攔截的內(nèi)容就是最好的“負(fù)樣本”。建議在系統(tǒng)中增加一個專門存儲幻覺案例的數(shù)據(jù)庫每個案例記錄其原始輸入、模型輸出、幻覺類型事實性/忠實性、被哪個核驗環(huán)節(jié)攔截等字段。積累一段時間后用這些樣本定期評測替換后的新模型觀察新模型是否在這些負(fù)樣本上還有同樣問題。你也可以用這些樣本做小規(guī)模微調(diào)數(shù)據(jù)或few-shot示例幫助模型知道什么時候應(yīng)該說“不知道”。4.4 長期維護幻覺不會消失但要建立“事實基座”長期來看防御AI幻覺利用的關(guān)鍵不是消滅幻覺而是給模型提供更可靠的事實錨點。這里不是做絕對保證而是盡量在關(guān)鍵通道上注入可驗證信息。比如在客服場景里應(yīng)該先檢索客服知識庫中的官方文檔再讓模型基于檢索結(jié)果作答并限制模型不得引用庫外信息。如果用戶問了庫外問題模型應(yīng)回復(fù)“我暫時無法解答請轉(zhuǎn)人工”。在代碼生成場景里應(yīng)該把依賴庫、API版本等信息做成結(jié)構(gòu)化參數(shù)通過程序注入上下文而不是讓模型在訓(xùn)練記憶里猜。同時要注意RAG不是萬能的。如果檢索到的文檔本身包含虛構(gòu)信息模型依然會被帶偏。所以上RAG之前先做一輪語料清洗和事實校驗去掉文檔庫里過時的、錯誤的內(nèi)容。這是工程基礎(chǔ)不能省。5. 比“防幻覺”更重要的是“防AI制造的可信假象”寫到這兒其實已經(jīng)不只是技術(shù)問題了。AI幻覺之所以被“學(xué)會利用”本質(zhì)上是因為我們的社會系統(tǒng)還沒有準(zhǔn)備好迎接“看起來和真話一樣完整的假話”。過去假信息通常有語言破綻、邏輯漏洞我們還能靠人的直覺去排除。但現(xiàn)在AI生成的內(nèi)容在語法、語氣、結(jié)構(gòu)上已經(jīng)幾乎和人類寫作沒有差別再加上幻覺“憑空造出”的細(xì)節(jié)普通人根本無從分辨。別說是普通用戶就連一些專業(yè)分析師都可能在第一次見到這類內(nèi)容時被帶偏。所以真正重要的不是“讓模型不說謊”而是“在接收AI生成內(nèi)容時默認(rèn)它可能是真的需要額外驗證”。這個習(xí)慣要先在開發(fā)者和運營者身上建立起來再通過產(chǎn)品機制傳導(dǎo)給用戶。如果你正在做一個涉及AI生成的業(yè)務(wù)可以先做一件事拿自己的產(chǎn)品去跑一輪“幻覺壓力測試”專門找那些模型可能編造細(xì)節(jié)的空白區(qū)域看看它會怎么補全。然后針對每一個高風(fēng)險輸出設(shè)計一條獨立驗證路徑。不要等到有人把AI生成的虛假公告當(dāng)成官方通知再來補救。AI幻覺本身是一個概率問題不可能歸零。但攻擊者利用幻覺的前提是大多數(shù)系統(tǒng)沒有對它進行防御。只要我們在模型輸出和社會決策之間加一道核驗閘門就能把“利用幻覺”變成風(fēng)險很高、收益很低的路徑。這也正是我們在AI浪潮里真正要做的事——不是追求機器的絕對可靠而是保證人類在信任信息之前永遠(yuǎn)有辦法驗證它。