開發(fā)網(wǎng)站的朋友應(yīng)該都體驗過這樣的場景你認(rèn)真寫好了一份llms.txt放在服務(wù)器根目錄也在本地用瀏覽器驗證過可以正常訪問結(jié)果幾個星期之后去翻訪問日志發(fā)現(xiàn)llms.txt的請求次數(shù)依然是 0。第一反應(yīng)可能是“我做錯什么了”第二反應(yīng)則是“這個文件到底有什么用”。這篇文章就圍繞“Nobody Fetched My Llms.txt”這個問題展開先講清楚llms.txt是什么、它的定位和工作方式再一步步排查為什么沒有爬蟲來讀取它最后給出可落地的優(yōu)化建議和最佳實踐。如果你正在給站點配置llms.txt或者已經(jīng)配置完成但看不到任何抓取記錄這篇內(nèi)容應(yīng)該能幫你少走彎路。文章里會包含文件格式、部署驗證、常見錯誤、抓取排查和工程建議代碼和命令都可以直接復(fù)制參考。1. llms.txt 到底是什么1.1 從“給人類看的首頁”到“給 AI 看的首頁”每個網(wǎng)站都有一個首頁人類的瀏覽器打開首頁后可以順著導(dǎo)航、文章列表和詳情頁一層層瀏覽。但大語言模型LLM的爬蟲在訪問網(wǎng)站時并不像人一樣能輕松理解復(fù)雜的頁面結(jié)構(gòu)。JavaScript 渲染的內(nèi)容、彈窗、廣告、移動端隱藏區(qū)塊都會干擾 AI 對站點核心內(nèi)容的理解。llms.txt的出現(xiàn)就是想讓網(wǎng)站提供一個簡化、純文本、集中的“給 AI 看的入口頁”。它通常放在網(wǎng)站根目錄下例如https://example.com/llms.txt里面用 Markdown 短句描述站點定位并列出最重要的內(nèi)容鏈接。這樣AI 爬蟲不需要解析大量 HTML就能快速判斷“這個站點有什么、哪些頁面值得讀”?？梢园阉斫鉃閞obots.txt告訴搜索引擎“哪些能爬哪些不能爬”。sitemap.xml告訴搜索引擎“你有哪些 URL 需要收錄”。llms.txt告訴大模型“我的網(wǎng)站核心內(nèi)容是什么從哪里開始閱讀”。這二者并不是競爭關(guān)系而是互補(bǔ)關(guān)系。llms.txt更強(qiáng)調(diào)內(nèi)容的組織與可讀性而不是抓取規(guī)則。1.2 llms.txt 解決的是“發(fā)現(xiàn)效率”問題大模型廠商訓(xùn)練模型或做聯(lián)網(wǎng)檢索時不可能把整張互聯(lián)網(wǎng)無差別爬完。它們更傾向于先收集高價值文本再通過檢索增強(qiáng)生成RAG等方式把網(wǎng)頁內(nèi)容作為知識來源。如果站點信息散落在幾十個頁面里AI 爬蟲需要層層跳轉(zhuǎn)還要過濾導(dǎo)航、推薦、評論等噪聲。llms.txt則把最核心的介紹和鏈接集中在一個純文本文件里顯著降低了 AI 理解站點的成本。因此llms.txt的核心價值不是“被所有人看見”而是“讓愿意查看的 AI 爬蟲用最低成本理解你”。1.3 為什么有人配置了卻無人讀取llms.txt屬于新生事物雖然有越來越多的模型廠商和研究項目在關(guān)注但它還不是像robots.txt那樣默認(rèn)必須讀取的標(biāo)準(zhǔn)。很多爬蟲沒有強(qiáng)制讀取這個文件搜索引擎的索引系統(tǒng)也沒有把它列入核心排名因素。也就是說你配置了llms.txt只是準(zhǔn)備好了一份“給 AI 看的簡歷”但并沒有一個中央機(jī)構(gòu)會自動來抓取它。所以“Nobody Fetched My Llms.txt”并不一定意味著你配置錯誤。在進(jìn)入排查之前我們需要先確認(rèn)自己的技術(shù)實現(xiàn)是否符合規(guī)范再判斷是不是“等待窗口”還沒結(jié)束。2. 環(huán)境準(zhǔn)備與前置條件2.1 你需要準(zhǔn)備什么要配置和排查llms.txt建議先準(zhǔn)備好以下環(huán)境一個已經(jīng)正常訪問的域名或站點例如https://example.com。能夠修改站點根目錄文件的權(quán)限比如通過 FTP、服務(wù)器文件管理器或 DevOps 流水線。一個可以請求公網(wǎng)域名的終端環(huán)境用于curl驗證。如果在 Nginx 或 CDN 前面需要了解對應(yīng)的響應(yīng)頭、重定向和緩存策略。版本方面llms.txt本身不依賴特定操作系統(tǒng)或編程語言。無論站點是靜態(tài)頁面、WordPress、Next.js、Vue 還是 Nginx 靜態(tài)目錄只要能在根目錄輸出一個名為llms.txt的純文本文件即可。不同框架的示例可能略有差異你可以根據(jù)自己的項目結(jié)構(gòu)調(diào)整。2.2 規(guī)范仍在演進(jìn)需要特別說明的是llms.txt的格式約定還處于早期階段不同廠商和工具的解釋并不完全一致。目前社區(qū)主流建議是使用一個 UTF-8 編碼、以 Markdown 鏈接列表為主的純文本文件。但未來可能會有更多頭部模型廠商定義自己的擴(kuò)展字段。因此本文給出的格式是“當(dāng)前主流建議”不保證能適配每一家爬蟲但可以保證是兼容性較高的通用寫法。在動手之前先做一個最基礎(chǔ)的開源思路讓文件盡量簡單少放復(fù)雜的 HTML 標(biāo)簽或自定義 JSON 結(jié)構(gòu)。爬蟲需要的不是花樣而是穩(wěn)定的文本內(nèi)容。3. 創(chuàng)建一個規(guī)范的 llms.txt3.1 最小可用文件一個最簡llms.txt文件可以只包含三部分第一行一級標(biāo)題。第二行一段引用簡介。后續(xù)行按 Markdown 格式列出的重要鏈接。下面是一個文本示例# Example Site Example Site 是一個提供 Python 后端教程和開源工具的中文技術(shù)站點內(nèi)容覆蓋 FastAPI、Django、數(shù)據(jù)庫設(shè)計和項目部署。 - [Python 后端教程](https://example.com/python): 從環(huán)境搭建到項目上線的完整教程 - [FastAPI 實戰(zhàn)](https://example.com/fastapi): 使用 FastAPI 構(gòu)建 REST API - [開源項目](https://github.com/example/example-project): 后端腳手架與部署腳本這里需要注意的是llms.txt并不是完整的 Markdown 文檔而是“摘要 精選鏈接”的組合。鏈接數(shù)量不要貪多建議保留 10 到 20 個最重要的入口。如果鏈接太多反而失去了“快速理解”的意義。3.2 使用純文本而不是 HTML很多開發(fā)者會下意識地寫成 HTML 文件比如html body h1Example Site/h1 a hrefhttps://example.comExample/a /body /html這種寫法對人和瀏覽器都很常見但llms.txt的核心命名和訪問方式要求它是文本文件。雖然某些爬蟲可能也能從 HTML 中提取內(nèi)容但最好嚴(yán)格按照純文本格式輸出。MIME 類型建議設(shè)置為text/plain字符集建議顯式為UTF-8。如果你擔(dān)心格式不被理解可以把鏈接末尾的說明文字寫成一句完整的話。這樣即使爬蟲不解析 Markdown也能從純文本中讀到關(guān)鍵信息。3.3 文件的存放位置文件名必須叫l(wèi)lms.txt全部小寫不要寫成LLMS.txt或Llms.Txt。服務(wù)器是否區(qū)分大小寫取決于操作系統(tǒng)但為了避免不必要的麻煩一律使用小寫。文件應(yīng)該放在域名根目錄也就是https://example.com/llms.txt而不是https://example.com/content/llms.txt https://example.com/static/llms.txt雖然某些爬蟲可能會遞歸發(fā)現(xiàn)子路徑下的文件但官方倡議和大多數(shù)文檔默認(rèn)讀取根目錄地址。放在根目錄是最保守、兼容性最高的做法。3.4 是否需要生成動態(tài)內(nèi)容如果你的站點本身就是動態(tài)站點可以把llms.txt做成動態(tài)接口但要注意響應(yīng)頭和緩存。比如 Nginx 配置中可以直接映射到本地文件也可以由后端返回字符串。只要最終響應(yīng)是純文本并且根路徑可訪問就行。動態(tài)生成的好處是能自動更新鏈接和簡介壞處是需要額外保證性能與穩(wěn)定性。對于個人博客靜態(tài)文件通常已經(jīng)夠用。4. 部署與本地驗證4.1 部署到服務(wù)器以最常見的 Nginx 靜態(tài)站點為例如果你把llms.txt文件放在/var/www/example.com/llms.txtNginx 默認(rèn)會根據(jù)文件擴(kuò)展名返回text/plain或application/octet-stream。為了保險可以顯式加上一層配置server { listen 80; server_name example.com; root /var/www/example.com; index index.html; location /llms.txt { default_type text/plain; charsetutf-8; add_header Cache-Control no-cache; } }配置完成后重新加載 Nginxsudo nginx -t sudo systemctl reload nginx這段配置的作用是當(dāng)請求/llms.txt時明確返回text/plain和 UTF-8 字符集同時關(guān)閉緩存方便后續(xù)更新內(nèi)容時能快速被新的爬蟲請求讀取到。4.2 用 curl 模擬抓取部署完成后使用curl模擬爬蟲的請求檢查返回內(nèi)容curl -i https://example.com/llms.txt期望輸出類似下面這樣HTTP/2 200 content-type: text/plain; charsetutf-8 cache-control: no-cache # Example Site Example Site 是一個提供 Python 后端教程和開源工具的中文技術(shù)站點...重點看兩個地方狀態(tài)碼是否是200響應(yīng)頭中content-type是否是text/plain或我們配置的值。如果看到301或302說明請求可能被重定向到了首頁或其他位置需要進(jìn)一步處理重定向規(guī)則。如果你啟用了 CDN還需要檢查 CDN 節(jié)點上是否存在緩存版本?？稍谡埱箢^中加一個隨機(jī)查詢參數(shù)來測試不過這里不建議在公開 URL 上隨意加參數(shù)因為爬蟲不會自動加上。你可以在 CDN 控制臺中進(jìn)行緩存刷新確認(rèn)源站的響應(yīng)正確。4.3 檢查 robots.txt 是否允許讀取robots.txt可能會影響某些遵循協(xié)議的爬蟲。雖然沒有統(tǒng)一標(biāo)準(zhǔn)說“必須先看 robots.txt”但如果你的robots.txt禁止了所有爬蟲那么一些 LLM 爬蟲也可能遵守這個限制?？梢栽趓obots.txt中為常見 AI 爬蟲添加規(guī)則例如User-agent: * Allow: /更保守一點你不希望其他爬蟲進(jìn)入后臺但希望 LLM 爬蟲讀取llms.txt可以用類似下面這種方式User-agent: * Disallow: /admin/ Allow: /llms.txt這是一種兜底策略具體爬蟲是否遵守要看它們的實現(xiàn)。需要注意的是不要因為擔(dān)心抓取不足就把robots.txt全部刪掉這可能會帶來更大的安全和合規(guī)風(fēng)險。4.4 使用瀏覽器無痕窗口訪問除了命令行還可以用瀏覽器無痕窗口直接訪問https://example.com/llms.txt。正常情況下瀏覽器會直接顯示文本內(nèi)容而不是觸發(fā)下載。如果瀏覽器提示下載說明 Content-Type 可能被配置成了application/octet-stream這會降低部分爬蟲的讀取意愿需要按上面的 Nginx 配置修改。到這里文件已經(jīng)部署成功。但“部署成功”和“被爬蟲訪問”之間還有很長一段距離。接下來我們重點排查“為什么沒有被抓取”。5. 排查為什么 Nobody Fetched My Llms.txt5.1 檢查訪問日志與 CDN 日志先說一個容易誤判的情況你看著 CDN 控制臺里的統(tǒng)計沒有l(wèi)lms.txt請求于是以為“沒人抓取”但可能 CDN 把靜態(tài)文件緩存了后續(xù)請求全部命中節(jié)點不會每次回源。因此第一件事是同時查看源站訪問日志、CDN 訪問日志和 CDN 命中率。如果本地日志格式默認(rèn)包含請求路徑可以臨時用命令快速過濾grep llms.txt /var/log/nginx/access.log | tail -20如果暫時沒有請求先不要慌。llms.txt不是搜索引擎的“收錄提交接口”它不會像sitemap.xml提交后立刻被 PING 抓取。它的傳播依賴的是爬蟲主動發(fā)現(xiàn)和嘗試讀取。5.2 常見原因清單下面這張表列出了“配置了 llms.txt 卻沒被讀取”的高頻原因問題現(xiàn)象常見原因解決思路日志完全沒有請求爬蟲還沒發(fā)現(xiàn)這個文件名在首頁加入鏈接通過 sitemap 暴露等待更長時間請求出現(xiàn) 404文件路徑不對或大小寫錯誤檢查根目錄llms.txt是否存在確保小寫請求返回 301/302站點強(qiáng)制跳轉(zhuǎn) HTTPS 或新增尾斜杠檢查重定向規(guī)則保持/llms.txt最終可訪問請求返回 200 但內(nèi)容為空文件編碼或服務(wù)器配置異常用 curl 檢查響應(yīng)體確認(rèn)非空爬蟲請求被防火墻攔截WAF 規(guī)則誤判純文本請求查看安全日志添加白名單或調(diào)整規(guī)則所有請求都命中 CDN 緩存源站沒有回源日志里看不到刷新 CDN 緩存或?qū)Ρ?CDN 日志爬蟲遵守 robots.txt 且被禁止規(guī)則過于嚴(yán)格允許爬蟲訪問根目錄和/llms.txt文件內(nèi)容過于簡略爬蟲認(rèn)為不值得讀取豐富內(nèi)容增加高質(zhì)量說明文字5.3 你的站點的“外鏈曝光度”不足再想一個細(xì)節(jié)爬蟲不會主動在全網(wǎng)搜索“誰的根目錄有 llms.txt”除非它們已經(jīng)在訪問你的主頁或者從其他高質(zhì)量站點鏈接中發(fā)現(xiàn)了你的域名。如果你的網(wǎng)站在搜索引擎中權(quán)重不高、外部鏈接很少那么爬蟲訪問到你站點的概率自然低。這不是llms.txt格式的問題而是站點的整體可見度問題。你可以在首頁、關(guān)于頁、README 或開發(fā)者文檔中顯式添加AI 閱讀入口https://example.com/llms.txt這樣即使普通爬蟲抓取了首頁也可能順著鏈接去找llms.txt。同時如果參與了一些開源社區(qū)、公眾號或技術(shù)平臺的活動外部鏈接增多后被爬蟲再次訪問的概率也會提升。5.4 是否提交到過官方社區(qū)或聚合目錄目前l(fā)lms.txt相關(guān)的社區(qū)、目錄和討論還在快速增長。某些項目會提供“站點提交”功能但這類提交并不等同于保證抓取。如果你愿意可以關(guān)注 GitHub 上關(guān)于llms.txt的討論倉庫、相關(guān) Awesome 列表加入自己的站點鏈接。但要注意不要四處亂發(fā)鏈接以免被當(dāng)成垃圾外鏈。更穩(wěn)妥的方式是讓站點內(nèi)容本身有被檢索的價值。llms.txt只負(fù)責(zé)把內(nèi)容更容易地遞給 AI但 AI 是否愿意訪問取決于你的主題是否對它有參考意義。也就是說內(nèi)容質(zhì)量依然是最核心的變量。5.5 等待期與爬蟲更新節(jié)奏新的文件格式從提出到被廣泛支持需要一個較長的周期。有些大型模型廠商已經(jīng)在研究和適配llms.txt但它們的調(diào)度頻率可能以周甚至月為單位。換句話說可能爬蟲確實“最終會來”只是還沒到抓取周期。建議做法是把llms.txt當(dāng)成長期資產(chǎn)來維護(hù)而不是發(fā)布后天天盯日志。你可以設(shè)置一個提醒每兩周檢查一次請求日志如果兩個月內(nèi)完全沒有記錄再考慮更高頻的外部曝光策略。6. 如何提高 llms.txt 被讀取的概率6.1 在首頁正文中自然放置鏈接很多爬蟲會從首頁開始爬取。如果首頁 HTML 中完全沒有出現(xiàn)llms.txt那爬蟲即使訪問了首頁也沒理由繼續(xù)請求這個文件。你可以在頁面底部或“關(guān)于本站”區(qū)域加入類似文字a hrefhttps://example.com/llms.txt relnofollowAI 可讀版本/a添加relnofollow不是必須的。如果你希望爬蟲把它當(dāng)作普通鏈接發(fā)現(xiàn)可以用正常鏈接。不過請不要把它放在導(dǎo)航欄中以免干擾普通用戶體驗。6.2 在 sitemap.xml 中添加地址llms.txt是一個文本文件但它是一個可以公開訪問的 URL。在sitemap.xml中加入它是合法的可以讓搜索引擎和部分爬蟲額外發(fā)現(xiàn)這個地址urlset xmlnshttp://www.sitemaps.org/schemas/sitemap/0.9 url lochttps://example.com/llms.txt/loc /url /urlset提交之后可能不會立刻帶來爬蟲但至少多了一個被發(fā)現(xiàn)的渠道。注意sitemap.xml的 URL 集合一般面向網(wǎng)頁把文本文件放進(jìn)去不會影響其他頁面收錄但具體是否采用取決于爬蟲實現(xiàn)。6.3 保證鏈接長期可用和內(nèi)容更新爬蟲讀取一次之后如果發(fā)現(xiàn)文件內(nèi)容長期不更新后續(xù)訪問頻率也可能降低。更新llms.txt時建議保留結(jié)構(gòu)穩(wěn)定不要頻繁改文件名。如果站點新增了重要文章可以在對應(yīng)章節(jié)追加鏈接也可以在簡介里調(diào)整一到兩句話。這里有一個容易忽略的點llms.txt里的鏈接必須是可穩(wěn)定訪問的絕對地址不要使用相對路徑。因為爬蟲可能從句法上識別鏈接但相對路徑在純文本中并不總是能正確處理。6.4 給 CDN 和源站設(shè)置合理的緩存時間緩存對于性能很有幫助但如果你每次更新llms.txt后沒有刷新 CDN 緩存爬蟲拿到的可能是舊版本甚至因為舊版本看起來沒有變化而減少下一次訪問。建議對llms.txt設(shè)置較短的緩存過期時間或使用版本號思路但保持文件名不變。上面 Nginx 配置中Cache-Control no-cache就是一種保守做法。當(dāng)然較高的訪問量下為一個小文件頻繁回源也沒必要。可以設(shè)置max-age3600這類短緩存例如add_header Cache-Control public, max-age3600;這表示 CDN 和瀏覽器可以緩存一小時對于大多數(shù)爬蟲來說足夠了。7. 常見問題與進(jìn)一步排查7.1 為什么使用 curl 可以訪問但爬蟲沒有記錄大部分情況下這屬于“爬蟲還沒來”的等待期問題。你可以先確認(rèn)是否有GPTBot、ClaudeBot、Google-Extended等常見 AI 爬蟲的 UA 訪問過站點。在沒有訪問記錄前先判斷是否被 WAF 或地區(qū)限制攔住了。有些防火墻會攔截非瀏覽器的 User-Agent導(dǎo)致爬蟲請求到達(dá)服務(wù)器前就被丟掉。你可以在安全日志中搜索llms.txt確認(rèn)有沒有被攔截的記錄。如果確實被攔截解決方法是在 WAF 中放行包含常用 AI 爬蟲 User-Agent 的 GET 請求并且只允許訪問公開目錄。不要為了放行而關(guān)閉整個 WAF安全邊界比抓取更重要。7.2 是否需要把 llms.txt 提交到搜索引擎站長平臺搜索引擎的站長平臺主要面向普通 Web 頁面收錄目前沒有統(tǒng)一的llms.txt提交入口。你可以在站長平臺中提交首頁或sitemap.xml讓搜索引擎更快地索引站點整體地址但不能保證它一定讀取llms.txt。所以不要把“提交站長平臺”和“提交 llms.txt”混為一談。未來會不會出現(xiàn)針對 LLM 內(nèi)容的站長平臺或目錄目前還不確定?，F(xiàn)階段可以把它理解為“內(nèi)容協(xié)作規(guī)范”而不是“提交協(xié)議”。7.3 如何在 Apache 中設(shè)置響應(yīng)頭如果你使用的是 Apache 而不是 Nginx可以在.htaccess或虛擬主機(jī)配置中添加Files llms.txt ForceType text/plain Header set Cache-Control no-cache /Files配置完成后重啟 Apache 并驗證。核心思路和 Nginx 一樣確保純文本輸出、編碼正確、緩存策略合理。7.4 如何檢查是否有爬蟲讀取到了舊版本如果你使用的是 Git 管理的靜態(tài)站點可以在部署腳本里輸出llms.txt的變更時間。也可以在服務(wù)端給llms.txt增加一個自定義響應(yīng)頭add_header X-LLMs-Txt-Version 20250118;當(dāng)你在日志中看到X-LLMs-Txt-Version時說明某次請求已經(jīng)拿到了特定版本。這個頭對爬蟲沒有決定作用但能方便你判斷緩存是否刷新。7.5 是否可以把 llms.txt 寫成 JSON不建議。雖然 JSON 是機(jī)器可讀的但llms.txt的社區(qū)共識是純文本 Markdown 風(fēng)格。如果你同時提供llms.json也不會對現(xiàn)狀產(chǎn)生什么幫助反而會分散注意力。讓文件保持簡單才更容易被不同實現(xiàn)兼容。8. 最佳實踐與工程建議8.1 內(nèi)容設(shè)計原則寫llms.txt時始終站在“一個第一次訪問你網(wǎng)站 AI”的角度思考。你不需要把所有文章都放進(jìn)去只需要告訴它這個網(wǎng)站是誰。它主要提供什么價值。最值得讀的 5 到 15 個鏈接。簡介部分建議控制在 3 到 5 句話內(nèi)。鏈接的錨文本不要太長但也不要只寫“點擊這里”。錨文本要能描述目標(biāo)內(nèi)容。比如“FastAPI 中文入門教程”就比“文章”更有價值。8.2 不要放入敏感信息很多人會把llms.txt理解為“給 AI 看的全部內(nèi)容”于是把后臺地址、內(nèi)部 API、數(shù)據(jù)庫地址也放了進(jìn)去。這是非常危險的做法。llms.txt是公開文件任何人都能訪問。里面只放你想公開分享的鏈接和信息權(quán)限相關(guān)的內(nèi)容一律不要出現(xiàn)。同時不要生成任何包含用戶隱私或個人身份信息的自動摘要。如果你用程序自動生成必須做脫敏和過濾。8.3 日志監(jiān)控與異常告警llms.txt只是一個小文件但它能反映 AI 爬蟲對你的站點關(guān)注度。建議單獨(dú)在訪問日志中記錄該文件的狀態(tài)碼。比如使用 Nginx 的 map 或簡單的 awk 過濾請求路徑將非 200 狀態(tài)碼發(fā)送到告警系統(tǒng)。這樣可以及時發(fā)現(xiàn)路徑失效、權(quán)限變更等問題。一個簡單的手動監(jiān)控腳本思路#!/bin/bash urlhttps://example.com/llms.txt code$(curl -s -o /dev/null -w %{http_code} --max-time 10 $url) if [ $code ! 200 ]; then echo llms.txt 返回異常狀態(tài)碼: $code fi腳本可以放到定時任務(wù)里每天檢查一次。生產(chǎn)環(huán)境中建議在測試環(huán)境多次驗證后再執(zhí)行避免頻繁請求對源站產(chǎn)生壓力。8.4 與站點改版聯(lián)動當(dāng)你做網(wǎng)站改版、遷移域名或修改目錄結(jié)構(gòu)時很容易忘記更新llms.txt里的鏈接。建議把llms.txt納入發(fā)布清單和robots.txt、sitemap.xml一起檢查。如果網(wǎng)站使用了批量生成工具可以寫一個簡單腳本自動抓取站點最新文章的標(biāo)題和 URL生成llms.txt。但要注意自動化生成不要破壞文件頂部的固定簡介和重點鏈接。比較合理的做法是把人工維護(hù)的“恒定部分”和程序生成的“最新文章部分”分開最終合并輸出。8.5 不要為了抓取而不顧規(guī)范有些站點為了吸引 AI 爬蟲會在llms.txt里堆滿關(guān)鍵詞或者編造不存在的鏈接。這樣做短期內(nèi)可能被某個爬蟲多訪問一次但長期損害的是站點信譽(yù)。大模型廠商很可能會對低質(zhì)量內(nèi)容做降權(quán)甚至直接忽略。所以llms.txt的使用應(yīng)當(dāng)遵循“真實、簡潔、穩(wěn)定”的原則。所有鏈接都應(yīng)該可訪問簡介應(yīng)該和實際內(nèi)容匹配不能為了“AI 好看”而寫一套和網(wǎng)頁內(nèi)容完全不一致的文字。9. 寫在最后回到最初的困惑為什么llms.txt沒人抓取最直接的原因是它還不是一個所有爬蟲默認(rèn)讀取的強(qiáng)制協(xié)議更像是一份“給 AI 提供的主動合作文件”。你部署它相當(dāng)于在網(wǎng)站門口立了一塊清晰的指示牌但門口沒有專門負(fù)責(zé)讀指示牌的人。因此“沒被抓取”大概率不是配置失敗而是發(fā)現(xiàn)機(jī)制尚未成熟。下一步你可以做三件事再次檢查llms.txt的格式、路徑、響應(yīng)頭和緩存策略確保它時刻可訪問。在首頁、sitemap 和技術(shù)社區(qū)外鏈中增加它的曝光讓爬蟲有機(jī)會發(fā)現(xiàn)。持續(xù)更新內(nèi)容把這些內(nèi)容當(dāng)成一種長期資產(chǎn)去維護(hù)。如果你已經(jīng)完成了這些還是遲遲等不到請求也不用過度焦慮。llms.txt才剛剛開始被更多人討論早一點把基礎(chǔ)打扎實等到各類模型廠商普遍支持的時候你的站點已經(jīng)比別人多走了一步。多嘗試一些網(wǎng)站觀察別人的格式和更新頻率也許你會找到更適合自己站點的做法。希望這篇文章能幫你理清思路如果你的llms.txt也遇到類似的冷啟動問題不妨從今天開始按照上面的清單逐項排查。