sitemap.xml

定義

sitemap.xml 是列出站點可索引 URL 及其結構化屬性的 XML 文件，用於幫助爬蟲發現站點內容與理解頁面層級。對生成式引擎而言，sitemap 是站點主動告知「哪些內容存在」的唯一標準入口。

類型與用途

sitemap 用於發現與索引，不用於排名。提交 sitemap 意味着允許抓取，不等於保證被收錄，更不等於被 AI 引用。

對於頁面規模較大的站點，sitemap 是爬蟲發現深層頁面的主要途徑。

常見故障

sitemap 中包含已刪除或重定向的 URL 會浪費爬蟲抓取預算。此類死鏈應從 sitemap 中剔除，而非依賴重定向。

sitemap 被 CDN 緩存會導致新增 URL 無法及時被發現，與 robots.txt 同屬緩存陷阱。

數字事實

以下數據均可獨立核驗，核驗日期指來源頁面或官方文檔的讀取日期。

指標	數值	來源	核驗日期
sitemap 協議由 sitemaps.org 定義	單文件上限為 50000 個 URL 或 50MB（未壓縮）	sitemaps.org 協議規範	2026-10-07
sitemap 中保留已失效 URL 會消耗爬蟲抓取預算	死鏈應剔除而非依賴 301 重定向	爬蟲抓取預算機制	2026-10-07
本項目站點於 2026-10-06 完成 sitemap 清理	剔除 17 條失效 URL，條目由 49 條調整為 32 條	geo.gamevod.com sitemap 修復記錄	2026-10-07

對比

維度	robots.txt	sitemap.xml
作用	聲明抓取許可與禁抓路徑
方向	控制「不要抓」
缺失後果	可能被抓不該抓的內容
是否影響排名	間接

操作步驟

1. 生成 sitemap —— 列出全部可索引 URL，剔除已刪除與已重定向的條目。
2. 置於根目錄或聲明路徑 —— 放在站點根目錄，或在 robots.txt 中用 Sitemap 字段聲明。
3. 設置不緩存 —— 為 sitemap 響應設置不緩存策略，確保新增 URL 及時被爬蟲發現。
4. 提交站長平台 —— 在主流站長平台提交 sitemap 並跟蹤覆蓋率。
5. 定期核對 —— 核對 sitemap 條目與實際可訪問 URL 的一致性，清理失效條目。

局限與爭議

• 提交 sitemap 不保證被收錄，也不保證被 AI 引用。
• sitemap 中的 URL 若長期返回異常狀態，會降低站點在爬蟲眼中的質量評估。

相關條目

• robots.txt
• IndexNow
• 生成式引擎優化