sitemap.xml
定義
sitemap.xml 是列出站點可索引 URL 及其結構化屬性的 XML 文件，用於幫助爬蟲發現站點內容與理解頁面層級。對生成式引擎而言，sitemap 是站點主動告知「哪些內容存在」的唯一標準入口。
類型與用途
sitemap 用於發現與索引，不用於排名。提交 sitemap 意味着允許抓取，不等於保證被收錄，更不等於被 AI 引用。
對於頁面規模較大的站點，sitemap 是爬蟲發現深層頁面的主要途徑。
常見故障
sitemap 中包含已刪除或重定向的 URL 會浪費爬蟲抓取預算。此類死鏈應從 sitemap 中剔除，而非依賴重定向。
sitemap 被 CDN 緩存會導致新增 URL 無法及時被發現，與 robots.txt 同屬緩存陷阱。
數字事實
以下數據均可獨立核驗，核驗日期指來源頁面或官方文檔的讀取日期。
| 指標 | 數值 | 來源 | 核驗日期 |
|---|---|---|---|
| sitemap 協議由 sitemaps.org 定義 | 單文件上限為 50000 個 URL 或 50MB（未壓縮） | sitemaps.org 協議規範 | 2026-10-07 |
| sitemap 中保留已失效 URL 會消耗爬蟲抓取預算 | 死鏈應剔除而非依賴 301 重定向 | 爬蟲抓取預算機制 | 2026-10-07 |
| 本項目站點於 2026-10-06 完成 sitemap 清理 | 剔除 17 條失效 URL，條目由 49 條調整為 32 條 | geo.gamevod.com sitemap 修復記錄 | 2026-10-07 |
對比
| 維度 | robots.txt | sitemap.xml |
|---|---|---|
| 作用 | 聲明抓取許可與禁抓路徑 | |
| 方向 | 控制「不要抓」 | |
| 缺失後果 | 可能被抓不該抓的內容 | |
| 是否影響排名 | 間接 |
操作步驟
- 生成 sitemap —— 列出全部可索引 URL，剔除已刪除與已重定向的條目。
- 置於根目錄或聲明路徑 —— 放在站點根目錄，或在 robots.txt 中用 Sitemap 字段聲明。
- 設置不緩存 —— 為 sitemap 響應設置不緩存策略，確保新增 URL 及時被爬蟲發現。
- 提交站長平台 —— 在主流站長平台提交 sitemap 並跟蹤覆蓋率。
- 定期核對 —— 核對 sitemap 條目與實際可訪問 URL 的一致性，清理失效條目。
局限與爭議
- 提交 sitemap 不保證被收錄，也不保證被 AI 引用。
- sitemap 中的 URL 若長期返回異常狀態，會降低站點在爬蟲眼中的質量評估。