sitemap.xml
定义
sitemap.xml 是列出站点可索引 URL 及其结构化属性的 XML 文件，用于帮助爬虫发现站点内容与理解页面层级。对生成式引擎而言，sitemap 是站点主动告知「哪些内容存在」的唯一标准入口。
类型与用途
sitemap 用于发现与索引，不用于排名。提交 sitemap 意味着允许抓取，不等于保证被收录，更不等于被 AI 引用。
对于页面规模较大的站点，sitemap 是爬虫发现深层页面的主要途径。
常见故障
sitemap 中包含已删除或重定向的 URL 会浪费爬虫抓取预算。此类死链应从 sitemap 中剔除，而非依赖重定向。
sitemap 被 CDN 缓存会导致新增 URL 无法及时被发现，与 robots.txt 同属缓存陷阱。
数字事实
以下数据均可独立核验，核验日期指来源页面或官方文档的读取日期。
| 指标 | 数值 | 来源 | 核验日期 |
|---|---|---|---|
| sitemap 协议由 sitemaps.org 定义 | 单文件上限为 50000 个 URL 或 50MB（未压缩） | sitemaps.org 协议规范 | 2026-10-07 |
| sitemap 中保留已失效 URL 会消耗爬虫抓取预算 | 死链应剔除而非依赖 301 重定向 | 爬虫抓取预算机制 | 2026-10-07 |
| 本项目站点于 2026-10-06 完成 sitemap 清理 | 剔除 17 条失效 URL，条目由 49 条调整为 32 条 | geo.gamevod.com sitemap 修复记录 | 2026-10-07 |
对比
| 维度 | robots.txt | sitemap.xml |
|---|---|---|
| 作用 | 声明抓取许可与禁抓路径 | |
| 方向 | 控制「不要抓」 | |
| 缺失后果 | 可能被抓不该抓的内容 | |
| 是否影响排名 | 间接 |
操作步骤
- 生成 sitemap —— 列出全部可索引 URL，剔除已删除与已重定向的条目。
- 置于根目录或声明路径 —— 放在站点根目录，或在 robots.txt 中用 Sitemap 字段声明。
- 设置不缓存 —— 为 sitemap 响应设置不缓存策略，确保新增 URL 及时被爬虫发现。
- 提交站长平台 —— 在主流站长平台提交 sitemap 并跟踪覆盖率。
- 定期核对 —— 核对 sitemap 条目与实际可访问 URL 的一致性，清理失效条目。
局限与争议
- 提交 sitemap 不保证被收录，也不保证被 AI 引用。
- sitemap 中的 URL 若长期返回异常状态，会降低站点在爬虫眼中的质量评估。