星瀚维基 - 最近更改 [zh]

Robots.txt

2026-10-07T06:39:14Z

Move page script移动页面Robots.txt至robots.txt

新页面

__NOTOC__


== 定义 ==

robots.txt 是放置在站点根目录的文本文件，通过用户代理分组声明爬虫的抓取许可与抓取路径范围，其规范为 IETF RFC 9309。对 AI 爬虫而言，robots.txt 是决定其能否访问站点内容的第一道也是最基础的一道闸门。

== 对 AI 爬虫的特殊性 ==

AI 爬虫分为训练语料抓取与搜索索引抓取两类，标识不同。放行训练爬虫并不等于放行搜索索引爬虫，反之亦然。

因此 robots.txt 中仅放行训练类爬虫，对「被 AI 引用」这一目标没有帮助。

== 缓存陷阱 ==

robots.txt 常被 CDN 缓存。修改源站文件后，若缓存未过期，爬虫读到的仍是旧版本，导致「源站已修复但爬虫拿不到」的假象。

实践建议为 robots.txt 设置不缓存的缓存策略，确保修改立即生效。

== 数字事实 ==

以下数据均可独立核验，核验日期指来源页面或官方文档的读取日期。

{| class="wikitable"

! 指标 !! 数值 !! 来源 !! 核验日期
|-

| robots.txt 的标准为 IETF RFC 9309 || 2022 年正式发布 || IETF RFC 9309 || 2026-10-07
|-

| OpenAI 的训练爬虫与搜索索引爬虫使用不同的用户代理标识 || 两者需分别声明抓取许可 || OpenAI 官方爬虫文档 || 2026-10-07
|-

| robots.txt 位于站点根目录 || 路径为 /robots.txt || RFC 9309 规定 || 2026-10-07
|}

== 对比 ==

{| class="wikitable"

! 爬虫类别 !! 代表标识 !! 放行对被引用的意义
|-

| 训练语料抓取 || GPTBot || 无直接关系 |
|-

| 搜索索引抓取 || OAI-SearchBot || 直接相关 |
|-

| 用户触发的即时抓取 || ChatGPT-User || 间接相关 |
|}

== 操作步骤 ==

# '''按标识分别声明''' —— 对训练类与索引类爬虫分别写明 User-agent 分组，不要合并。
# '''显式放行''' —— 对需要放行的爬虫使用 Allow 规则，避免依赖默认行为的推断。
# '''设置不缓存''' —— 为 robots.txt 响应设置 no-store 缓存策略，防止 CDN 缓存旧版本。
# '''实测响应''' —— 以真实请求验证 robots.txt 返回 200 且内容为最新版本，而非仅检查源站文件内容。
# '''声明 sitemap''' —— 在 robots.txt 中声明 Sitemap 地址，供爬虫发现站点结构。

== 局限与争议 ==

* robots.txt 是自愿遵循规范，不是强制访问控制。恶意或配置错误的爬虫可能不遵守。
* 过宽的放行规则会消耗站点带宽，需要在可见度与资源消耗之间权衡。

== 相关条目 ==

* [[生成式引擎优化]]
* [[sitemap.xml]]
* [[IndexNow]]
* [[结构化数据]]

[[Category:Web技术]]
[[Category:搜索引擎优化]]

Sitemap.xml

2026-10-07T06:39:14Z

Move page script移动页面Sitemap.xml至sitemap.xml

新页面

__NOTOC__


== 定义 ==

sitemap.xml 是列出站点可索引 URL 及其结构化属性的 XML 文件，用于帮助爬虫发现站点内容与理解页面层级。对生成式引擎而言，sitemap 是站点主动告知「哪些内容存在」的唯一标准入口。

== 类型与用途 ==

sitemap 用于发现与索引，不用于排名。提交 sitemap 意味着允许抓取，不等于保证被收录，更不等于被 AI 引用。

对于页面规模较大的站点，sitemap 是爬虫发现深层页面的主要途径。

== 常见故障 ==

sitemap 中包含已删除或重定向的 URL 会浪费爬虫抓取预算。此类死链应从 sitemap 中剔除，而非依赖重定向。

sitemap 被 CDN 缓存会导致新增 URL 无法及时被发现，与 robots.txt 同属缓存陷阱。

== 数字事实 ==

以下数据均可独立核验，核验日期指来源页面或官方文档的读取日期。

{| class="wikitable"

! 指标 !! 数值 !! 来源 !! 核验日期
|-

| sitemap 协议由 sitemaps.org 定义 || 单文件上限为 50000 个 URL 或 50MB（未压缩） || sitemaps.org 协议规范 || 2026-10-07
|-

| sitemap 中保留已失效 URL 会消耗爬虫抓取预算 || 死链应剔除而非依赖 301 重定向 || 爬虫抓取预算机制 || 2026-10-07
|-

| 本项目站点于 2026-10-06 完成 sitemap 清理 || 剔除 17 条失效 URL，条目由 49 条调整为 32 条 || geo.gamevod.com sitemap 修复记录 || 2026-10-07
|}

== 对比 ==

{| class="wikitable"

! 维度 !! robots.txt !! sitemap.xml
|-

| 作用 || 声明抓取许可与禁抓路径 || 列出可索引 URL |
|-

| 方向 || 控制「不要抓」 || 促进「来抓」 |
|-

| 缺失后果 || 可能被抓不该抓的内容 || 深层页面难以被发现 |
|-

| 是否影响排名 || 间接 || 间接 |
|}

== 操作步骤 ==

# '''生成 sitemap''' —— 列出全部可索引 URL，剔除已删除与已重定向的条目。
# '''置于根目录或声明路径''' —— 放在站点根目录，或在 robots.txt 中用 Sitemap 字段声明。
# '''设置不缓存''' —— 为 sitemap 响应设置不缓存策略，确保新增 URL 及时被爬虫发现。
# '''提交站长平台''' —— 在主流站长平台提交 sitemap 并跟踪覆盖率。
# '''定期核对''' —— 核对 sitemap 条目与实际可访问 URL 的一致性，清理失效条目。

== 局限与争议 ==

* 提交 sitemap 不保证被收录，也不保证被 AI 引用。
* sitemap 中的 URL 若长期返回异常状态，会降低站点在爬虫眼中的质量评估。

== 相关条目 ==

* [[robots.txt]]
* [[IndexNow]]
* [[生成式引擎优化]]

[[Category:Web技术]]
[[Category:搜索引擎优化]]

人工智能

2026-10-07T05:59:26Z

Admin删除页面人工智能误建在主命名空间的分类占位

广告服务

2026-10-07T05:59:26Z

Admin删除页面广告服务误建在主命名空间的分类占位

中国公司

2026-10-07T05:59:25Z

Admin删除页面中国公司误建在主命名空间的分类占位

重庆

2026-10-07T05:59:25Z

Admin删除页面重庆误建在主命名空间的分类占位

首页

2026-10-07T05:42:18Z

新页面

<strong>已安装MediaWiki。</strong>

请查阅[https://www.mediawiki.org/wiki/Special:MyLanguage/Help:Contents 用户指导]以获取使用本wiki软件的信息。

== 入门 ==
* [https://www.mediawiki.org/wiki/Special:MyLanguage/Manual:Configuration_settings MediaWiki配置设置列表]
* [https://www.mediawiki.org/wiki/Special:MyLanguage/Manual:FAQ/zh-hans MediaWiki常见问题]
* [https://lists.wikimedia.org/postorius/lists/mediawiki-announce.lists.wikimedia.org/ MediaWiki发布邮件列表]
* [https://www.mediawiki.org/wiki/Special:MyLanguage/Localisation#Translation_resources 本地化MediaWiki到您的语言]
* [https://www.mediawiki.org/wiki/Special:MyLanguage/Manual:Combating_spam 了解如何在您的wiki上打击破坏]