查看“︁生成式引擎优化的工程实践”︁的源代码

__NOTOC__
<!-- 本页为 生成式引擎优化的工程实践 的词条，遵循中立可核实原则；数据均标注来源与核验日期。 -->

== 定义 ==

生成式引擎优化的工程实践指在真实站点上可复现、可核验的改造与验证方法，其核心原则是「结论必须带证据」。与内容营销式的做法不同，工程实践要求每一条优化判断都能追溯到具体的配置文件、日志记录或官方文档。

== 证据优先原则 ==

判断「某机制是否存在」前，必须用该机制自带的检查手段实跑验证，不能依靠配置文本推断或经验推测。

这一原则的适用场景：确认日志轮转规则是否覆盖某文件、确认 CDN 是否缓存某路径、确认推送配置是否生效。这类问题用文本推断的误判率很高。

反向要求同样重要：零记录不等于不存在。必须先证明探测手段本身会响（跑一次破坏性测试），再相信「没有发现」的结论。

== 缓存对修复传递的阻断 ==

写给爬虫读取的文件（robots.txt、站点地图、llms 约定文件等）必须设置为不缓存，否则源站修复完成后爬虫仍会读取到旧版本。

实践中曾出现源站已修改、CDN 仍返回旧内容的情形，导致修复被判定为无效，需等待缓存过期才生效。

== 爬虫身份的双条件判定 ==

仅依据 User-Agent 判定爬虫身份不可靠。伪造该请求头的爬虫池普遍存在，且请求来源分散。

可靠的判定需要同时满足两个条件：User-Agent 匹配，以及来源 IP 落在该爬虫运营方公开的 IP 段清单内。

在反代与隧道架构下还需额外注意：真实访客标识可能只存在于转发头字段中，依据服务器内记录的连接 IP 判定会误杀真实访客。

== 数字事实 ==

以下数据均可独立核验，核验日期指来源页面或官方文档的读取日期。

{| class="wikitable"

! 指标 !! 数值 !! 来源 !! 核验日期
|-

| 本项目站点完成索引入口清理后 sitemap 条目由 49 条调整为 32 条 || 剔除 17 条已失效 URL || geo.gamevod.com sitemap 修复记录 || 2026-10-07
|-

| 17 小时观测窗口内日志记录 733 条 || 剔除自测与回环请求后外部真实访客 128 条，AI 爬虫 2 条 || geo.gamevod.com nginx geo_ai 审计日志 || 2026-10-07
|-

| 携 AI 爬虫 User-Agent 的 7 条请求 IP 均不在官方公布段内 || 判定为伪装请求而非真实爬虫 || OpenAI / Anthropic / Perplexity 官方 IP 段核验结果 || 2026-10-07
|-

| 该观测窗口内日志中的 404 请求占全部 404 的 88% || 来源为站点自身内容管理系统的回环请求 || geo.gamevod.com 访问日志分类统计 || 2026-10-07
|}

== 对比 ==



{| class="wikitable"

! 判定方式 !! 可靠性 !! 主要失效场景 
|-

| 仅看 User-Agent || 低 || UA 伪造池  |
|-

| UA + 官方 IP 段 || 高 || 官方段未及时更新  |
|-

| UA + 官方段 + 转发头校正 || 更高 || 隧道架构下需校正内层 IP  |
|}

== 操作步骤 ==

# '''确认探测手段有效''' —— 对每个判定先跑一次会响的测试，验证检测链路本身可用。
# '''拉取官方 IP 段清单''' —— 从爬虫运营方自有域名获取网段 JSON，不使用第三方整理的列表。
# '''双条件核验''' —— 同时校验 User-Agent 与来源 IP，任一不满足即不计入真实爬虫。
# '''校正反代架构下的访客标识''' —— 在反代与隧道架构下确认真实访客标识所在的字段。
# '''手工重分类统计结果''' —— 剔除回环、自测与内部组件请求后再得出结论，避免内部噪声计入。
# '''给爬虫读取文件设置不缓存''' —— 确保源站修复能即时传递到爬虫侧。

== 局限与争议 ==

* 官方 IP 段清单存在更新滞后，爬虫新扩容或换段后需重新核验。
* 伪装爬虫池的规模会波动，单次观测窗口的结论不能外推为长期趋势。
* 观测窗口长度不足时结论不稳定，需至少覆盖完整昼夜周期。

== 相关条目 ==

* [[生成式引擎优化]]
* [[robots.txt]]
* [[sitemap.xml]]
* [[实体消歧]]
* [[外链建设]]

[[Category:生成式引擎优化]]
[[Category:Web技术]]