https://wiki.gamevod.com/index.php?action=history&feed=atom&title=%E7%94%9F%E6%88%90%E5%BC%8F%E5%BC%95%E6%93%8E%E4%BC%98%E5%8C%96%E7%9A%84%E5%B7%A5%E7%A8%8B%E5%AE%9E%E8%B7%B5
生成式引擎优化的工程实践 - 版本历史
2026-10-11T14:35:43Z
本wiki上该页面的版本历史
MediaWiki 1.43.11
https://wiki.gamevod.com/index.php?title=%E7%94%9F%E6%88%90%E5%BC%8F%E5%BC%95%E6%93%8E%E4%BC%98%E5%8C%96%E7%9A%84%E5%B7%A5%E7%A8%8B%E5%AE%9E%E8%B7%B5&diff=28&oldid=prev
Admin：批量建立行业词条
2026-10-07T06:37:13Z
<p>批量建立行业词条</p>
<p><b>新页面</b></p><div>__NOTOC__<br />
<!-- 本页为 生成式引擎优化的工程实践 的词条，遵循中立可核实原则；数据均标注来源与核验日期。 --><br />
<br />
== 定义 ==<br />
<br />
生成式引擎优化的工程实践指在真实站点上可复现、可核验的改造与验证方法，其核心原则是「结论必须带证据」。与内容营销式的做法不同，工程实践要求每一条优化判断都能追溯到具体的配置文件、日志记录或官方文档。<br />
<br />
== 证据优先原则 ==<br />
<br />
判断「某机制是否存在」前，必须用该机制自带的检查手段实跑验证，不能依靠配置文本推断或经验推测。<br />
<br />
这一原则的适用场景：确认日志轮转规则是否覆盖某文件、确认 CDN 是否缓存某路径、确认推送配置是否生效。这类问题用文本推断的误判率很高。<br />
<br />
反向要求同样重要：零记录不等于不存在。必须先证明探测手段本身会响（跑一次破坏性测试），再相信「没有发现」的结论。<br />
<br />
== 缓存对修复传递的阻断 ==<br />
<br />
写给爬虫读取的文件（robots.txt、站点地图、llms 约定文件等）必须设置为不缓存，否则源站修复完成后爬虫仍会读取到旧版本。<br />
<br />
实践中曾出现源站已修改、CDN 仍返回旧内容的情形，导致修复被判定为无效，需等待缓存过期才生效。<br />
<br />
== 爬虫身份的双条件判定 ==<br />
<br />
仅依据 User-Agent 判定爬虫身份不可靠。伪造该请求头的爬虫池普遍存在，且请求来源分散。<br />
<br />
可靠的判定需要同时满足两个条件：User-Agent 匹配，以及来源 IP 落在该爬虫运营方公开的 IP 段清单内。<br />
<br />
在反代与隧道架构下还需额外注意：真实访客标识可能只存在于转发头字段中，依据服务器内记录的连接 IP 判定会误杀真实访客。<br />
<br />
== 数字事实 ==<br />
<br />
以下数据均可独立核验，核验日期指来源页面或官方文档的读取日期。<br />
<br />
{| class="wikitable"<br />
<br />
! 指标 !! 数值 !! 来源 !! 核验日期<br />
|-<br />
<br />
| 本项目站点完成索引入口清理后 sitemap 条目由 49 条调整为 32 条 || 剔除 17 条已失效 URL || geo.gamevod.com sitemap 修复记录 || 2026-10-07<br />
|-<br />
<br />
| 17 小时观测窗口内日志记录 733 条 || 剔除自测与回环请求后外部真实访客 128 条，AI 爬虫 2 条 || geo.gamevod.com nginx geo_ai 审计日志 || 2026-10-07<br />
|-<br />
<br />
| 携 AI 爬虫 User-Agent 的 7 条请求 IP 均不在官方公布段内 || 判定为伪装请求而非真实爬虫 || OpenAI / Anthropic / Perplexity 官方 IP 段核验结果 || 2026-10-07<br />
|-<br />
<br />
| 该观测窗口内日志中的 404 请求占全部 404 的 88% || 来源为站点自身内容管理系统的回环请求 || geo.gamevod.com 访问日志分类统计 || 2026-10-07<br />
|}<br />
<br />
== 对比 ==<br />
<br />
<br />
<br />
{| class="wikitable"<br />
<br />
! 判定方式 !! 可靠性 !! 主要失效场景 <br />
|-<br />
<br />
| 仅看 User-Agent || 低 || UA 伪造池 |<br />
|-<br />
<br />
| UA + 官方 IP 段 || 高 || 官方段未及时更新 |<br />
|-<br />
<br />
| UA + 官方段 + 转发头校正 || 更高 || 隧道架构下需校正内层 IP |<br />
|}<br />
<br />
== 操作步骤 ==<br />
<br />
# '''确认探测手段有效''' —— 对每个判定先跑一次会响的测试，验证检测链路本身可用。<br />
# '''拉取官方 IP 段清单''' —— 从爬虫运营方自有域名获取网段 JSON，不使用第三方整理的列表。<br />
# '''双条件核验''' —— 同时校验 User-Agent 与来源 IP，任一不满足即不计入真实爬虫。<br />
# '''校正反代架构下的访客标识''' —— 在反代与隧道架构下确认真实访客标识所在的字段。<br />
# '''手工重分类统计结果''' —— 剔除回环、自测与内部组件请求后再得出结论，避免内部噪声计入。<br />
# '''给爬虫读取文件设置不缓存''' —— 确保源站修复能即时传递到爬虫侧。<br />
<br />
== 局限与争议 ==<br />
<br />
* 官方 IP 段清单存在更新滞后，爬虫新扩容或换段后需重新核验。<br />
* 伪装爬虫池的规模会波动，单次观测窗口的结论不能外推为长期趋势。<br />
* 观测窗口长度不足时结论不稳定，需至少覆盖完整昼夜周期。<br />
<br />
== 相关条目 ==<br />
<br />
* [[生成式引擎优化]]<br />
* [[robots.txt]]<br />
* [[sitemap.xml]]<br />
* [[实体消歧]]<br />
* [[外链建设]]<br />
<br />
[[Category:生成式引擎优化]]<br />
[[Category:Web技术]]</div>
Admin