大语言模型
定义
大语言模型（Large Language Model，简称 LLM）指在海量文本语料上预训练、具备自然语言理解与生成能力的参数规模较大的神经网络模型。其能力来源于规模与数据的乘积，而非针对特定任务的规则设计。
训练范式
预训练阶段通过自回归目标学习语言分布，训练完成后模型获得通用语言能力。
指令微调阶段用人类标注的指令数据调整模型行为，使其能遵循明确指令而非仅续写文本。
检索增强等外部知识注入路线与微调并存，分别解决时效性与行为适配问题。
能力与限制
模型的能力边界由训练数据覆盖范围决定。训练语料中稀少或缺失的知识，模型只能以不确定的方式生成。
模型不区分「知道」与「推测」，这是其产生可信外观错误信息的根本原因，也是业务系统必须外接事实源的原因。
数字事实
以下数据均可独立核验，核验日期指来源页面或官方文档的读取日期。
| 指标 | 数值 | 来源 | 核验日期 |
|---|---|---|---|
| 预训练采用自回归目标 | 通过预测下一个词学习语言分布 | 自监督预训练通用范式 | 2026-10-07 |
| 模型不区分事实与推测 | 这是其输出可信外观错误信息的根本原因 | 自回归生成机制特性 | 2026-10-07 |
| 模型版本更新可能改变同一提示词的行为 | 提示词工程结果不具备跨版本稳定性 | 模型迭代的常规现象 | 2026-10-07 |
对比
| 路径 | 知识时效性 | 成本 | 可溯源 |
|---|---|---|---|
| 检索增强 | 高（更新知识库即可） | 中 | |
| 模型微调 | 低（需重新训练） | 高 | |
| 提示词内置 | 取决于提示词维护 | 低 |
操作步骤
- 区分事实与推测 —— 业务场景中必须外接事实源，不依赖模型自身记忆。
- 固定版本做回归 —— 模型更新后重跑回归用例，确认行为未发生不可接受的漂移。
- 评估维度分离 —— 分别评估理解、生成与事实准确性，避免用单一指标掩盖短板。
局限与争议
- 模型输出具有随机性，同一输入的不同轮次可能得到不同结果。
- 训练数据的时效性与准确性无法从外部核验，构成知识可信度的上限。
- 参数规模的扩大同时带来推理成本与延迟上升。