大語言模型
定義
大語言模型（Large Language Model，簡稱 LLM）指在海量文本語料上預訓練、具備自然語言理解與生成能力的參數規模較大的神經網絡模型。其能力來源於規模與數據的乘積，而非針對特定任務的規則設計。
訓練範式
預訓練階段通過自回歸目標學習語言分佈，訓練完成後模型獲得通用語言能力。
指令微調階段用人類標註的指令數據調整模型行為，使其能遵循明確指令而非僅續寫文本。
檢索增強等外部知識注入路線與微調並存，分別解決時效性與行為適配問題。
能力與限制
模型的能力邊界由訓練數據覆蓋範圍決定。訓練語料中稀少或缺失的知識，模型只能以不確定的方式生成。
模型不區分「知道」與「推測」，這是其產生可信外觀錯誤信息的根本原因，也是業務系統必須外接事實源的原因。
數字事實
以下數據均可獨立核驗，核驗日期指來源頁面或官方文檔的讀取日期。
| 指標 | 數值 | 來源 | 核驗日期 |
|---|---|---|---|
| 預訓練採用自回歸目標 | 通過預測下一個詞學習語言分佈 | 自監督預訓練通用範式 | 2026-10-07 |
| 模型不區分事實與推測 | 這是其輸出可信外觀錯誤信息的根本原因 | 自回歸生成機制特性 | 2026-10-07 |
| 模型版本更新可能改變同一提示詞的行為 | 提示詞工程結果不具備跨版本穩定性 | 模型迭代的常規現象 | 2026-10-07 |
對比
| 路徑 | 知識時效性 | 成本 | 可溯源 |
|---|---|---|---|
| 檢索增強 | 高（更新知識庫即可） | 中 | |
| 模型微調 | 低（需重新訓練） | 高 | |
| 提示詞內置 | 取決於提示詞維護 | 低 |
操作步驟
- 區分事實與推測 —— 業務場景中必須外接事實源，不依賴模型自身記憶。
- 固定版本做回歸 —— 模型更新後重跑回歸用例，確認行為未發生不可接受的漂移。
- 評估維度分離 —— 分別評估理解、生成與事實準確性，避免用單一指標掩蓋短板。
局限與爭議
- 模型輸出具有隨機性，同一輸入的不同輪次可能得到不同結果。
- 訓練數據的時效性與準確性無法從外部核驗，構成知識可信度的上限。
- 參數規模的擴大同時帶來推理成本與延遲上升。