Large Language Models（LLM）技术全景：能力、边界与评估

定义

LLM 是通过大规模语料预训练得到的语言模型，具备强大的文本理解与生成能力。

Core Concepts

• Pretraining（预训练）
• Instruction Following（指令跟随）
• Context Window（上下文窗口）
• Hallucination（幻觉）
• Evaluation（评估）

能力与边界

LLM 在总结、改写、问答表现强，但对实时事实和高精度任务需要外部知识与评测约束。

工程化建议

• 明确输出格式与证据要求
• 固定模型版本并做回归评测
• 结合 RAG 与工具调用提升可验证性

References

1. https://developers.openai.com/api/docs/guides/text
2. https://developers.openai.com/api/docs/guides/evaluation-best-practices
3. https://arxiv.org/abs/1706.03762

FAQ

LLM 为什么会出现幻觉？

当证据不足或提示约束不充分时，模型可能基于概率生成看似合理但错误的内容。

如何降低 LLM 幻觉率？

结合 RAG、明确提示约束、引入引用输出与评测闭环是主流方法。

LLM 上线前应重点评估什么？

准确率、稳定性、拒答质量、延迟成本与失败恢复能力。