上下文工程不只是提示词:1400篇论文揭示模型理解与生成的不对称
AIAI Summary (BLUF)
这篇综述论文系统介绍了上下文工程这一新兴学科,它超越了简单的提示设计,涵盖上下文检索、生成、处理和管理等基础组件,并探讨了RAG、记忆系统、工具集成推理和多智能体系统等高级实现。通过对1400多篇论文的分析,作者指出当前模型在理解复杂上下文方面表现出色,但在生成长篇复杂输出方面仍有明显局限。
核心洞察
这篇综述把上下文工程通过分析和结构化个人数据(如浏览历史),为AI代理设计和提供更丰富、相关的上下文信息,以提升其个性化响应和智能决策能力的过程。从提示词技巧里拎出来,当成一门正经学科来梳理,这个视角本身就挺有价值。1400多篇文献的体量说明这个方向已经卷到一定程度了,但作者指出的那个缺口更值得注意:模型理解长上下文的能力远强于生成同等复杂度长内容的能力。这个不对称如果成立,那现在很多应用的天花板可能比我们以为的要低。
核心结论
该综述将“上下文工程”定义为一门超越提示词设计的正式学科,核心目标是系统性地优化输入给大语言模型Advanced AI models trained on massive text data to understand and generate human language across multiple tasks.的信息载荷,并提出了涵盖基础组件与系统级实现的完整分类体系。
综述覆盖1400多篇论文(166页,1411条引用),将上下文工程的基础组件拆解为上下文的检索与生成、上下文的处理、上下文的管理四个模块。
在系统级实现层面,综述讨论了三条主要技术路线:检索增强生成将外部知识检索与大语言模型生成相结合的技术,通过向量数据库存储和检索相关信息来增强模型的准确性和时效性。(RAG)、记忆系统为智能体的经验、知识和状态提供短期和长期存储的系统。与工具集成推理将外部工具与语言模型推理过程相结合的方法,使模型能够调用工具来增强其推理和问题解决能力。、多智能体系统由多个相互协作的AI智能体组成的系统,能够处理复杂任务并通过智能体间的通信和协调实现更高级的自动化功能。。
综述指出了一个关键研究缺口:当前模型经过高级上下文工程增强后,理解复杂上下文的能力远强于生成同等复杂度长内容的能力,这种模型能力之间的根本性不对称是未来研究的重点方向。
该论文编号为arXiv:2507.13334 [cs.CL],v1于2025年7月17日提交,v2于2025年7月21日更新,目前持续更新中。
上下文工程:从提示词到系统化信息设计
大语言模型的输出质量,说到底取决于推理时喂进去的上下文信息。这篇综述提出了“上下文工程”这个概念,把它定义为一门超出简单提示词设计的正式学科,核心工作是系统性地优化输入给模型的信息载荷。
作者给出了一套完整的分类体系,把上下文工程拆解成基础组件和系统级实现两个层面。
基础组件
四个模块:上下文的检索与生成、上下文的处理、上下文的管理。这几个环节构成了上下文工程的基本操作单元。
系统级实现
基础组件怎么在架构上整合起来,形成更复杂的系统,综述里讨论了三条路线:检索增强生成、记忆系统与工具集成推理、多智能体系统。
一个关键的研究缺口
综述覆盖了1400多篇论文,在建立技术路线图的同时,也指出了一个明显的空白。当前模型在经过高级上下文工程增强之后,理解复杂上下文的能力已经相当出色,但生成同样精细的长文本输出时,表现就差了很多。模型能力之间存在根本性的不对称。怎么补上这个差距,是未来研究的一个重点方向。
这篇综述为研究者和工程师提供了一个统一的框架,用来推进上下文感知的人工智能系统。
论文信息
作者:Lingrui Mei, Jiayu Yao, Yuyao Ge, Yiwei Wang, Baolong Bi, Yujun Cai, Jiazhi Liu, Mingyu Li, Zhong-Zhi Li, Duzhen Zhang, Chenlin Zhou, Jiayi Mao, Tianze Xia, Jiafeng Guo, Shenghua Liu
备注:持续更新中;166页,1411条引用
学科分类:计算与语言
编号:arXiv:2507.13334 [cs.CL]
提交历史:v1 于2025年7月17日;v2 于2025年7月21日
常见问题(FAQ)
上下文工程和提示词工程有什么区别?
上下文工程超越简单提示设计,是系统化优化输入信息载荷的正式学科,涵盖检索、生成、处理和管理等基础组件,以及RAG、记忆系统等高级实现。
这篇综述提到的关键研究缺口是什么?
模型理解复杂上下文的能力远强于生成同等复杂度长内容的能力,这种不对称是未来研究重点,可能限制当前应用的天花板。
上下文工程有哪些系统级实现路线?
综述讨论了三条路线:检索增强生成(RAG)、记忆系统与工具集成推理、多智能体系统,这些整合基础组件形成更复杂的系统。
版权与免责声明:本文仅用于信息分享与交流,不构成任何形式的法律、投资、医疗或其他专业建议,也不构成对任何结果的承诺或保证。
文中提及的商标、品牌、Logo、产品名称及相关图片/素材,其权利归各自合法权利人所有。本站内容可能基于公开资料整理,亦可能使用 AI 辅助生成或润色;我们尽力确保准确与合规,但不保证完整性、时效性与适用性,请读者自行甄别并以官方信息为准。
若本文内容或素材涉嫌侵权、隐私不当或存在错误,请相关权利人/当事人联系本站,我们将及时核实并采取删除、修正或下架等处理措施。也请勿在评论或联系信息中提交身份证号、手机号、住址等个人敏感信息。



