上下文窗口就是 AI 模型这一次"能看进去"的信息总量:你这次发的问题、前面聊过的记录、塞给它的文档,都得装进这个窗口里,模型才看得见;装不下的部分,这次对话它就等于不知道。
打个比方:窗口像你答题时摊在桌上的桌面,桌子就那么大,这次的问题、前文的笔记、参考资料都要占位置,摆不下的只能留在书柜里——书柜里有,不等于此刻摊在桌上。容量通常按 Token 衡量,不能直接换成固定数量的汉字或页面。
不同系统对输入、输出和其他Token的额度有不同规则。某次超长内容如何截断、摘要或报错,也由实现决定,不能把某个产品的行为当成所有模型共同规则。
本次看得到的,不等于历史上存过的
- 01容量
通常以Token衡量,具体输入输出限额看模型
- 02使用效果
放得下,不代表一定找得准
面积只区分信息来源,不表示固定容量比例;应用可能检索或摘要历史。
桌面能摆多少材料,与书柜有多少书不同
可以把当前上下文想成答题时摊在桌上的材料:这次问题、前文和参考文档都要占位置。训练获得的能力更像已经形成的本领,应用额外保存的历史记录则像书柜里的资料。柜子里有,不等于此刻已经摊在桌上给模型看。
假设你让模型核对一份很长的合同,关键例外写在开头。如果应用因容量限制没把这一段送进去,后面问到它时,模型就缺少这次判断所需的材料。有些应用会摘要或检索再送入,能节省空间,却也可能遗漏细节。即便全部放得下,能否准确找出关键关系仍是另一项能力;桌子更大,不自动保证看得更仔细。
能装进去,不等于能用得一样好
假设给模型一份很长的资料,其中只有几段与问题有关。即使没有超过容量,相关信息的位置、表达方式、相互矛盾和任务难度仍可能影响回答质量。
因此“大窗口”是提供更多信息的条件之一,不等于正确率保证。与其无差别堆入所有历史,更应保留必要上下文、明确问题,并核对回答有没有真正依据关键材料。
上下文不是永久知识库
当前资料离开本次输入后,模型不会仅因曾在上下文里看到过它就必然永久记住。应用如果能在以后再次调用相关信息,可能是另有存储、摘要或检索机制。
可以把窗口类比为本次摊开的工作材料,但它不是人脑记忆的精确模型。区分“现在提供了什么”“应用另存了什么”“模型训练了什么”,有助于判断长任务的信息是否还完整。