数据筛选与数据合成当前是提升预训练数据效能的主流路径，但二者共享一个隐含假设，即数据质量是全局的属性。在该假设下，数据工程的任务是尽可能保留高质量样本、剔除或替换低质量样本。

知识语境挑战的正是这一假设。首先，数据质量本身是一个主观概念，目前缺乏公认的客观评估标准，不同筛选策略对同一样本的判断可能大相径庭。数据筛选在训练前替模型做出取舍，知识语境则将判断交还给模型：通过显式的语境信号，使模型在不同语境下自动赋予信息不同的权重与时效。由此产生两点实质差异。其一，大量被筛选策略丢弃的数据在正确语境下重新具有学习价值，数据利用率提升。其二，模型获得对知识成立条件的感知，而非仅记忆知识内容。从这个意义上，知识语境与数据工程并非替代关系，而是工作在不同层次：数据工程决定训练什么，知识语境决定如何训练。

从信息传播的视角看，真实世界中的信息始终在语义与语境两个维度上共同存在：一段文本不仅承载内容本身，也携带其来源、载体、时效与受众等背景条件。当前预训练仅使用了信息在语义维度上的投影，语境维度在数据预处理阶段被舍弃，模型所见的实际上是真实信息的降维表示。知识语境的目标是恢复这一被丢弃的维度，构建更完整、更稳固的世界信息表示，从而提升数据效能。

这一定位决定了知识语境在大规模预训练中的可扩展性。语境维度与语义内容在信息上正交，因此语境带来的增益与架构改进、数据规模增长等已有方向的增益应当是加性的，而非抢占同一份改进空间。此外，语境信息在原始数据中天然存在，包括 URL、时间戳、发布源等，而在当前的数据清洗流程中被当作噪声丢弃。这意味着该方向的数据天花板与互联网本身同步增长，无需依赖人工标注或合成数据。

大模型确实能从共现统计中隐式区分部分语境，如学术论文与网络评论的语体差异。但隐式学习存在难以通过 scaling 解决的问题。首先是不可分离，语境信息与语义信息共享同一套参数与注意力容量，二者在学习过程中相互竞争。其次是无法显式处理冲突，当语料中存在相互矛盾的陈述时，隐式学习只能以统计方式折中，难以表达对不同来源可信度的区分。

显式建模的意义不在于扩展模型本来做不到的能力，而在于将混杂于参数中的隐式信号剥离、使其可控。这与人类的信息处理方式一致：人在接收信息时并非仅接收文本内容，而是同时显式感知信息的来源、载体与场景，并据此调整对信息的信任度与解读方式。