山西大学智能信息处理研究所团队在领域泛化理论研究方面取得重要进展

近期，山西大学智能信息处理研究所团队在领域泛化理论研究中取得重要进展。相关成果以“Bridging Domain Invariance and Diversity: A Fine-Grained Risk Bound for Domain Generalization”为题，在机器学习与人工智能顶级期刊《机器学习研究期刊》（Journal of Machine Learning Research，简称JMLR）在线发表。该论文以山西大学为第一单位，第一作者为2022级博士生王曦，通讯作者为白亮教授，合作作者包括梁吉业教授、英国曼彻斯特大学杨氙助理教授以及香港浸会大学徐亦达教授。

随着机器学习在自动驾驶、医学诊断等高风险场景中的广泛应用，训练数据与测试数据的分布不一致对模型可靠性构成了严峻挑战。领域泛化是应对此类分布外泛化问题的核心范式，其两类主流策略分别为领域不变表示学习和领域增强。前者通过提取跨域分布不变的特征表示来提升模型的跨域泛化能力，后者则通过增强源域的分布多样性来提升模型对新领域的适应能力。然而，现有的领域泛化界通常在同一表示空间中分析模型的泛化能力，忽略了这两种操作本质相反的方法在这种粗粒度表示下所产生的矛盾，这使得现有泛化界难以统一刻画不变性与多样性的贡献，进而阻碍了算法的理论指导和协同设计。

针对这一根本性理论问题，该论文首次提出一种三元空间潜在表示，并利用直和分解将原始特征空间唯一地分解为由领域不变特征、虚假不变特征与跨域变化特征构成的三个子空间，从而给出了三元空间潜在表示的唯一存在性证明。基于该表示，论文推导出细粒度的目标域风险上界，在形式上明确分离了领域不变性和领域多样性的作用，有效解决了上述矛盾。

在此基础上，论文还通过严格的数学定义首次给出了领域增强与领域不变表示学习两类算法的形式化抽象，并与所提出的风险界结合，深入揭示了两类算法的作用机理。分析表明，两类算法分别通过优化不同类型的特征来提升模型的跨域泛化性能，这体现在风险界的不同项上，从而从理论上验证了二者在功能上的互补关系。为了直观验证这一互补机制，论文设计了一个基于新误差界引导的领域泛化算法，在多个测试数据集上的实验结果有力地支持了论文的理论分析：同时提升领域多样性并提取领域不变性的方法比单一的方法具有更低的领域泛化误差。

该研究工作得到计算智能与中文信息处理教育部重点实验室、国家自然科学基金（No.62432006, U25A20529, 62376141，62276159）和山西省基础研究计划（No. 202303021223004）的支持。（通讯员：张颖）