关键词:
预测稳定性
神经网络
误差范围
医疗健康
摘要:
受益于数据规模的激增和计算能力的迅猛提升,以深度神经网络为核心的人工智能技术也获得了前所未有的发展。在医疗健康场景中,面向特定疾病开发的预测系统与决策辅助工具,借助历史数据训练深度模型,在一定层面上克服了医生个人经验的不足,模型的诊断准确率已接近专业医师水平。然而现有研究结果表明,即便较小(可容忍)的输入数据误差,通过深度神经网络的传播,有可能导致较大的预测偏差。而在实际应用中,上述误差是难以避免的。伴随着深度神经网络的广泛部署,如何提升预测模型的稳定性与鲁棒性,保证其在医疗健康等安全关键型应用中的安全性成为亟待解决的关键问题。
对抗训练(Adversarial Training)是近年来提高深度模型稳定性与鲁棒性的重要手段。此类方法通常包括两个阶段:首先,生成最容易引起模型预测变化的扰动样本;其次,在原始训练过程中加入这些扰动样本进行“噪声注入式”训练,从而促使模型在遭受输入扰动时仍保持性能稳定。尽管对抗训练在图像识别等领域取得了一定的鲁棒性提升,但该方法本质上依赖于第一阶段,即对抗样本生成机制的有效性与覆盖性。然而很明显,要生成所有的对抗样本并不可行。因此,通过对抗训练往往只能提高模型对于已知对抗样本的识别能力,而对于比例更大的其它类型扰动样本缺乏足够的泛化能力。更重要的是,现有研究表明加入额外噪声样本可能会削弱模型在原始样本上的预测准确性。针对上述问题,本文重点研究在无需生成额外训练样本且保证预测准确度的前提下,如何提高预测模型的稳定性。本文主要贡献如下:
(1)提出一种基于多目标损失优化的疾病预测稳定性增强方法。首先将预测问题定义为多目标损失优化问题,同时包含稳定性损失及准确度损失。进一步,将稳定性损失分解为深度神经网络逐层传播的累积过程,通过评估初始扰动在每一层的传播,得到最终的扰动输出。基于此,本文设计了一个稳定性增强的损失函数(SELoss)及相应的多层学习策略,通过控制输入扰动在每一层引起的输出误差,来提高模型的稳定性和准确度。在多个公开医疗数据集上的预测任务开展实验验证,结果表明本文所提方法均实现了更准确和稳定的预测。
(2)将上述稳定性增强方法扩展至时间序列模型,并进行可解释研究。考虑输入扰动在时间序列模型中具有随时间演化和层间传播的复杂动态特性,本文对基于时间步的误差传播形式进行了重新建模,从而对扰动的传播影响机制进行了改进,以更准确地衡量其对最终模型输出稳定性的影响。进一步,设计基于Shapley值的可解释方法,通过定义特征独立贡献以及特征交互贡献,并对比原始模型及改进模型的变化趋势,对稳定性改进原理进行分析,为进一步的稳定性与鲁棒性改进提供解决思路。
(3)设计基于误差范围的稳定性验证框架与稳定性评价指标体系。首先,本文打破了以往仅在固定扰动强度下对模型稳定性进行评估的思路,构建了一套基于误差容忍范围的稳定性验证框架。通过逐步扩展扰动范围并评估模型预测输出的变化情况,从而判断模型在“可接受稳定性水平”下所能承受的最大误差范围,从而识别并比较模型在实际误差范围的可应用性。其次,本文首次开展了模型轻量化剪枝策略与模型稳定性之间的内在关联分析,量化了剪枝对模型稳定性的影响,为模型评价提供了新的衡量标准。上述工作为构建高稳定性的医疗预测系统提供了坚实的理论依据和实践路径。