关键词:
草图生成
扩散模型
对比学习
草图修复
摘要:
草图生成是计算机视觉的重要研究方向,其目标是通过算法自动生成符合人类视觉感知的草图。本文将基于分类器引导的扩散模型应用于草图生成领域,能够生成细节丰富、样式多样的高质量草图。但同时也发现草图生成结果对于扩散模型引导强度具有高敏感性,引导强度过小会导致生成草图可识别度差,引导强度过大又会导致线条冗余美观度降低,搜索适合于当前类别的引导强度费时费力,另外,当引导强度过高时,生成的草图会出现线条在局部区域反复叠加的“重复描绘”现象。针对这些问题,本文分别从扩散模型和分类引导两个方面进行创新优化,显著提高了草图生成质量,并对最终算法在草图上的相关应用进行研究。主要研究内容及相关创新点如下:
(1)针对固定引导强度导致草图生成质量不稳定的问题,提出了一种基于分类引导强度动态调节的草图生成算法。该算法通过创新的强度动态调节算法和三阶段采样策略,实现了高质量、高效率的草图生成。强度动态调节算法通过预期度量指数、残差草图和引导强度优化三个模块,对当前去噪步骤的预测草图进行可识别度和复杂程度的计算,通过梯度下降算法寻找适合当前步骤的最优引导强度,实现对去噪过程的精细化控制,解决了固定引导强度导致的类别适应性不足与生成质量波动问题,使模型能够根据不同草图类别的特征需求自动调整引导参数。另外,为了提高生成草图的多样性并加快采样速度,设计了三阶段采样策略,将去噪过程划分为结构规划、动态调节和结尾去噪三个阶段,三个阶段各司其职、协同作用,从粗到细逐步优化生成结果,兼顾草图的结构完整性和细节表现力。
(2)针对分类引导过强导致的“重复描绘”问题,将原因定位于两个方面:一是分类器与扩散模型不匹配,即两模型独立训练导致的训练目标冲突和特征空间不一致,使得分类器提供的引导梯度与扩散模型的期望条件存在偏差;二是分类器对复杂草图的过拟合,导致其在引导生成时倾向于生成多线条的草图,从而引发“重复描绘”。为解决这些问题,本文提出了一种基于分类引导梯度优化的草图生成算法,采用递进式训练策略逐步优化分类器的特征表示能力和泛化能力,使得分类器能够提供有效的梯度引导,避免出现“重复描绘”现象。首先,通过权重共享机制用扩散模型的参数对分类器进行初始化,确保分类器与扩散模型在特征空间上的一致性;其次,引入对比学习方法优化分类器的特征表示,去除分类器对于类别标签的依赖,使其能够更好地捕捉草图的全局特征,避免对复杂草图的过拟合;最后,采用Focal Loss优化分类层,进一步提升分类器对草图数据的分类准确性和泛化能力。
(3)将基于强度动态调节和梯度优化的草图生成算法相结合,应用于草图补全修正与草图数据集类别扩充任务中。在草图补全修正方面,提出了一种基于噪声反转的方法,利用扩散模型的特性,将用户草图先加噪到某一特定时刻,作为去噪过程的起始状态,后在去噪过程中利用分类器进行引导,生成结构上与用户草图相似,语义上符合目标类别的草图,以无需训练的方式实现了高质量的草图补全与修正。在数据集类别扩充方面,提出了基于跨数据集分类引导的类别扩充方法,通过将不同训练集上训练的分类器与扩散模型相结合,生成属于分类器训练集类别但保持扩散模型训练集风格的草图,为高质量少类别数据集的类别扩充提供了有效途径。
总之,本文将扩散模型应用于草图生成领域,提出基于引导强度动态调节和引导梯度优化的草图生成算法,显著提高了草图生成质量,为草图生成技术的发展提供了新的路径。另外,本文以草图这一特殊数据为研究对象,对扩散模型在图像生成任务中的高可控性进行了深入探索,为扩散模型在复杂生成任务中的应用提供了新的思路和方法。