关键词:
汽车草图
三维重建
隐式表示
SDF
Sketch2Car算法
摘要:
近年来,随着虚拟现实(VR)和增强现实(AR)技术的不断发展,基于草图的自动化三维建模技术受到广泛关注,成为降低三维内容创作门槛的有效手段。在汽车设计、游戏动画等领域,高效生成三维汽车模型对于提升设计效率和交互体验具有重要意义。针对现有草图重建方法在应用于汽车场景时仍面临高质量汽车草图与三维模型映射数据集的缺乏、显式网格重建方法在拓扑灵活性和几何精度方面的局限、以及草图稀疏性导致的特征提取困难等问题,论文致力于从数据构建和算法改进两方面开展汽车草图的高精度三维重建方法研究,提出一种基于深度学习的汽车草图高精度三维重建方法(命名为Sketch2Car)。主要研究工作如下。
开展了定制化数据集构建研究。针对汽车草图三维重建任务中缺乏专用高质量数据集的问题,构建面向该任务的数据集,为模型训练提供全面数据支持。一是针对现有合成草图细节不足及真实手绘草图获取成本高的问题,利用Blender渲染引擎基于Shape NetCore.v1数据集中的三维汽车模型,构建包含多视角、类手绘风格的高质量汽车草图二维数据集,更贴近真实草图输入;二是针对当前研究中缺乏汽车类SDF监督数据的问题,构建与草图对应,基于相同汽车模型的三维SDF值数据集。为提升几何监督质量,对多种SDF采样策略进行对比研究。实验表明,混合采样策略在重建精度上表现最优,因此采用该策略生成SDF值作为监督数据,增强模型几何学习能力。此外,还生成与草图视角一致的轮廓图为后处理优化网格方法提供真实轮廓图输入。最终将所有数据统一整理为标准格式,为模型训练优化奠定基础。
开展了基于深度学习的汽车草图三维重建方法研究。针对现有草图重建方法在生成汽车模型精度方面的局限问题,重构了Sketch2Model草图重建网络,提出基于SDF隐式表示的汽车草图三维重建模型(Sketch2Car),旨在实现复杂汽车结构的生成和提升重建精度。一是针对Sketch2Model草图重建中存在模板限制与几何约束不足问题,采用拓扑表达更灵活的Deep SDF中的SDF解码器替换原有网格解码器,在严格的三维SDF数据监督下,从输入草图中预测连续的隐式场,实现任意形状与分辨率的高精度三维汽车模型生成。二是针对编码器在特征提取中对关键线条特征关注不足的问题,融合不同注意力机制进行对比,确定引入Sim AM注意力机制,突出关键特征,改善重建细节质量。三是针对隐式SDF方法建模复杂曲面时易出现表面不平滑问题,在损失函数设计中加入Eikonal损失约束SDF梯度范数,增强表面平滑性。四是针对草图因视角差异而产生的形变问题,引入空间变换模块,对输入草图进行几何空间对齐,提高编码器对特征提取的一致性,为整体草图重建质量与稳定性提供保障。
接着,通过设计消融与对比实验,验证了算法的有效性和优越性。对比实验表明,Sketch2Car的各项重建指标均显著优于对比模型,其中CD指标对比Sketch2Model和同类隐式重建DeepSketch方法分别优化84.2%和9.3%,充分体现了其在汽车草图三维重建任务中的性能优势。此外,基于Sketch2Car算法,为进一步改善输出网格质量,在提取网格过程中引入利用轮廓损失迭代优化特征编码的后处理策略,间接调整隐式场输出网格,对齐轮廓特征,细化最终几何结构。实验结果表明,采用该策略进行50次迭代后,所生成三维网格CD指标较初始结果优化2.7%。
最后,本文设计实现了一套汽车草图三维重建系统,支持非专业用户通过单张草图快速生成高质量三维汽车模型,推动三维内容创作的智能化与普适化发展。