关键词：
手绘草图
表示学习
图卷积网络
数据质量评估
提示学习
摘要：
手绘草图,作为一种独特于人类的认知工具,主要依赖记忆和模仿来传达视觉信息,其对于探索人类视觉系统的认知机制有着重要的科学意义。而面向手绘草图的表示学习是让计算机模型理解草图数据的基础工具,其核心目标是让模型自动挖掘草图数据中的有效线索,寻找表示草图的最佳方式,从而支持各种下游任务。然而,相较于传统彩色数字图像,手绘草图线条稀疏、缺少颜色纹理、高度灵活抽象,使得现有表示学习算法难以在草图数据上取得令人满意的效果。因此,本文聚焦于手绘草图数据,深入分析其特点,发现并利用关键线索,在不同应用场景下设计高效通用的草图表示学习算法。
本文首先聚焦于较为简单的草图识别任务,挖掘能够显著提高草图特征类间判别力的线索。接着,本文转向同时响应多个草图任务的需求,致力于设计一种既通用又灵活的草图表示学习模型。进一步,本文针对草图质量评估这一全新的任务,尝试在缺乏人工标签的前提下,提出一种能够实现草图质量量化并同时符合人类主观感知的表示学习方法。最后,鉴于通用大模型在多数据、多任务和多场景下的优秀表现,本文尝试寻找影响通用大模型草图感知能力的关键因素,并相应地提出了适用于大模型的草图表示学习算法。
本文的主要创新和贡献如下:
(1)面向草图动态层次性的表示学习。传统模型主要聚焦于草图数据中稀疏的视觉特征,而往往忽视了草图作为时间序列数据所蕴含的丰富层次信息。本文通过引入图结构和图卷积网络,对草图数据中的动态时序信息与层次结构信息进行了深入建模,来提取具有较强类间判别能力的草图特征,以满足草图识别任务的需求。所提出的方法在QuickDraw数据集上的草图识别评测中展现了卓越的性能。
(2)面向草图灵活抽象性的表示学习。草图任务根据特征需求和任务形式,可以划分为类别级与实例级、判别式与生成式。本文从草图灵活抽象的本质出发,针对其稀疏的有效视觉信息及外观的多样变化,提出了一种通用的草图抽象表示模型。该模型提取的草图特征不仅能兼容上述各种任务,还能够根据任务的具体需求灵活调整。所提出的方法在草图识别、细粒度草图图像检索以及草图补全任务上进行了性能评测。
(3)面向草图质量参差性的表示学习。由于绘制者在主观认知和绘画技能上的显著差异,加之缺乏相应的数据集,草图质量评估任务一直缺乏有效的解决方案。本文通过表示学习的视角,无需依赖人工质量标签,在增强草图特征类间判别力的同时,通过优化类内几何空间来实现有效的草图质量量化。所提出的方法通过大规模人类实验证实了其生成的草图质量排序能够与人类主观质量感知保持高度一致。
(4)面向草图布局归一性的表示学习。长期以来为了降低模型的训练难度,往往将草图对象的空间布局进行标准化处理。然而,这在一定程度上阻碍了大模型理解草图,因为其视觉感知能力建立在现实世界中多样化的空间布局上。本文通过初步实验,验证了空间重定位技术的有效性,并据此提出了一种空间提示模块,旨在激发大模型对草图的理解能力,并促使其进入所谓的“草图模式”。所提出的方法能够显著提升CLIP模型以及多种提示学习方法对草图数据的识别能力。
中国知网总库（CNKI）
中国优秀硕士学位论文...
详细信息
