课程文献中心 更多>>

关键词： 蒙古牛   肉质   基因芯片   选择信号   拷贝数变异  

摘要： 蒙古牛原产于蒙古高原地区,是当地牧民不可缺少的乳、肉之源,且役用能力大、持久力强,能吃苦耐劳的优良品种。锡林郭勒草原属温带大陆性气候,风大、干旱和寒冷是其主要气候特点。锡林郭勒盟年均气温3.4℃,寒冷期长达7个月,1月份气温最低,最低温度可达42.4℃。在这种粗放而原始的饲养条件下,蒙古牛仍能正常生存,繁衍后代,具备优良的遗传稳定性。因此,蒙古牛能适应严寒天气和草原纯天然放牧等极恶劣的条件。本研究以放牧蒙古牛为试验动物,利用基因芯片研究了蒙古牛和蒙古牛与乌珠穆沁白牛杂交4代以上形成的乌珠穆沁白牛,分析蒙古牛全基因组拷贝数变异,研究蒙古牛有角无角的血液生化指标,测定了不同体况的蒙古牛肉品质以及营养成分,研究主要包括4个试验,各试验研究内容和结果如下:试验一、不同品种有角和无角牛血液生化指标比较研究。试验在夏季热应激期,随机选取60头内蒙古自治区锡林郭勒盟西乌珠穆沁旗放牧健康、年龄、体况相近的乌珠穆沁白牛、西门塔尔牛和蒙古牛3个品种的成年母牛,每个品种各20头(有角牛和无角牛各10头)作为试验牛,所有牛自由采食牧草,自由饮水。通过酶联免疫法进行测定免疫、抗氧化指标,血液生化指标,钠离子(Na+)、氯离子(CL-)、钾离子(K+)的含量。结果表明:在夏季热应激期间,西门塔尔牛和蒙古牛的血清Ig A、Ig G和Ig M含量均显著高于乌珠穆沁白牛,说明西门塔尔牛和蒙古牛的免疫功能优于乌珠穆沁白牛。相同品种的有角牛抗氧化能力优于无角牛,三个品种有角牛免疫功能要优于无角牛。在相同放牧条件下,有角牛的身体对炎热的抵抗能力可能优于无角牛,牛角对于机体散热功能有一定促进作用,同时对当地环境的适应能力可能更好,抗逆性和对粗饲料的耐受性均优于无角牛。试验二、不同体况评分蒙古牛肌肉肉品质的比较研究。冬季在内蒙古锡林郭勒盟苏尼特左旗家庭牧场随机选择健康、3岁左右的成年蒙古牛阉割公牛24头作为试验牛。试验牛常年自然放牧,冬季无补饲自由采食牧草和自由饮水。采用9分制评分标准。按照体况评分将其分为3组,每组8头,8分为高分组(FC)、7分为标准组(SC)、5分为低分组(TC)。屠宰后取背最长肌测定其营养成分、矿物质、氨基酸和脂肪酸。结果表明,不同体况评分蒙古牛肌肉人体必需氨基酸含量全部优于FAO/WHO规定的理想蛋白质模式,属于优质蛋白质食品。高分组蒙古牛牛肉中单不饱和脂肪酸含量略高于正常组和低分组蒙古牛,低分组蒙古牛牛肉中多不饱和脂肪酸含量显著高于高分组、正常组蒙古牛。三组蒙古牛MUFA/SFA比值相差不大。高分组蒙古牛具有肌肉色泽深红、p H正常、持水性强和熟肉率高。试验三、蒙古牛全基因组选择信号分析。在内蒙古呼伦贝尔和锡林郭勒草原的家庭牧场中随机选择年龄、体重相近、公母数量相同的蒙古牛50头,并在乌珠穆沁白牛群体中随机选择乌珠穆沁白牛22头,共计72只。记录其生长性状,血液样本使用Gene Seek Genomic Profiler High-Density(GGP HD 150K)进行基因分型,得到的分型结果进行选择信号分析。结果表明,研究利用牛SNPs芯片基因组数据,应用Fst方法构建了蒙古牛全基因组选择信号检测。共获得显著性位点553个,在这些选择区段中注释到143个可能受到正向选择的基因,筛选到的基因主要与生长、繁殖等性状相关。本研究发现与牛生产性状相关的基因:GABRB1、ZNF410、BLCAP、ZFAT、EFR3A、XKR4、TOX、SNX29。影响繁殖等重要经济性状的GABRB1、PPP3CC、NCOA、SERPINA5等基因。试验四、蒙古牛全基因组拷贝数特征分析。使用试验三得到的分型数据,在用PennCNV对分型数据进行CNV(拷贝数变异)的推断前,先用CNVRuler把蒙古牛群体中每个个体的CNV来拼接成CNVR。对拼接而成的CNVR进行q PCR验证,CNVR用Ensembl网站中的Bio Mart进行注释,基因功能富集分析在The Gene Ontology Resource网站(http://***/)进行分析,给蒙古牛全基因组变异图谱绘制。结果表明,本研究基于Geneseek Genomic Profiler High Density(HD)150K SNP array芯片在蒙古牛基因组上共推测鉴定到334个CNVR,长度为65.19Mb,约占基因组大小的12.60(UMD 3.1)。每条染色体上的CNVR的数目在7到21个之间,CNVR数目最少的染色体为8号染色体,数目最多的为5号染色体。CNVR长度占染色体长度的比例在0.35%-6.19%之间,占比最少的染色体是27号染色体,占比最多的是26号染色体。334个CNVR分别为繁殖性状、生产性状、胴体与肉品质相关性状、奶用相关性状、外部特征相关性状以

关键词： 变点检测   截取抽样法   Wilcoxon秩和检验   核函数法   Bayes-最小二乘法  

摘要： 随着大数据技术的发展,关于序列的研究逐步深入,同时制造业对产品质量控制的实际需求,使得序列的变点检测问题,成为了热门的研究方向.作为统计学经典模型之一,独立同分布随机变量序列,在正态总体假定下对均值变点的研究,奠定了变点检测发展的基础.随后方差变点,持久性变点等变点类型相继提出,学界广泛针对模型,检验统计量,以及算法与程序改进,或者首创方法,使得变点检测适用于更为广泛的领域.但是,相比其他,新的抽样方法却少有发展.本文立足小样本变点检测,于抽样方法上进行了创新.对同一组观测数据而言,观测起止时间的不同,不应对检测出的变点位置产生较大的波动,即检测出的变点位置应较大程度上具有一致性.基于此,本文提出了截取抽样法.为了说明该抽样方法适用于变点检测,选取了Wilcoxon秩和检验,核函数法及Bayes-最小二乘法三种检测方法.其中,Wilcoxon秩和检验作为一种非参方法,常用于检测两组独立样本是否来自同一总体;核函数法从Hilbert空间的角度出发,给出了变点应该满足的条件,在各个具体的情境下都应有较大的准确性;Bayes-最小二乘法为本文新提出,仅做对照作用.本文安排如下:第一章回顾了变点检测的发展过程及近期科研成果;第二章对所用抽样方法与三种检测方法,即截取抽样法与Wilcoxon秩和检验,核函数法及Bayes-最小二乘法的定义进行了陈述并给出了一定的理论证明;随后在数值模拟环境下,即第三章展示了截取抽样法在三种样本容量下的检测效果,及固定样本量后检测效果与变点前后均值变化幅度的关系展示数值模拟效果,由于数值模拟环境下变点位置已知,分别对三种检测方法实验,均得到了较好的效果;后在第四章对1871-1970年尼罗河年流量与1979-2018年PM2.5浓度年变化量进行了案例分析说明实际效果;最后做了总结与展望.

关键词： 最低差异度序列   抽样方法   整群抽样   Bootstrap方法   深度学习模型训练   深度森林   混合模型  

摘要： 随着机器学习模型规模增大,许多计算问题越来越明显。更大的模型意味着需要更多的计算资源和存储资源以及更长的训练时间,从而导致碳排放的增加。另外,随着嵌入式设备的广泛应用,如果机器学习模型在嵌入式设备上过于庞大,或保持长时间运行,则嵌入式设备高功耗会导致设备过热,增加能源的需求,进而导致更多的二氧化碳排放和全球变暖等环境问题。因此在开发机器学习模型及产品时,我们应该努力减少计算量,并采用轻量化设计,以减少对环境的负面影响,同时提高模型运行的可持续性和长期价值。本论文响应近两年来学术界关于加强对机器学习环境影响研究方向的号召。我们选择的研究方向是改变模型训练时的数据构成。我们希望通过提出新颖的抽样方法,选择有代表性的训练数据,减少抽样误差对模型训练的影响,从而提升模型训练的效率。不少研究人员呼吁机器学习模型的训练不能一味追求大数据,而是要选择高质量、有代表性的数据。研究人员应该精心设计数据缩放、抽样和选择策略,提高机器学习模型的训练效率,从而减少整个过程的环境足迹。相关研究证明数据抽样的好坏直接影响机器学习模型训练时间,也就直接影响模型的碳足迹。这是因为目前主流机器学习和深度学习模型训练时采用简单随机抽样方法。这种方法抽样误差比较大,用“计算暴力”的方式来掩盖模型性能的缺陷,从而导致大量计算资源的浪费。部分研究人员提出构建“核心子集”的方法,即从大型数据集中构建一个数据量相对较少的“核心子集”用于模型训练。不过多个实验验证目前此类方法的研究尚未成熟。因此,我们需要在前人研究的基础上,继续寻找新的抽样方法设计,改善抽样质量,提升机器学习模型性能和训练效率。方开泰教授和王元院士开创了将数论方法应用到统计技术中去的技术路线。本论文效仿他们的方法,在解析数论中的“低差异度序列”理论基础上,提出最低差异度整群抽样方法、最低差异度整群Bootstrap方法和最低差异度整群双重子Bootstrap方法,并且将这些方法应用在深度学习模型训练、随机森林、深度森林、轻量化混合模型设计、嵌入式设备部署等方面。首先,本论文利用最低差异度序列的均匀分布和快速收敛的性质构建抽样框架(Sampling Frame),并使用整群抽样的方式将一个数据集分成多个小群(Cluster)。我们使用方差分析公式(ANOVA),理论上可以证明:当抽样框架的组内相关系数为负的时候,整群抽样的精度优于简单随机抽样和分层抽样。也就是说,每个小群内部的方差大于群与群之间的方差。因此每个小群很好地代表了整个数据集。实验2和3验证了在群大小相等以及不相等时,最低差异度整群抽样方法的估计量标准误差分别比简单随机抽样方法平均低61.46%、62.33%。实验4验证了在高维数据集上,最低差异度整群抽样方法优于分层抽样,估计量标准误差比分层抽样方法低37.96%。实验5验证了最低差异度整群抽样方法可以降低简单随机抽样带来的抽样误差,使得机器学习模型预测错误率减少了 36.95%。此外,本论文在传统重采样的基础上,提出最低差异度Bootstrap方法和最低差异度整群双重子Bootstrap方法。实验6验证了我们提出的最低差异度Bootstrap方法均值估计量的均方误差MSE平均比传统Bootstrap方法小73.71%。实验7验证了与传统Bootstrap、BDCB和SDB相比,最低差异度整群双重子Bootstrap方法所估计的机器学习模型系数误差更小,且收敛速度更快。30个公开数据集的结果均表明,上述两种新方法的优势在子样本取样数量很小时更明显,更能节省计算时间和计算资源。然后,本论文将上述提出的最低差异度整群抽样方法与深度学习模型训练方法结合。我们将深度学习模型训练中的每个批次(Batch)看作一个“群”(Clus-ter)。也就是说,我们可以通过最低差异度整群抽样方法将一个数据集分成若干个批次。由于最低差异度整群抽样方法可以保证每个群(也就是每个Batch)之间的样本单元较为相似,因此深度学习模型训练过程将会更加有效,可以减少训练次数并防止出现过拟合问题。实验8结果表明,在表格型数据集上,使用新方法的深度学习模型训练收敛速度较使用传统办法的速度提升了 40%左右。实验9结果表明,在图像数据集上,使用新方法的深度学习模型训练收敛速度较使用传统办法的速度提升了 83%左右。两个实验均印证了基于最低差异度整群抽样方法的深度学习模型训练方法可以使得每次训练的批次样本更接近总体,从而模型可以使用更少的训练迭代轮数,更快地从训练数据中“学习”到有用的信息,达到加速训练过程的效果。再次,本论文将最低差异度Bootstrap方法与传统随机森林、深度森林结合,提出最低差异度整群森林及最低差异度整群深度森林算法。实验10、11、12和13共使用了 35个数据集。结果表明最低差异度整群森林算法的准确率比传统随机森

关键词： 样方   分层抽样   抽样方法   遥感   两区”耕地  

摘要： 【目的 】四川气候多云雨天气，通过全覆盖遥感影像解译来掌握主要农作物种植面积、分布非常困难，采用野外实地抽样调查与遥感影像分类相结合是有效可行的方法。【方法 】文章以遥感和GIS为手段，充分利用“两区”划定耕地基础数据，采用两级空间分层抽样方法和实验最优空间抽样体系的设计来建立长期的野外调查样方。采用空间分析技术、传统抽样方法相结合的两级空间分层抽样技术，在不同研究区内，以误差、变异系数和抽样个数为抽样效率的评价指标，实验和确定不同层的样方大小、抽样方法和抽样比例的最优抽样体系；通过确定的最优抽样体系，反推2022年研究区油菜和小麦面积，验证其精度。【结果 】抽样体系中样方大小为0.5 km×0.5 km、抽样方法为分层顺序抽样方法或分层麦士比抽样方法、抽样个数为25个左右，误差和变异系数较小，为最优抽样体系。【结论 】经验证，用最优抽样体系反推的2022年油菜小麦面积精度均在93%以上，建立了适用于四川省不同区域的最优抽样体系，布设了长久的野外调查样方。

关键词： 航空发动机   预测与健康管理   剩余使用寿命   特征选择  

摘要： 在飞机中航空发动机毫无疑问是最重要的部件,航空发动机的运行状态分析对飞机整体状态的评估、使用安全、运维和决策都至关重要。而剩余使用寿命(RUL)是衡量航空发动机运行状态的关键指标。准确的剩余使用寿命预测可以精准掌握航空发动机运行状态,从而做到视情维修,并在保证安全性的前提下最大程度降低运维成本。航空发动机因内部结构复杂、工作环境的高温高压、大量的状态监测数据等特性使得剩余使用寿命预测面临特征提取困难、预测精度低、预测稳定性差等挑战。如何挖掘深层有效特征,进而提高剩余使用寿命预测精度并给出其置信度成为了航空发动机剩余使用寿命预测领域的重点和难点。基于上述背景,本文结合深度学习方法以涡扇发动机为研究对象,对涡扇发动机的剩余使用寿命预测领域开展研究。 针对组合特征搜索困难且搜索全面性较差的问题,提出了一种特征选择方法。首先以信息熵为衡量指标进行有效信息筛选,减少特征冗余;针对低相关性组合特征易被忽略的现象,以互信息度为相关度指标进行特征的筛选,进而利用自编码器将特征进行融合,并将组合特征扩充至特征集;最终利用弹性网络进行包含组合特征的特征集的特征选择,并利用仿真数据集以传统的弹性网络作为实验对照组开展对比实验。利用所选特征集进行预测,验证提出的特征选择方法的有效性和优越性,间接证明考虑组合特征的高效特征选择方法对于提高组合特征的提取能力。 针对Transformer提取时间信息能力不足且在剩余使用寿命预测领域中的特征提取能力有待提升,提出了基于改进Transformer的航空发动机剩余使用寿命预测方法。该方法在Transformer中加入一维卷积网络结构,提升其在剩余使用寿命预测领域应用中的预测表现;Transformer模型的注意力机制的主要功能是获取任意单一位置与其他位置的全局关系,但并不明确这种关系的先后,导致Transformer处理时序任务时需要进行额外的调整的问题,因此在Transformer网络结构中加入门控循环单元以提升时间信息提取能力。利用C-MAPSS数据集进行涡扇型航空发动机剩余使用寿命预测的相关实验,并与CNN、支持向量回归、自编码器等传统方法和近年预测效果较好的改进Transformer模型进行对比,证明提出的结合一维卷积、门控循环单元的Transformer的剩余寿命预测方法的优越性和有效性,最终进行消融实验。 针对剩余使用寿命预测结果受环境干扰后易产生波动性的特点,提出了基于点残差理论和优化的极限学习机的航空发动机寿命预测不确定性估计方法;针对极限学习机受参数影响较大的特点,利用遗传算法分别对区间上、下两个界限的对应预测模型结构参数进行优化,并利用优化后的极限学习机模型分别进行区间上、下界限预测。通过与其他方法进行实验对比,验证提出的方法在不确定性区间估计方面的优势。

关键词： 犯罪心理测试   心率变异性   超短时程心率变异性分析   心理生理原理  

摘要： 目的:犯罪心理测试,俗称“测谎”,心理测试技术的科学性一直为人们所关注。心率变异性(heart rate variability,HRV)作为评价机体自主神经系统活跃水平的指标,来反映不同检测问句内容作用下,所引起的情绪变化所导致的生理参数改变,进而判断被测人与案件关联程度。本研究在探讨基于脉搏波信号采集的HRV参数,运用时域、频域方法分析被测人测试问句刺激后的参数变化,将心率变异性指标运用于犯罪心理测试,增加犯罪心理测试结果科学性。研究方法:本文通过三项研究探讨HRV为心理测试指标的可行性。研究一是验证脉搏波信号的超短时程HRV分析的有效性;研究二是在实验室状态下,分析被试卡片测试和相关/不相关测试中不同问题类型的HRV变化:研究三是在实测情境下,分析被测人在皮电反应强度不同问题间的HRV差异。研究一利用Ergo LAB可穿戴手指传感器采集64名被试的HRV数据,分析得到被试HRV的时域和频域指标。对被试五分钟的HRV片段进行短时程分析,并从中随机挑选3段30秒的HRV片段与短时程分析结果进行一致性检验;研究二采用卡片测试和相关/不相关两种测试范式,对50名被试进行心理测试,每个实验采用2(问题类型:目标数字/相关问题和陪衬数字/无关问题)×2(窗口时间:固定30秒和问题间隔)实验设计,分析被测人HRV的差异情况;研究三分析了20条案件实测数据HRV,比较每轮次中被试皮电反应最大值和皮电反应最小值问题的HRV差异。研究结果:研究一中Bland-Altman一致性检验中RMSSD,SDNN,LF有95%的点在95%Lo A的可接受一致性界值内,ICC一致性检验法RMSSD、PNN50和HF的ICC值均大于0.75。研究二中相关/不相关测试中RMSSD、HF问题类型主效应差异显著;卡片测试中RMSSD、PNN50和HF差异显著,相关问题、目标数字HRV显著低于无关问题和陪衬数字;两测试中窗口时间主效应和交互项均无显著差异。研究三中皮电极大值问题的RMSSD和PNN50显著低于皮电极小值的RMSSD和PNN50。结论:1、在30秒的超短时程HRV分析时频域RMSSD、SDNN、PNN50和HF准确性较高,且三个30s的片段叠加平均后,超短时程HRV分析的准确性有所增加,表明记录30秒HRV参数可以反映被测人测试时自主神经活跃水平;2、不同问题类型引起被试心理生理反应的差异能够通过超短时程HRV分析监测,即问句内容差异下,超短时程HRV分析可以检测因问句引起的情绪变化;3、实测情境下,皮电反应存在差异的问题HRV指标亦能检测出显著差异,比较分析皮电、HRV等多个反映自主神经活跃水平的指标,可以得到更综合、科学的犯罪心理测试结果。

关键词： 测绘地理信息数据质量评估   分层抽样   样本量计算   分层边界值   空间自相关抽样  

摘要： 测绘事业是经济建设、国防建设、社会发展和生态保护的基础性事业,其产生的海量测绘地理信息数据广泛应用于自然资源调查监测、智慧城市、实景三维、生态群落、物种统计、自动驾驶、电子导航地图等领域,并发挥出了重要作用。因此,对测绘地理信息数据的质量进行抽样评估是保障其成果应用的前提,也一直是测绘与相关研究领域长期关注的基础理论问题。测绘地理信息数据具有海量、几何和拓扑结构复杂、空间自相关等特点,而现有质量评估的抽样方法主要是基于传统工业产品建立起来的,对测绘地理信息数据质量的针对性不强,相关性不高,极大影响了评估结果的精度和效率。因此,本文对测绘地理信息数据质量评估的抽样方法进行了探讨和研究,主要完成的研究工作、创新点及取得的成果如下: (1)针对测绘地理信息数据质量信息的复杂性,引入与“复杂度”概念密切相关且易于获取的分形维数,提出了分形驱动的测绘地理信息数据质量评估分层抽样方法(fractal theory based stratified sampling plan,FSSP),该方法通过计算待评估数据总体中每一个个体的分形维数,将不同分形维数的个体划分为互不重叠的集合,然后在不同集合内进行抽样。论证推导了分形维数与测绘地理信息数据质量评估值之间的相关性,建立了测绘地理信息数据质量评估分层抽样中分层指标与质量评估之间的负相关性,并依据信息熵理论和概率论,证明了FSSP方法在理论上的可行性。 (2)针对测绘地理信息数据质量评估中受空间自相关影响导致的样本量代表性不足的问题,以局部莫兰指数定量表达空间自相关性,提出了基于空间自相关的二阶抽样方法(spatial-autocorrelation based two-stage sampling plan,SATSP)。该方法的第一阶段通过计算每个个体分形维数的局部莫兰指数将总体划分为空间自相关敏感区和空间自相关钝感区(以下简称空间敏感区和空间钝感区),第二阶段根据构建的空间敏感区和空间钝感区分层指标模型对各区内的总体进行分层,最终在各层内进行随机布样。提出的方法可有效克服受空间自相关影响的测绘地理信息数据质量评估抽样中样本对质量评估值的代表性不足的问题。 (3)针对分层抽样样本量计算方法中的未知参量——层内方差依赖人为经验给定而导致的样本量难以确定的问题,提出了分层边界值二阶估计算法,通过引入易计算的辅助变量分形维数,定量计算出分层边界值,精确划分各层范围,定量估计各层内方差,给出了基于分层边界值的样本量估算法,为分层抽样的样本量计算方法提供一种不依赖人为经验值设定层内方差的方法。 (4)在质量评估主要环节中,从测绘地理信息数据几何形式的角度出发,构建了一种“基础型+几何形式”的质量元素配置方案,同时研究分析了质量评估准则及适用范围;从可用性、有效性和可操作性出发,给出了多种质量评估参考数据。最后采用乌干达2020年核心矢量要素数据交通和水系产品开展实例应用,结果表明本文提出的“基础型+几何形式”的质量元素配置方案可同时适用于线状和面状(包括栅格)的测绘地理信息数据质量评估。 (5)采用核心矢量要素交通和水系线状产品、地表覆盖分类面状数据产品分别对本文提出的FSSP方法和SATSP方法开展实证分析。1)采用提出的FSSP方法开展了自然资源部组织研制的南苏丹2020年6幅核心矢量要素交通和水系线状产品的抽样评估实证分析。以抽样设计效应(design effect,DEFF)和均方根误差(root mean square error,RMSE)两个指标,分别与目前广泛使用的类型分层抽样方法(classification based stratified sampling plan,CSSP)、简单随机抽样方法(simple random sampling plan,SRSP)进行对比试验,实验结果表明,本文的FSSP方法DEFF值都小于1,质量评估值(正确率)相对真值的平均“RMSE”相对较小,且在低样本量时,更接近于“真值”,验证了本文FSSP方法的可行性和有效性。2)选择哈萨克斯坦中部地区作为实验研究区,以自然资源部组织研制的研究区2021年3幅10m地表覆盖分类面状数据作为样本数据,利用本文提出的SATSP方法,分别与基于景观形状指数(landscape shape index,LSI)和基于面积的空间自相关分层抽样方法进行对比实验,结果表明,本文的SATSP方法比上述两种方法的质量评估值(正确率)相对“真值”的离差绝对值相对更小,平均RMSE比基于LSI和基于面积的方法最高可减少56.9%和51.14%。实验验证了本文提出的SATSP方法的有效性且适用于受空间自相关影响的测绘地理信息数据质量评估。

关键词： 不平衡数据   相似云过抽样   相似云欠抽样   混合抽样  

摘要： 不平衡数据的类内不平衡与类间不平衡对数据挖掘工作产生一定影响,为降低数据不平衡率,在数据层面进行重新抽样是主要方法之一。传统抽样方法只在概念外延(样本数据集合)层面生成新数据,没有体现概念外延(样本数据集合)到概念内延(抽样概念)的双向认知活动,合成数据缺乏新信息,且与原数据分布差异较大。针对以上问题提出三种抽样方法:基于相似云度量方法筛选与多数类更贴近的少数类,并利用云模型在贴近区域进行过抽样;基于相似云度量方法筛选与少数类更贴近的多数类,在贴近区域进行欠抽样;结合相似云过抽样和欠抽样的混合抽样算法。通过与传统欠、过抽样方法进行对比,探讨三种抽样方法的适用情况。主要结论如下: 1.基于相似云欠抽样方法,选择与少数类样本相似度高的多数类簇作为边界簇,在边界簇内删除数据,对平衡后数据建立Logistic回归模型,所得分类结果相较于原数据和传统抽样方法在全局准确度、查准率和查全率几何平均值(G值)、Fmeasure(F值)和AUC值上有明显提升。 2.基于相似云过抽样方法,选择与多数类样本相似度高的少数类簇作为边界簇,利用正向云发生器在边界簇内生成数据。对平衡后数据建立Logistic回归模型,所得分类结果相较于原数据在全局准确度上有一定提升。 3.基于相似云混合抽样方法,结合相似云过抽样与欠抽样进行混合抽样,对平衡后数据建立Logistic回归模型,所得分类结果相较于原数据和传统抽样方法在全局准确度、召回率和AUC值上有一定提升。 4.对三种抽样方法所得到的Logistic回归模型泛化能力进行探讨:对数量级较大数据进行相似云过抽样时可能出现过拟合现象;对数量级较小数据进行相似云欠抽样时可能出现欠拟合现象;基于相似云混合抽样在训练集上分类效果较好。 5.对于十级样本差,相似云欠抽样分类效果最好;对于百级样本差,相似云混合抽样分类效果最好;对于万级样本差,相似云过抽样分类效果最好。 图33幅;表44个;参57篇。

关键词： 大数据   试验设计   相对误差   最优设计   正交表   子抽样   方差估计  

摘要： 大数据在日常生活中的应用越来越广泛,大数据的“大”体现在样本量大且维数高等特征.由于这些特征的存在,大数据集对统计学的研究和发展带来了新的挑战.例如,高维度会带来伪相关性,进而可能导致虚假的科学发现和错误的统计推断;海量数据一般从不同的时间、地点及种群中收集,这样会导致数据中存在异质性等问题.除此之外,存储和分析大数据集对计算机的性能要求非常高.尽管普通的家庭计算机有时也可以对大数据集进行存储和分析,但处理大数据集所花费的时间代价常常是难以忍受的.因此,同时考虑具有可行性和有效性的大数据分析方法是一个非常重要的课题.子抽样是用于减少大数据集计算负担的一种较为流行的技术.通过对大数据进行子抽样,研究者可以从全数据中提取信息最丰富的子样本进行统计推断.在抽取到的子样本上进行统计推断可以保证在损失较少样本信息的前提下达到节约计算成本,提高计算效率的目的.根据研究目的的不同,现有的子抽样方法可以分为随机抽样和确定性抽样,随机抽样又包含有概率抽样和非概率抽样两种抽样技术,其中概率抽样是给每个数据点赋予一个抽样概率,依概率决定该数据点是否入样.当获取响应所付出的代价非常昂贵时,确定性抽样方法是一个较好的选择.通过确定性抽样,研究者可以选择一组确定的子样本来进行统计推断.第一章介绍了大数据的背景、应用及其相关属性.本章首先围绕大数据的属性来说明传统的统计推断方法将不再适用于研究大数据.其次本章对文献中的子抽样技术进行讨论,并介绍了国内外的研究现状.除此之外,在第一章中按照随机抽样和确定性抽样分别介绍了本文的研究内容和相应的创新点.第二章主要研究了在相对误差下的最优子抽样技术.目前大多数的子抽样方法侧重于通过最小化绝对误差来获得子样本的估计量,然而在许多实际应用中,研究者关心的是相对误差的大小,而不是误差本身的大小.第二章考虑了基于最小绝对相对误差的最优子抽样方法.在本章中研究了一般子抽样估计量的相合性和渐近正态性,并推导出最优子抽样概率.本章中提出的最优子抽样算法是根据最优子抽样概率选择子样本,在最优子样本下相应估计量的大样本性质也得到了证明.此外,在最优子样本下,本章分别采用随机加权法和最小二乘法处理估计量的渐近协方差难以直接估计的问题.最后,本章分别在最小绝对相对误差、最小绝对偏差和最小二乘法下对比了最优子样本估计量的估计精度.模拟研究和实际例子进一步说明了本章所提出的最优子抽样方法的优良性质.大数据中存在的污染、异常值以及异质性可能会对子抽样概率产生较大的影响.使用一个不正确的子抽样概率可能会错误的选择子样本,直接在错误选择的子样本上进行统计推断会得出错误的结论.第三章围绕数据污染以及异常值的问题提出一个双稳健框架,并在该框架下建立非对称最小二乘回归,通过L2估计解决数据中存在的污染及异常值问题.理论和模拟结果说明,在双稳健框架下所得到的估计量对大数据中的污染和异常值均是稳健的.其次,本章通过在双稳健框架下进行泊松子抽样,得到了一个更稳健的子抽样概率来选择子样本.在一些温和的条件下,本章建立了基于双稳健框架的泊松子样本估计量的渐近性质.最后,本章通过数值模拟和一个真实数据来说明在双稳健框架下泊松子抽样方法的有效性.在第四章中将给出一种确定性抽样的方法来选择子样本.Wang等(2021)基于两水平正交表提出了一类正交的子抽样方法,通过构造一个散度函数来测量所选子样本与正交表的近似程度,并在散度函数下设计了子抽样算法来选择子样本.基于正交表的投影性质,本章定义了一个新的散度函数来评估所选子数据的质量,并根据“留一”思想提出了一个基于二维投影的子抽样算法.在本章最后基于一个真实数据说明了所提子抽样算法的优良表现.在第五章中总结了全文,并给出了下一步可能要开展的研究内容.

关键词： 企业专利质量   评价指标   指标筛选   R聚类   变异系数  

摘要： 建立科学合理的评价指标，是评估企业专利质量的重要前提。从专利的创新性、稳定性、经济性和战略性四个维度，通过文献分析初步选取企业专利质量的评价指标，并采用R聚类和变异系数分析法对指标进行定量筛选，剔除相关性较低和变异系数较小的指标，构建了企业专利质量评价指标。研究显示，54.5%的指标反映了95.8%的初始指标信息，有效降低了企业专利质量评价指标间的信息重叠。