课程文献中心 更多>>

关键词： 数据整合   分布一致性   抽样方法  

摘要： 数据整合作为一种统计工具,能够将不同渠道获得的样本数据融合起来,以获得更广泛的代表性和更高的数据质量。在传统的抽样方法如家庭面访或街头调查中,研究可能受限于样本量不足,难以满足精确统计的需求。而线上调查虽然方便快捷,却可能因参与者的自选行为带来偏差,影响结果的普遍性。面对这一问题,本文通过深入分析两种样本来源的潜在兼容性,旨在确保数据整合的准确性。 在本研究中,本文的主要工作是通过模拟实验深入分析了在各种样本比例和数据质量条件下,概率抽样和非概率抽样结果的分布一致性。通过构建五个不同特征的目标总体,深入研究了样本比例变动对分布一致性评估方法的影响。在第一部分的实验中,主要采用了基于假设检验的分布一致性评估方法,包括KS检验、Cv M检验、Kuiper检验、DTS检验、Wilcoxon秩和检验、Brown-Mood中位数检验、Bartlett检验和Levene检验。这些方法在样本比例调整时的敏感性受到了详尽考察,通过不断重复实验,我们量化了这些方法在不同分布情景下的稳健性和犯第一类错误的风险。同时,也对基于距离函数的评估方法——包括KL距离、JS距离、Hellinger距离和Wasserstein距离——的表现进行了系统的模拟分析。这些方法补充了假设检验的局限性,尤其是在分布尾部性质差异显著时,为分布一致性评估提供了更精细的量化手段。第二部分实验则关注了数据质量对分布一致性的影响,特别是测量误差增大和离群点频繁出现的情况。本研究发现,KL距离在处理异常值时可能会放大其影响而导致不稳定的评估结果,而JS距离和Wasserstein距离则能提供更为稳定和平衡的视角来评价分布之间的差异。不仅如此,我们还揭示了Hellinger距离在处理具有尖峰和厚尾的分布时显示出的鲁棒性特征。 本文的实验成果为数据整合提供了切实的指导,强调了在不同数据集之间确保分布一致性的重要性。从混合线上和线下样本的实用角度出发,确保两者能够共同反映出总体的真实状态,是有效研究的关键所在。通过对分布一致性评估的深入分析,本研究不仅提高了我们对概率和非概率抽样数据融合难题的理解,也为后续的调查研究实践提供了思路和借鉴。

摘要： ~~

关键词： 同伴推动抽样   男男性行为者   HIV感染   机器学习算法  

摘要： 目的:运用同伴推动抽样(Respondent Driven Sampling,RDS)方法,深入了解新疆某市男男性行为人群(Men who have sex with men,MSM)的人口学特征、行为学特征,推断该人群的人类免疫缺陷病毒(Human Immunodeficiency Virus,HIV)流行率,并分析MSM的HIV感染状况及相关危险因素;采用不同机器学习算法建立MSM的HIV感染风险预测模型;判断模型的预测能力,找出最优预测模型。 方法:2021～2022年采用同伴推动抽样法在新疆某市招募MSM开展问卷调查,收集人口学信息和性行为情况,检测HIV和梅毒抗体;根据同性性角色分为主动组、被动接受组、两者兼有组,分析不同性角色的MSM的性行为特征及HIV感染情况,采用6种机器学习算法:K-近邻算法(k-Nearest Neighbors,k-NN)、极致梯度提升(e Xtreme Gradient Boosting,XGBoost)、随机森林(Random Forest,RF)、支持向量机(Support Vector Machine,SVM)、多层感知机(Multilayer Perceptron,MLP)、Logistic回归建立MSMHIV感染风险预测模型,根据模型性能的评价指标ROC曲线下面积(AUC)、灵敏度、特异度和准确度判别最优模型。 结果:1、采用RDS从2021年10月-2022年12月招募MSM703人,本次调查共选取种子30人,年龄从20～52岁不等;18名种子招募满5人;人数最多的招募链为82人、13名种子的招募人数小于15人;相关变量分别在4至7轮达到平衡。2、MSM人群特征:调查对象平均年龄为28.70±8.09岁,45.95%集中在25～35岁,73.57%为未婚,53.60%文化程度在大专及以上,47.60%通过网络途径招募,57.36%近6个月性伴类型其中既有固定性伴又有临时性伴,63.36%的人近6个月同性性伴数≥5人。梅毒感染率为6.01%,HIV感染率为8.26%,90.99%的人最近一年做过HIV检测;艾滋病防治相关知识总体知晓率为84.53%;3组MSM在年龄、招募途径首次性伴性别、性倾向、首次男男性行为年龄、与临时性伴安全套使用情况、参加志愿者小组活动情况和HIV感染率近5年性行为、与妻子安全套使用情况、担心自己感染、最近一年做过检测、知晓检测结果上的差异的有统计学意义(P<0.05);MSM人群HIV感染的相关危险因素分析:多因素logistic回归分析结果显示,户籍、招募途径、性角色、近6个月同性性伴人数、商业性行为和梅毒感染是MSM人群HIV感染的相关危险因素;不同性角色中,主动组HIV感染风险低于两者兼有组,被动接受组HIV感染风险与两者兼有组相近。3、使用全部变量建模和使用拉索(Least absolute shrinkage and selection operator,Lasso)选择得到的变量建模两种方案,一共定义12个工作流。在验证集上,全部变量数据建模RF、SVM、k-NN、MLP、XGBoost和Logistic回归的AUC值分别为0.9916、0.9842、0.9570、0.9779、0.9822、0.9192;Lasso选择得到的变量数据建模RF、SVM、k-NN、MLP、XGBoost和Logistic回归的AUC值分别为0.9893、0.9842、0.9540、0.9778、0.9800、0.9441。RF在六种分类模型中的分类性能表现最好,灵敏度为0.9617,特异度为0.9562,准确度为0.9590,AUC值为0.9893。 结论:使用RDS调查获得了较为典型的MSM样本,结果显示新疆MSM群体存在较高的高危行为发生率和较低的艾滋病相关知识知晓率,未来艾滋病预防干预需要进一步加强对MSM的艾滋病相关知识普及、降低高危行为发生率以及减少性伴的健康教育;MSM人群首次性行为年轻化趋势明显,被动接受组平均年龄小,提示应注重在校青少年的宣传干预教育,把防控关口前移,同时不断加强被动组的干预检测工作,提高其风险意识;不同性角色MSM人群的行为特征和HIV感染风险存在差异,主动组HIV感染风险低于被动接受组和两者兼有组,应分类施策,减少HIV在该人群中的传播;机器学习算法有效地提高了MSM人群中HIV感染的预测效能,RF模型为识别MSM人群中HIV感染者并为其提供咨询与治疗提供了帮助,有助于合理分配医疗资源。MSM人群应当注意采用安全措施、提高预防HIV感染的风险意识,减少患病的可能性。

关键词： 污水处理过程   数据驱动   故障诊断   核密度估计   集员估计   神经网络  

摘要： 污水处理厂作为城市的人工肾脏,能有效处理生活污水与工业废水,对改善生态环境、提升城市品位和促进经济发展具有重要意义。污水处理过程是一项复杂的动态生物化学反应工程,涉及众多机械设备、电气设备与自动化仪表,极易发生故障。而多变量、强耦合、非线性、大时滞、随机、不确定等特性导致污水处理过程精准的模型构建与故障诊断十分困难。此外,污水处理系统通常受到传感器噪声、系统干扰等不确定性影响,使得实际出水水质指标与基于软测量模型的预测结果存在偏差,现有多数数据驱动的故障诊断方法往往未考虑污水处理过程的不确定性,导致故障诊断结果不准确。本文基于物联网、人工智能等先进技术,结合实际工业需求,从数据驱动的角度深入研究基于区间估计的污水处理过程故障诊断,主要创新和研究成果如下: (1)考虑污水出水水质难以直接测量,且易受测量噪声等不确定性影响,提出了一种基于改进的突变白头鹰算法优化的核极限学习机与核密度估计相结合的污水处理过程故障诊断模型。首先,提出了一种改进的核极限学习机模型对污水的出水水质进行预测。该模型的核参数和正则化系数通过改进的白头鹰算法进行求解,通过Tent混沌策略和突变策略提升了白头鹰算法的寻优精度与效率。其次,利用寻优后的核极限学习机模型得到预测误差,并基于概率性核密度估计方法,生成出水水质指标的置信区间。该区间可以表征在正常条件下系统受不确定性影响下出水水质的波动范围。实际应用中,出水水质指标超出该区间,可判断系统发生了故障。最后,通过仿真实验验证了该方法的有效性。 (2)核密度估计方法是一种基于概率分布的区间生成方法,在实际中很难确保置信度为100%的区间。集员估计方法属于确定性区间估计方法,只需假设不确定性满足峰值有界的条件。本文提出了一种椭球优化的长短期记忆神经网络(Long Short Term Memory,LSTM)污水处理过程的故障诊断方法。首先,基于LSTM构建污水出水指标的点预测模型。其次,假设预测误差是未知但有界的,基于椭球描述点预测模型输出权值的不确定性可行集,通过最小化椭球的形状来推导出描述输出权值所在可行集的最优迭代公式,并求出点预测模型输出权值所在的区间,该区间表征了基于LSTM点预测模型的不确定性,正常工况下预测结果应包含在该区间范围内,反之则可判断发生了故障。最后,通过仿真验证了所提方法的有效性。 (3)椭球在描述不确定性区间时保守性较大,为获取更加精确的预测模型权值所在的区间,提升污水处理系统故障诊断的精度和效率,提出了一种椭球束优化的神经网络区间预测模型框架,并将其应用到污水处理过程故障诊断。首先,基于神经网络构建污水出水指标的点预测模型,该模型可以是任意的神经网络模型。其次,在预测误差是未知但有界的前提下,利用椭球束描述点预测模型输出权值不确定性可行集,再通过最小化椭球束形状的Frobenius范数推导出更精确描述输出权值所在可行集的最优迭代公式。构建生成包络,并求出点预测模型输出权值所在的区间,正常工况下预测结果应包含在该区间范围内,反之则可判断发生了故障。最后,实验验证了所提方法在故障诊断精度和效率上均有明显提升。

关键词： 二项分布   双抽样   极小覆盖概率   区间长度   h-函数方法  

摘要： 在很多总体分布中除兴趣参数外经常还存在冗余参数.对这类情况兴趣参数的区间估计问题已有大量研究.现有的区间包括渐近区间和精确区间,这些区间存在一定不足,其中渐近区间不能达到给定的置信水平,精确区间大部分的区间长度是保守的.通常人们用区间长度衡量区间的精度,用极小覆盖概率(infimum coverage probability,ICP)衡量区间的可靠性.所谓最优置信区间是指ICP能达到给定的置信水平且区间长度最短.是否能改进渐近区间使得置信系数达到预定的水平1-α或缩短精确但保守的区间,本文将解决这一问题.因此,最优置信区间的构造是迫切的且有意义.本文一方面给出一些较优的区间,另一方面用h-函数方法改进现有的常用或推荐使用的区间. 本文的主要研究内容和相应成果包括以下四个方面: (1)当观察到两个独立的二项分布时,广泛用于许多领域(包括生物医学研究)的可以比较两种方法的参数是相对风险(Relative Risk,RR)和优势比(Odds Ratio,OR).这两个参数的渐近或精确区间估计已经有很多.然而,这些区间可能是不可靠的或保守的.本文通过应用h-函数方法来改进一些现有区间.特别地,如果此区间是渐近的,那么改进后的区间是精确的;如果此区间是精确的,则改进的区间是此区间的子集.该方法还将多次应用于改进的区间,直到最终得到的区间不能再缩短.本文的研究指出对于RR,推荐最终改进的Wang-Shan区间;对于OR,推荐最终改进的Baptista-Pike区间.为了证明该方法的有效性,本文使用三个真实数据集来详细说明实践中几个好的区间是如何改进的. (2)二项比例的加权和(Weighted Sum of Binomial Proportion)与交互作用(In-teraction Effect)是二项比例线性组合(Linear Combination of Binomial Proportions)的两个特殊情况.现有的这两个参数的置信区间都是渐近的.本文将h-函数方法应用于给定的渐近区间获得精确区间且将这个过程重复多次,直到最终改进的区间(精确)不能再缩短.特别地,对于两比例加权和,基于调整score(渐近)和fiducial区间为初始区间得出用h-函数的最终改进区间.在比较了目前已有的几种区间后,推荐使用这两种最终改进的区间.对于三比例加权和以及交互作用,推荐基于调整score区间的最终改进区间.同时,本文使用三个真实数据集详细说明了渐近区间的改进过程. (3)由于实际情况的复杂性,许多领域(如临床诊断等)大量存在一类错误分类的二项数据.为叙述方便,此数据可视为由双抽样方案得到,包括金标准检测和易出错检测.此类数据总体服从的分布中的主要关注的参数是金标准检测的阳性率p.现有的区间并不可靠,因为未达到给定的名义水平.本文首先提出通过反转E+M得分(score)检验来构造精确区间,并用h-函数方法对此区间进行改进.然后进一步将h-函数方法应用于几个现有的渐近区间,通过比较发现本文提出区间的改进区间的总长度比其他改进的精确区间短.因此,实际应用中推荐本文提出的精确区间.除此之外,还对另两个参数感兴趣,即p*-易出错检测和金标准检测的阳性率之差和ζ-易出错检测的误报率.据我们了解,文献中对这两个参数的研究很有限.注意到p的任何区间都可以转换为p*的区间.p*的最优区间可由p的最优区间获得.对于ζ,我们得到将E+M score区间用h-函数方法改进的区间.本章用一个例子来说明如何计算区间,并给出了真实的数据分析. (4)在生物医学等领域还会出现存在两类错误分类的二项数据.此类分布中关注的参数是真实的阳性率π.本文用h-函数方法改进了几个已有的表现较好的区间.通过比较区间的总长度,推荐使用最终改进的Bayesian区间.

关键词： 城市植物多样性   抽样调查   抽样方法  

摘要： 城市的快速发展导致城市植物多样性变化。准确掌握建成区内植物多样性的本底，有助于城市可持续人居环境建设和发展。而由于城市的高度人工化，植物多样性的空间分布不同于自然状态下的，因此研究切实可行的城市植物多样性调查方法，便于更好地指导城市植物多样性发展。文章基于3S技术，以漯河市为例，对城市植物多样性调查抽样方法展开研究，以期提供一定参考。

关键词： 状态依赖抽样   投资组合策略   市场状态识别   隐马尔科夫模型  

摘要： 如何提高投资组合效益是投资者关注的一个重要现实问题,准确预测收益率有助于投资者制定更合理的投资策略,优化投资组合配置,从而实现更高的绩效。历史抽样法是学者们广泛采用的一种预测方法。然而,收益率受市场状态的影响不容忽视。因此,本文研究了基于市场状态的抽样方法及其在投资组合优化中的应用。 首先,使用两状态的隐马尔科夫模型识别股票的市场状态,接着针对不同市场状态下的历史收益进行抽样并作为未来收益的可能情景。这种方法既结合了隐马尔科夫在市场状态识别方面的优势,又避免了股票预测模型在识别精度上的缺点,采用了Bootstrap抽样方法对不同市场状态下的未来收益进行抽样。然后,通过投资组合优化模型对比基于状态依赖抽样法和基于随机抽样法组合的绩效表现,检验状态依赖的抽样方法的效果。结果表明,基于状态依赖抽样方法的投资组合在累计收益率、年化收益率、年化波动率、收益与标准差之比和条件风险价值(CVa R)五个绩效指标上优于随机抽样的组合绩效。在不同模型的稳健性检验中,基于状态依赖抽样方法的投资组合表现均优异。本文还比较了在不同市场状态区间中两种抽样方法的绩效,发现基于状态依赖抽样法的组合在上涨、下跌和震荡区间都能为投资者获取更高的收益或降低投资损失,但在危机时期的表现不如随机抽样。 本文的创新点在于:提出状态依赖抽样方法,为预测收益率提供新思路;将状态依赖抽样方法应用于组合投资优化问题,提高投资绩效。在复杂多变市场情景下,为投资者有效挖掘市场信息、合理配置资产、提高投资绩效提供理论和方法支持。

关键词： 联合独立信息   线性校正模型   区间估计   假设检验  

摘要： 线性校正模型是对未知的自变量进行推断的统计模型,被广泛应用于工程测量、化学化工以及医疗分析等领域。线性校正模型可以转化为G-H类问题,该问题到目前为止没有任何一个统计学派能够给出完全令人满意的解决方法。本文借助广义推断和后验预测分布方法,对联合独立信息的单变量线性校正模型的统计推断问题进行研究,通过数值模拟和实例方式评价方法的频率表现,为研究G-H类问题提供借鉴。 本文主要研究基于联合独立信息的单变量线性校正模型区间估计与假设检验问题,利用已知的校正数据构建联合独立信息的单变量线性校正模型,从而对预测模型中的未知的自变量进行推断。在区间估计方面,基于Fiducial推断给出广义置信区间,运用Jeffreys先验给出后验分布从而给出后验预测区间,并结合信息域对两种置信区间进行修正。数值模拟及实例分析结果显示,与已有方法及Fiducial方法构建的广义置信区间相比,基于后验预测方法的置信区间在置信区间覆盖概率和置信区间长度两个角度有明显优势,且两种方法的置信区间结合信息域修正后,区间长度得到改善。在假设检验方面,运用区间估计中给出的广义枢轴量构建广义检验变量,进而得到广义p-值,依据后验预测分布运用已有的检验统计量构建后验预测p-值。犯第一类错误及功效的模拟结果、实例结果显示,后验预测p-值有更好的表现。