面向食源性疾病爆发检测的大数据分析方法  

Big Data Analysis Method for Foodborne Disease Outbreak Detection

作　　者：冯亚伟[1,2] 黎建辉[1] 

机构地区：[1]中国科学院计算机网络信息中心,北京100190 [2]中国科学院大学,北京100049

出　　处：《科研信息化技术与应用》2016年第5期52-58,共7页E-science Technology & Application

基　　金：国家自然科学基金(41371386;91224006);中国科学院战略重点研究计划(XDA06010307;XDA05050601);十二五科技支撑计划(2013BAD15B02);国家卫生和计划生育委员会国家卫生家庭特别研究经费(201302005)

摘　　要：食源性疾病是指通过摄食而进入人体的有毒有害物质(包括生物性病原体)等致病因子所造成的疾病,一般具有感染性或中毒性。爆发检测的目标是根据收集得到的医院病例数据判断是否有同构性的食源性疾病爆发。本文采用基于并查集[1]的MPI并行[2]DBSCAN算法来检测聚集性的食源性疾病爆发,可以在1分钟完成25万病例数据集的聚集性爆发检测,比原始的单机DBSCAN算法速度快了100倍。本文设计了S-K-CPS算法(Spark下的[3]K-CPS算法)来检测食源性病例数据的散发性爆发,能够实现对于100万病例数据规模的检测,并在速度上比K-CPS算法快了10倍左右。Foodborne diseases are diseases caused by pathogens such as toxic and harmful substances（including biological pathogens）that enter the body through ingestion.They are generally infectious or toxic.The goal of the outbreak test is to determine whether there is an isomorphic foodborne disease outbreak based on the collected hospital case data.In this paper,the parallel DBSCAN algorithm with disjont-set data structure under MPI is used to detect the outbreak of aggregated foodborne disease.It can finish detecting 250,000 records in only one minute,runs 100 times faster than local DBSCAN algorithm.In this paper,SK-CPS（Spark K-CPS）is designed to detect the sporadic outbreak of foodborne cases data,which can

关 键 词：DBSCAN K-CPS SPARK 并行化 食源性疾病 MPI 

分 类 号：S816[农业科学—饲料科学]