首页 > 手机黄色 >为大数据时代开发下一代统计工具
2018
04-25

为大数据时代开发下一代统计工具


统计人员正在开发新的方法来解释我们身边不断产生的数据量空前巨大。

无论是智能手机里装满了传感器,测量您的健康状况,地点和天气,还是连接的汽车行驶过路边监测仪,测量交通量或空气质量,甚至是单个油井上的数千个传感器,物联网“和”大数据“海量信息正在以前所未有的规模生成和收集。

据估计,到2020年,将有超过300亿个设备收集数据流。能够解读和利用所有这些数据将带来巨大的经济和社会效益 - 在电子卫生和通信等领域取得进展,并使我们更多的人能够过上更健康,更富有成效的生活。 CEBR的一份报告估计,到2017年,英国经济的大数据价值将高达400亿英镑。

这种新的数据形式带来了新的数据分析挑战。例如,尽管传统的统计方法适用于数据量适中且易于计算的数据,但并不是在考虑流数据时代的情况下开发的。为了解决这个问题,一个新的研究计划正在由工程和自然科学研究委员会资助。英国兰卡斯特大学数据科学研究所的成员正在与剑桥大学统计实验室的同事合作,领导275万英镑的“StatScale:统计可扩展性,用于影响数据通路”计划。兰卡斯特大学统计学教授伊德里斯·埃克利(Idris Eckley)表示:“日常系统和设备(如智能手表,仪器仪表油田等)中传感器的普及,意味着如果可以有效地提取信息,就有巨大的社会和经济效益潜力。

“这一当代数据的数量,规模和结构带来了根本性的新的令人兴奋的统计挑战,而传统方法无法解决。我们的目标是发展统计学的范式转换,提供一个新的统计工具箱来处理和利用这些巨大的数据流。“剑桥大学的理查德·萨姆沃思教授说:”许多经典的方法要么是不切实际的,要么是不切实际的不适合处理这些数据流的目的。 StatScale将开发支持下一代可扩展统计算法的理论和方法论基础。如果英国要在一系列科学和工业挑战中保持竞争优势,这些方法是迫切需要的。“

StatScale受益于与行业的重要合作关系。包括壳牌英国公司,英国电信,阿斯利康和国家统计局在内的公司已经同意试用该方案中出现的新方法和新模型,以便在实际情况下对其进行快速测试和改进。这些合作将有助于StatScale的研究议程,也将有助于这项研究迅速直接的经济和社会效益。工程与物理科学研究理事会(EPSRC)副主席Tom Rodden教授说: “每一天,我们都是以个人和集体的方式生成和贡献大量的信息,这就是'大数据'时代。但是,要有效利用这些数据,这将带来经济和社会效益,我们必须有可靠,准确的解释方法。

“StatScale项目得益于与行业合作伙伴的密切合作,将是提供利用这一信息革命所需的统计工具的关键。”

来源:兰卡斯特大学