电网技术

2014, v.38;No.367(06) 1705-1711

[打印本页] [关闭]
本期目录(Current Issue) | 过刊浏览(Past Issue) | 高级检索(Advanced Search)

采用Map-Reduce模型的海量电能质量数据交换格式文件快速解析方案
A Fast Parallel Parsing Scheme for Massive PQDIF Files With Map-Reduce Model

曲广龙;杨洪耕;张逸;

摘要(Abstract):

针对现有方案对电能质量监测系统中海量PQDIF文件解析效率低、解析时间长等问题,研究实现了一种基于集群计算架构的海量PQDIF文件快速解析方案。通过Map-Reduce模型来实现海量PQDIF文件的快速并行解析。Map-Reduce模型将数据集的大规模操作任务拆分成若干子任务分配给网络上的每一个计算节点(如PC机),实现多计算节点共同协调处理任务,达到提高运行效率的目的。方案采用Java和C++编写,在异构平台间具有较强的可移植性,并且可以通过增加计算节点来提高解析效率,具有较强的可扩展性。通过对海量PQDIF文件进行解析测试,结果表明该方案可以显著提高文件解析效率。

关键词(KeyWords): 电能质量;PQDIF文件;Map-Reduce模型;海量数据解析;Hadoop

Abstract:

Keywords:

基金项目(Foundation):

作者(Author): 曲广龙;杨洪耕;张逸;

Email:

DOI:

参考文献(References):

扩展功能
本文信息
服务与反馈
本文关键词相关文章
本文作者相关文章
中国知网
分享