电网技术

2015, v.39;No.384(11) 3128-3133

[打印本页] [关闭]
本期目录(Current Issue) | 过刊浏览(Past Issue) | 高级检索(Advanced Search)

基于Hadoop的用电信息大数据计算服务及应用
Computation Services and Applications of Electricity Big Data Based on Hadoop

王相伟;史玉良;张建林;梁波;程翠萍;

摘要(Abstract):

为应对用电大数据的处理要求,基于Hadoop集群构建了面向用电信息采集系统大数据的处理架构和计算服务架构,对计算任务进行并行化处理,提高了用电大数据的计算效率;同时针对用电信息采集系统中大部分计算服务的计算规则复杂、存在数据依赖关系等特点,将同一计算服务内的Map Reduce作业及及其依赖关系以有向无环图的形式进行组织,并利用依赖控制引擎进行作业运行状态的自动管理,实现作业提交时间的动态调整,达到优化作业执行效率和成功率的效果。实验结果证明,所提方法高效可行,计算服务性能高,能够适应用电大数据的实时处理要求。

关键词(KeyWords): 用电信息采集系统;大数据;Hadoop

Abstract:

Keywords:

基金项目(Foundation): 国家自然科学基金项目(61272241)~~

作者(Author): 王相伟;史玉良;张建林;梁波;程翠萍;

Email:

DOI: 10.13335/j.1000-3673.pst.2015.11.017

参考文献(References):

扩展功能
本文信息
服务与反馈
本文关键词相关文章
本文作者相关文章
中国知网
分享