基于分布式文件系统HDFS的节能算法

【摘要】：与传统数据中心节能算法不同,MapReduce计算任务的数据依赖性使得设计HDFS(Hadoop Distributed File System)节能算法时必须保证集群中所有数据块的可用性,即任意数据块或其副本中的至少一块处于活动状态.根据HDFS集群结构与数据块存储等特点建立了DataNode节点矩阵、节点状态矩阵、文件分块矩阵、数据块存储矩阵与数据块状态矩阵,为后续研究建立了基础模型.结合数据块状态矩阵与数据块可用性之间的关系设计了DataNode节点休眠验证算法.概率分析了由于机架感知的存储策略带来数据块分布的随机性,使得在不改变数据块存储结构与存储策略的情况下并不能通过休眠DataNode节点达到节能的目的.进而设计了数据块存储结构配置节能算法与基于对称数据块存储策略下的节能算法,分别从改变数据块的存储结构与存储策略两方面对HDFS进行节能改进.实验结果表明:两种节能算法都能解决HDFS集群的能耗低利用率问题,并且集群负载越低节能效率越高. 【作者单位】： 新疆大学软件学院;新疆大学信息科学与工程学院;
【关键词】： 云计算 分布式文件系统 节能计算 副本策略 绿色计算
【基金】：国家自然科学基金(60863003,61063042) 新疆维吾尔族自治区自然科学基金(2011211A011)资助~~
【分类号】：TP311.13
【正文快照】： 1引言低碳节能已经成为全球热点问题之一,而信息与通信技术行业的高速发展也带来了高能耗、高二氧化碳排放量的问题.据统计①,目前IT领域的二氧化碳排放量占全球的2%,而到2020年这一比例将翻番.2008年路由器、交换机、服务器、冷却设备、数据中心等互联网设备总共消耗8680亿

您可以在本站搜索以下学术论文文献来了解更多相关内容

绿色网络和绿色评价:节能机制、模型和评价    林闯;田源;姚敏;

绿色网络的实例——可重构柔性网络    袁博;汪斌强;张博;

IP over WDM网络最小功耗模型和休眠机制研究    薛琳;郭爱煌;

基于可信云计算的伪随机数生成    朱晓林;耿恒山;

基于跨层设计的无线传感器网络节能双向梯度路由算法    任智;徐中浩;曹建玲;陈前斌;

WPAN Mesh网络中基于服务器的高效路由算法    雷宏江;汪坤露;高潮;任智;

绿色IP over WDM网络研究进展    郭爱煌;薛琳;

云计算中虚拟机放置的自适应管理与多目标优化    李强;郝沁汾;肖利民;李舟军;

基于线性回归的无线传感器网络分布式数据采集优化策略    宋欣;王翠荣;

一种面向同构集群系统的并行任务节能调度优化方法    李新;贾智平;鞠雷;赵衍恒;宗子良;

网络能耗系统模型及能效算法    张法;Antonio Fernandez Anta;王林;侯晨颖;刘志勇;

绿色网络的实例——可重构柔性网络    袁博;汪斌强;张博;

协作认知无线电网络优化模型与算法研究    杨威

源码未知类软件能耗评估技术研究    王艳

基于能耗和成本的资源管理与调度策略研究    马艳

大规模网络服务系统能耗控制与性能优化    胡晗

操作系统可信证明体系结构与模型研究    辛思远

基于可重构技术的网络节点节能问题关键技术研究    袁博

面向任务调度的集群功耗管理    汤慧明

基于红外图像的服务器工况分类研究    许宏珂

云计算环境下虚拟机资源调度策略研究    刘永

云环境下基于内存共享的服务器整合算法研究    陈静怡

面向高校实验室的虚拟化计算资源优化模型研究    田高成

基于固定休眠周期的WiMAX 2休眠模式的性能研究    张晓斐

以太网节能策略的改进及性能优化    范荣玉

基于Best Effort业务的IEEE802.16m休眠模式的性能评估与优化    宋红磊

云环境下基于多移动Agent的低能耗任务调度策略的研究    吴家兴

云计算平台中的能耗管理方法    潘钰

计算机网络服务质量优化方法研究综述    林闯;李寅;万剑雄;

高性能路由器节能技术研究    唐广飞

基于云计算的分布式企业搜索引擎研究    林乐然;陈德龙;

Hadoop框架下的容灾系统研究    李呈栋;戴跃发;王伟;吴波;

基于MPI的云计算模型    郭本俊;王鹏;陈高云;黄健;

基于云计算的电子商务推荐平台的构建分析    林立宇;陈云海;

基于云计算架构的分布式数据挖掘研究    陈磊;王鹏;董静宜;任超;

“云”下的数字图书馆资源存储研究    刘文云;鲍凌云;

数字化城市物联网信息平台设计    孙茂源;于翔;魏以鹏;

云计算中的数据管理关键技术及其应用    郗俊强;

基于云计算的农村电子政务架构研究    杨倩茹;黄梦醒;万兵;

云存储技术在数字图书馆建设中的应用探讨    吴国华;

HugeTable:一种面向电信行业的云数据仓库    周大;钱岭;郭磊涛;齐骥;

微软WINDOWS Server 2003 R2分布式文件系统解决方案分析    洪穗;

云计算环境下软件工程模式初探    张勇;

云计算与计算机安全    梁宏;

云计算的栈模型研究    曾诚;李兵;何克清;

一种基于扩展MVVM模式的SaaS面向服务计算模型    陈明;李猛坤;张强;

基于云计算概念的企业信息化模式研究    石红;

基于分片、松耦合的分布式文件系统的设计与实现    华清;黄林鹏;

SAAS技术探讨    高纪位;

IT运维安全管理系统的研究与设计    郝继英;

Informatica：大数据带来大机遇    本报记者 刘箐箐

MapReduce:亚马逊云服务再添新援    刘琦

HadoopDB混合数据库问世    于翔

Hadoop的中国前途    本报记者 刘洪宇

网“助”云计算    李延峰

文件虚拟化何去何从    编译 张磊

云计算环境下动态资源管理关键技术研究    李冰

云计算系统中作业安全技术研究    叶建伟

云计算环境下动态流程优化调度问题研究    杨成伟

发展中国家的电子政务挑战：基于云计算的电子公私合作模式研究    Faizulah Khan

智慧城市信息系统关键技术研究    袁远明

蓝鲸分布式文件系统的资源管理    黄华

公共云计算环境下用户数据的隐私性与安全性保护    张逢喆

远程数据完整性和认证技术研究    郝卓

超数据集成挖掘方法与技术研究    周春英

XML关键字过滤技术    张晨静

云计算环境中分布式文件系统的负载均衡问题研究    谷方舟

云计算下关联分类技术的研究与实现    杨永刚

Hadoop平台下的关系数据库查询与实现    黄钟元

Hadoop体系结构研究及在医疗保险结算系统中的应用    李茂镇

云计算环境下关联规则算法的研究    杨新月

北部湾海洋科学数据处理云平台框架的研究与设计    崔杰

数字图书馆资源的云存储模型研究    魏星德

海量历史数据库系统研究    王章

通用分布式文件系统的研究与改进    龚高晟

云计算下MapReduce编程模型可用性的研究与优化    周一可