面向网络服务器集群的节能机制研究

【摘要】：随着科技的发展,计算机在各行业的应用日益广泛,很多行业对计算机性能要求日益增加。大规模服务器集群在为科研、工作、生活带来便利的同时,也带来一个严峻的问题——巨大的能耗。能耗问题对于服务器集群来说是个重大的问题,因为它不仅是一台或是一群服务器消耗能源的问题,还直接影响到系统的冷却需求、备用设备的冷却需求,以及备用发电设备的需求。尽管很多地方投入大量资金用于解决供电问题,但是基本上所有的发电技术都对环境有巨大的副作用。无论从互联网的角度,还是从整个社会的角度,集群的节能问题都已经成为一个非常现实、严峻的问题。 对于系统级的节能调度算法有比较成熟的策略,如动态电源管理策略(DPM)、动态电压和频率调整策略(DVFS)、动态电压调整策略(DVS)等。这几种策略在系统级节能层次上应用的很成功,但并不适合用在服务器集群层次上。适用于集群层面的节能策略是目前业界研究的热点问题,出现的比较早的策略是比例积分微分反馈控制策略(PID)和负载集中策略(LC)等。随着集群系统构造的复杂化、集群提供业务的多样化,这两种节能策略的有效性在降低。动态集群配置是根据网络中负载情况动态地调整服务器规模,在最小系统功耗下实现最优的服务性能。本文提出了基于预测的动态集群配置策略,该方法根据网络中服务请求的历史信息,运用最小均方误差(LMS)和递归最小二乘(RLS)预测未来时刻服务请求情况,根据负载请求与集群处理能力来决策服务器规模的增减,动态地调节服务器集群中计算机的开启与关断。 另外,文中对于计算密集型服务器集群提出了特殊的集群配置策略。根据超负率提供有QoS保证的服务,我们将节能问题抽象为约束最优化问题,即在保持超负率低于某个期望阈值的情况下,最小化激活的服务节点数目。估计超负率采用的数学工具是大偏差理论,通过这个算法来决策集群中服务节点的开启/关闭状态。基于大偏差算法的决策方法只需要关注当前集群中的负载情况即可,而无需关心负载业务的历史统计信息。本策略的另一个优势是,通过迭代的方法调整工作态的服务器,而不是直接确定工作态服务节点的数目。 实验仿真中,我们使用了Hebrew University of Jerusalem的Parallel Workloads系统的用户trace数据,用真实的网络集群用户访问数据检验调度策略的可行性和优越性。 【关键词】：服务器集群 节能 负载在线预测 RLS算法 LMS算法
【学位授予单位】：中国科学技术大学
【学位级别】：硕士
【学位授予年份】：2011
【分类号】：TP393.05
【目录】：

• 摘要4-5
• ABSTRACT5-10
• 第1章 绪论10-14
• 1.1 研究背景10-11
• 1.2 本课题的现实意义11-12
• 1.3 国内外研究概况12
• 1.4 研究方法与目标12-13
• 1.5 本文内容安排13-14
• 第2章 相关节能技术14-18
• 2.1 引言14
• 2.2 DPM 算法14-15
• 2.2.1 基于阈值的算法14-15
• 2.2.2 基于预测的算法15
• 2.2.3 基于随机控制的算法15
• 2.3 DVFS 算法15-16
• 2.4 DVS 算法16
• 2.5 PID 算法16-17
• 2.6 LC 算法17-18
• 第3章 负载在线预测技术18-36
• 3.1 引言18
• 3.2 负载预测的特点18-19
• 3.2.1 负载预测的不准确性19
• 3.2.2 负载预测的条件性19
• 3.3 负载预测的基本原理19-20
• 3.4 负载预测算法概述20-22
• 3.4.1 ARMA 算法20
• 3.4.2 基于神经网络算法20-21
• 3.4.3 基于卡尔曼滤波算法21-22
• 3.4.4 基于小波分析算法22
• 3.5 LMS 算法预测22-27
• 3.5.1 LMS 应用场景22-23
• 3.5.2 LMS 基本原理23-27
• 3.5.3 LMS 基本步骤27
• 3.6 RLS 算法预测27-31
• 3.6.1 RLS 应用场景27-28
• 3.6.2 RLS 基本原理28-30
• 3.6.3 RLS 基本步骤30-31
• 3.7 LMS、RLS 预测负载31-36
• 3.7.1 LMS 预测负载31-32
• 3.7.2 RLS 预测负载32-36
• 第4章 动态集群节能配置36-52
• 4.1 服务器集群模型36-38
• 4.1.1 集群节能机制架构36-37
• 4.1.2 集群功能层次37
• 4.1.3 服务节点运行状态37-38
• 4.2 服务迁移策略38-41
• 4.2.1 服务迁移简介38-41
• 4.2.2 集群节能中的服务迁移41
• 4.3 负载业务调度策略41-47
• 4.3.1 集群规模调整模型41-43
• 4.3.2 业务调度策略43-44
• 4.3.3 定时器设定44
• 4.3.4 服务节点增加策略44-46
• 4.3.5 服务节点减少策略46-47
• 4.4 算法仿真分析47-52
• 4.4.1 仿真数据47-49
• 4.4.2 LMS 算法仿真49-50
• 4.4.3 RLS 算法仿真50-52
• 第5章 计算密集型集群节能配置52-72
• 5.1 引言52
• 5.2 系统模型52-54
• 5.3 超负率估算54-58
• 5.3.1 超负率的概念54
• 5.3.2 超负率预测模型54-56
• 5.3.3 超负率预测方法56-58
• 5.4 集群配置58-72
• 5.4.1 集群配置算法58-60
• 5.4.2 服务器调度策略60-61
• 5.4.3 模型的实现61-63
• 5.4.4 算法性能分析63-65
• 5.4.5 实验结果分析65-70
• 5.4.6 结论70-72
• 第6章 结束语72-74
• 6.1 论文总结72
• 6.2 研究展望72-74
• 参考文献74-78
• 致谢78-80
• 攻读硕士期间发表的论文及其它成果80

您可以在本站搜索以下学术论文文献来了解更多相关内容

基于相关函数的递推最小二乘算法及其在回波消除中的应用    高鹰,谢胜利

基于TMS320C6201的RLS算法在波束形成中的应用    花东来,王华斌,姚萌

基于思维进化的集群作业调度方法研究    薛正华;刘伟哲;董小社;伍卫国;

华硕:用科技推动科技    

WSSUS衰落信道下的跟踪算法研究    师小琳;

DEC的目标:带宽和集群    

基于递推最小二乘滤波器的语音增强    陈嘉伟,胡光锐

升级集群——IBM发布高性能运算增强工具    一扬;

负载均衡技术在WAP网关中的应用    沙波;刘杰;

单机容错为CIO解心疾    冯磊;

肌电信号中心电噪声的自适应滤波    路国华;杨芳;

一种针对循环平稳信号的变遗忘因子RLS算法    李蕊;史小卫;王新怀;

基于RLS算法的非最小相位自适应逆控制    吴言凤;吴正国;李华;

容错技术在宝钢过程控制系统的应用    黄福明;

基于噪声对消原理的畸变电流检测    刘玮;徐殿国;

一种新的服务器集群系统的设计与实现    李波;潘清;

RLS算法在CDMA系统中的应用    宋昕;汪晋宽;韩英华;

一种基于RLS算法的自适应数字预失真器    杜春慧;夏威;何子述;

风机系统基于PLS法的神经网络辨识模型辨识与仿真    姜志顺;郭庆鼎;

医院信息系统的集成管理    鲁秀明;

中低端市场争夺升级    赛迪顾问计算机产业研究中心

刀片服务器迈向主流    刘波

竞争压力增大 UNIX市场呈下滑趋势    温越岭

不中用的集群    宋家雨

SMB也可拥抱刀片服务器    本报记者 祁金华

省钱的服务器集群    清水

服务器集群技术助力网络游戏    刘芳

在服务器集群上轻装奔跑    

警惕服务器虚拟化的陷阱    清水译

IA服务器变身“找油尖兵”    

流媒体集群系统复制存储策略研究    卫星

混沌时间序列分析方法研究及其应用    李天舒

自调度集群网络服务的研究与实现    王晓川

流媒体服务系统中接入控制与缓存策略的研究    李靖

分布式数据流处理的算子调度与负载平衡研究    邓华锋

iSCSI OSD存储系统端到端服务质量支持策略研究    苏勇

基于新型分布式视频点播架构的流媒体调度技术研究    智英建

多输出神经元模型的多层前向神经网络及其应用    沈艳军

空间信息网络访问模式——G/S模式研究    俞晓

云计算数据中心结构及其调度机制研究    刘晓茜

合作式Web集群缓存系统的研究与实现    王昭

服务器集群系统高可用性研究及管理软件的实现    郑伟

基于LINUX平台的服务器集群的架构和实现性研究    吕其元

基于Linux集群的可伸缩电子邮件系统的研究    胡军

面向网络服务器集群的节能机制研究    刘斌

利用文件优化分配实现Web服务器集群负载均衡的研究    李定锁

基于随机Petri网的Web服务器集群动态负载均衡算法研究    梁彪

企业即时通讯系统服务器的设计与实现    杜松波

基于随机高级Petri网模型的服务器均衡集群研究    刘兆明

服务器集群负载平衡技术的研究    闵娟娟