面向数据库集群的节能查询技术研究

【摘要】：随着大数据时代的到来,数据中心需要处理的数据量越来越多,全球数据中心的数量与规模都在高速扩张。数据中心扩张带来了更高处理性能的同时,也引发了一系列问题,其中不可忽视的是数据中心巨大的能耗。企业每年必须支付高额的能耗费用来支持数据中心的运转。另一方面,为了达到最高的性能需求,数据中心往往会配置多个服务器集群,每个集群由多台服务器组成。这导致在很多时间里,大量服务器会处在空闲或低利用率的状态,存在明显的能耗浪费现象。最后,巨大的能耗还会引起能源快速消耗、碳排放过多等严重的环境问题。因此无论从企业的角度还是环保的角度,针对集群环境提出有效的能耗管理方法都是非常有必要的。 数据库集群作为数据中心里普遍存在的集群系统,其能耗管理问题也亟待深入探讨。伴随全球能源的日益紧张和当前以数据为主导的计算模式,政府、企业和学术界都将节能数据库系统的研究纳入了重点考虑的范畴。本文主要研究数据库集群环境下查询操作相关的能耗管理方法。因为查询操作是数据库系统中最常见也最重要的操作,重新审视集群的查询处理过程,针对查询处理提出相应的节能技术,对降低集群的能耗具有重要的意义。目前衡量集群系统能耗表现的两种重要指标分别是能耗均衡性和能耗有效性,二者追求的目标和实现方式都存在区别。然而这两种方法在面向数据库集群上的研究还相对缺乏,现有的算法直接移植到数据库集群中也会明显削弱集群的查询处理能力。因此本文针对数据库集群的独特性,在保证数据库查询性能的前提下,研究实现集群的能耗均衡性和能耗有效性的方法。 本文主要内容与贡献点总结如下： (1)针对能耗均衡性的研究,首先提出了一种新的查询处理框架：将共享存储架构和无共享架构相结合,并且引入了查询流缓冲池。该框架能保证在实现能耗均衡控制时最大化减少服务器状态改变对集群查询性能的影响。其次结合查询流缓冲池提出负载倾斜的分配策略,使集群中更多的服务器能有更大的概率转为空闲从而被关闭。基于该查询处理框架,还提出了缓存驱动的能耗均衡控制方法,该方法较之于现有算法,能大大减少误判现象。最后在真实的PostgreSQL集群上利用多种不同类型的负载进行实验,结果表明该方法能在基本满足集群查询性能要求的前提下有效减少集群能耗。 (2)针对能耗有效性的研究,我们将单节点的DVFS(Dynamic voltage and frequency scaling,动态电压频率调整)思想应用到集群上,提出了集群上的协同DVFS算法,克服了单节点DVFS并发查询性能差的缺陷。算法首先将集群划分为不同CPU运行频率的节点结合,并且将查询按照CPU密集型和非CPU密集型进行划分,同一类型的查询分配到同一个集合中的节点上执行。该方法兼顾了查询的高效性和集群的能耗有效性,依旧通过PostgreSQL集群上的实验验证了该方法的有效性。 【关键词】：数据库集群 能耗均衡性 能耗有效性 查询优化
【学位授予单位】：中国科学技术大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.13
【目录】：

• 摘要5-7
• Abstract7-9
• 目录9-11
• 图表目录11-13
• 第一章 绪论13-21
• 1.1 研究背景及意义13-15
• 1.2 国内外研究现状15-18
• 1.2.1 能耗均衡性与能耗有效性15-16
• 1.2.2 相关工作概述16-18
• 1.3 论文的主要工作和贡献18-19
• 1.4 论文的组织结构19-21
• 第二章 国内外相关工作21-31
• 2.1 引言21
• 2.2 数据库集群系统概述21-24
• 2.2.1 数据库集群分类22-23
• 2.2.2 数据分布与负载分配23-24
• 2.3 能耗均衡性研究24-27
• 2.3.1 策略分类24-25
• 2.3.2 其他类型集群研究25-27
• 2.4 能耗有效性研究27-29
• 2.4.1 CPU调频技术27-28
• 2.4.2 数据库的能耗有效性28-29
• 2.5 本章小结29-31
• 第三章 能耗均衡的数据库集群查询处理31-51
• 3.1 引言31-32
• 3.2 能耗均衡的数据库集群框架32-36
• 3.2.1 整体框架32-34
• 3.2.2 查询流缓冲池34-36
• 3.3 能耗均衡控制算法36-40
• 3.3.1 负载分配算法37-38
• 3.3.2 节点开启与休眠策略38-40
• 3.4 实验环境与数据集40-43
• 3.4.1 实验环境配置40-41
• 3.4.2 实验数据集41-42
• 3.4.3 节点查询流容量42-43
• 3.5 实验结果与分析43-49
• 3.5.1 能耗均衡表现44-47
• 3.5.2 时间性能与整体能耗对比47-49
• 3.5.3 超时参数影响49
• 3.6 本章小结49-51
• 第四章 能耗有效的数据库集群查询分配51-59
• 4.1 引言51-52
• 4.2 节点分组52-53
• 4.3 查询分配53-55
• 4.4 实验与结果分析55-57
• 4.4.1 实验环境配置55-56
• 4.4.2 性能对比与分析56-57
• 4.5 本章小结57-59
• 第五章 总结与展望59-61
• 5.1 论文工作总结59
• 5.2 下一步工作展望59-61
• 参考文献61-67
• 致谢67-69
• 在读期间发表的学术论文与取得的其他研究成果69

您可以在本站搜索以下学术论文文献来了解更多相关内容

A New Load Balancing Scheme on Heterogeneous Database Cluster    

并行数据库的研究    蒋蜀，陈佩佩，谢立

支持无共享结构的并行DBMS软件结构    金树东,冯玉才

一种中间件数据库集群的负载均衡算法    张树本;徐陈锋;奚宏生;

绿色计算的重定义与若干探讨    郭兵;沈艳;邵子立;

能耗感知的绿色数据库研究综述    金培权;邢宝平;金勇;岳丽华;

服务器与集群系统节能技术研究    王军;冯铃;薛文伟;

基于数据库集群的动态负载均衡研究与实现    何骏;熊伟;陈荦;殷佳欣;

数据库集群服务器的设计和管理    谢怡,燕彩蓉,彭勤科,胡保生

基于节点代理的数据库集群服务器    刘晖,彭勤科,沈钧毅

基于并行数据库的空间信息网络服务技术    陈捷;黎维军;

对当前几种数据库系统结构的设计评注    吴会松

嵌入式软件算法级功耗BP网络模型研究    刘啸滨;郭兵;沈艳;王继禾;伍元胜;

数据库集群中间件Sequoia的整体设计与实现    王方丽;

嵌入式系统低功耗的软件实现方案    宋彦;郭兵;沈艳;

换流站实时电磁暂态仿真中的滤波器建模    惠慧;王庆平;马进;

高效能软件开发设计刍议    李敬华;贾蓓;李倩茹;

集群技术在采油厂数据中心的应用研究    柳培林;

基于ARM处理器的嵌入式软件能耗统计模型    刘啸滨;郭兵;沈艳;朱建;王继禾;伍元胜;

基于GridSphere的网格空间信息门户构建技术研究    陈捷;

基于MPI和MySQL的并行数据库系统搭建    王璟;张云泉;李玉成;

黑龙江省防洪决策支持系统关键技术问题研究    翟宜峰

数据库集群系统的关键技术研究    龚卫华

高性能并行GIS中矢量空间数据存取与处理关键技术研究    赵春宇

基于数据库集群的海洋环境数据优化存储与分布式管理    刘艳艳

源码未知类软件能耗评估技术研究    王艳

基于能耗和成本的资源管理与调度策略研究    马艳

云计算系统中索引与查询处理技术研究    王金宝

云计算数据中心的网络带宽隔离技术研究    冯振乾

大规模分布式存储系统中数据冗余技术研究    黄震

基于移动P2P的分布式存储和传输机制研究    姜春茂

基于云计算的Wiki网站的构建    陈洁

数据库集群中间件MySQL Proxy研究与分析    祝雄锋

空间数据库集群中间件技术研究与实现    何骏

多处理器系统监控的研究与设计    王录恩

并行数据库系统的应用和研究    苟饶

基于MPI和MySQL的并行数据库系统的研究与实现    王璟

关于JDO技术规范及其应用研究    武刚

基于Linux的数据库集群系统的研究    万春

网上报名系统中数据库高可用性的研究与应用    谭石强

面向海量数据库的Benchmark研究与实现    白小波

基于多种资源的负载平衡算法的研究    蒋江,张民选,廖湘科

基于BP神经网络的集群负载预测器    薛正华;董小社;李炳毅;廖诗华;

LSZ:一个异构型分布式数据库系统    金志权;柳诚飞;孙钟秀;周晓方;陈佩佩;顾建明;绳程弟;

基于时间Petri网的实时系统低能耗高层综合    胡潇;李曦;龚育昌;

低能耗软件设计中的性能无损电压调度技术研究    雷霆;李曦;周学海;

无线传感器网络中一种能量有效的数据存储方法    付雄;王汝传;邓松;

DBPower:面向绿色数据库系统的能耗有效性测试    金培权;杨濮源;陈恺萌;岳丽华;

基于分布式入侵检测系统的负载均衡算法的比较    谷凤娜;张志斌;王丽宏;

基于时间序列的服务器负载预测    杨伟;朱巧明;李培峰;钱培德;

一种高效的分布式反馈流量负载均衡算法    陈勇;

数据库服务方式的发展趋势    何小清

PostgreSQL数据库及应用    刘宏杰;

数据库服务端编程控制表间数据交互    田伟;

日本文献检索数据库的服务现状    李国华;

浅论情报数据库    尚学武

日本数据库服务业    郑毅

国外数据库产业的发展动向    薛兴华

日本数据库发展对中国发展数据库的启发    许桂菊

从技术驱动型向市场驱动型的转变──略论我国数据库业的发展问题    朱幼平

关于出版《中国数据库年鉴》的建议与初步设想    阴双喜,秦春荣

智能防御型数据库网关系统的研究与设计    马志程;彭轼;张波;

数据库服务模型及其安全性实现研究    黄祖福;宋成勇;都明;钟映江;

基于SAN的数据库多实例高可用技术    朱立谷;赵青梅;许强;

大数据库从INGRES到SQL/DS的数据移植    冯诗齐;

浅议突发环境污染事件应急系统中基础数据库的建立    董丽;

CODATA中国理化数据库    张荣华;胡书敏;

Unix系统下Oracle数据库自动备份方案    王琦;黄密青;

构建民航气象数据库服务系统运维自动化平台    王立倩;王春玲;周杰群;

用Delphi开发基于多层数据库的自动站资料共享平台    罗雪林;羊子瑜;吴新胜;

HACMP方式下异种平台数据库移植方法的研究    周雨田;于鑫;

全国重要地质钻孔数据库服务平台开通    记者 王少勇

新财经情报数据库研制成功    若望

钢铁企业MES的安全谁来捍卫？    首秦金属材料有限公司 李浩　姜雯雯 江东才

沉着应对突发的数据库灾难    王淑江

SaaS数据库多方论战升级    于翔

曙光4000A助力石家庄供水公司营业收费系统    

怎样备份最安全    四川 张悦

Oracle数据库应用常见问题处理    福建 张彦

构造客户/服务结构的Informix数据库系统    重庆 张辉

数据库：财务软件的基石    夏健清

中国肿瘤防治数据库的建立    高国福

数据库服务中保护隐私的访问控制与查询处理    田秀霞

面向数据库服务器的高可用性系统的设计与实现    鱼佳欣

基于状态监测与故障诊断大型数据库的设计开发    魏晓

基于语义的数据库全文检索系统    谢骋超

数字有机体数据库异常处理机制的研究与实现    董宏亮

一个移动社交网络平台的构建：架构与数据库    刘明华

数据库集群系统高可用性的研究与应用    魏榕晖

多媒体族谱数据库及网上查询系统    皇甫冉

国家短波网络监测系统数据库的设计与实现    柏凤佳

面向数字化装配的成件数据库的研究    岳伟

数据库离线并发控制技术研究    付炼红