大数据分析提升数据中心的可用性和效率

发布时间:2020-12-25 阅读量:1162 来源:大数据分析

大数据分析将在数据中心运作中发挥更重要的作用,因为企业开始采用经过大型数据中心运营商和托管服务提供商试验和测试的机器学习技术。

当今的混合计算环境通常包括内部数据中心、云和配置站点以及边缘计算。企业界认为传统的数据中心管理方法并非最佳选择。利用机器学习和大数据分析,可以简化复杂计算设备的管理。

大数据分析提升数据中心的可用性和效率

现在,数据中心的大数据分析主要围绕机器学习来监测和管理自动化设备的部件,例如电力和配电设备、冷却设备、机架系统和物理安全。

越来越多的传感器正从数据中心设施内的设备(包括备用电源、配电设备、开关设备和冷却器)中收集数据。这类设备及其环境的数据将通过机器学习算法进行分析,例如,机器学习算法能够获得性能和容量的详细信息,并决定适当的响应、改变设置或发送警报。当环境改变时,机器学习系统可以不断地学习——它本质上是通过训练而非依赖于特定的编程指令来完成任务。

这样做的目的是让数据中心运营商提高设备的可靠性和效率,并更加自主地操作设备。然而,获取数据并非一项简单的工作。

施耐德电气数据中心全球解决方案高级主管 SteveCarlini说,最基本的要求是从关键部件获取实时数据。包含了冷水机、冷却塔、空气处理器、风机等设备。对于 IT设备,您需要收集诸如服务器利用率、温度和电力消耗等数据。

"衡量一个数据中心并不是件容易的事。卡利尼说:“如果你想进行大规模的数据分析,你需要从数据中心获取数据,并确保数据中心有足够的电源和散热设备。

信息技术人员习惯于设备监控和实时报警,但是在住宅设施中却没有这样的传统。他们想要 IT设备立即通知他们。但是在你的电力系统中,这些是无法直接获得的,” Carlini说。那是个不一样的世界。

直到近十年左右,第一批数据中心才全部装备仪器,并利用仪器监测电力和制冷。在任何情况下,进行测量通常都很难标准化:数据中心运营商依赖于使用从 Modbus、 BACnet到 LONworks和 Niagara等各种通信协议来构建管理系统,这些系统必须满足那些无法共享数据或无法进行远程控制的设备的要求。Carlini说:“TCP/IP、以太网连接——在电力系统和冷却系统两个方面,这些连接之前从未听说过。

值得庆幸的是,数据中心的监测正深入到高级分析和机器学习需要的领域。服务商和托管服务商一直以来都很擅长在机架级别进行监控,尤其是对能源使用的监控。根据数据中心的规模不同,企业将开始部署该系统,” Carlini说。

机器学习让数据中心时刻变冷

达美航空数据中心因电力系统故障而停运,导致它在2016年的三天内停止了大约2000个航班,损失达1.5亿美元。在机器学习的基础上,自动化技术可以避免这种情况。随着数据中心计量技术的发展和云中数据池的出现,智能系统有可能发现数据中心运行中的漏洞,提高效率,而手工处理则无法发现。

一个简单的由机器学习驱动的智能的例子是对数据中心消耗品采用基于条件的维护策略,比如冷却过滤器。卡利尼说,通过监控通过多个过滤器的空气流量,智能系统能够检测出是否有更多过滤器被堵塞,然后将空气引导到堵塞更小的单元,直到所有过滤器都需要更换。

又如在 UPS系统中监测电池温度和放电。一个智能系统可以识别出在较热环境下运行并可能比其他系统运行更频繁的 UPS系统,然后将其指定为备用 UPS,而非主系统。”“这能让你思考。原来这需要人工来做,现在机器也能做了。这是基本的情况,” Carlini说。

高级的功能是动态冷却优化,这是当今数据中心中最常见的机器学习实例之一,尤其是在大型数据中心的操作员与托管服务提供者之间。

数据中心管理者可以通过动态冷却优化,根据环境条件对冷却基础设施进行监控和控制。随着设备运行和计算流量的急剧增加,建筑内部的热负荷也会发生变化。对冷却输出进行动态调整,以转移热负荷,有助于消除不必要的制冷量,降低运行成本。

RhondaAscierto,451研究数据中心技术和生态高效 IT频道的研究负责人说,托管服务供应商是使用动态冷却优化的主要厂商。Ascierto说:“机器学习对于数据中心来说并不陌生。长久以来,人们一直试图提高散热性能,基于容量和需求,机器学习能够让你实时地这样做。

维吉伦特在动态冷却优化方面具有领先地位。它的技术能够优化数据中心设备的气流,自动发现和排除热点区域。

Vigilent的创立者、总裁兼 Cliff Federspiel表示,在此之前,数据中心运营商往往会使用比他们所需更多的冷却设备。通常情况下,它能产生半可接受的温度分布,而且成本很高。

在热点地区,传统的方法是增加额外的冷却能力。事实上,较高的风速会造成压差,干扰通过设备的气流,或者阻碍热空气回流到冷却设备。也许并不直观,有时候减慢风扇速度会更有效。

通过 Vigilent基于机器学习的技术,我们可以了解到哪些气流设置能优化每个客户的散热环境。它说,提供适当的所需冷却量,通常可以使冷却能耗降低40%。

除自动冷却系统外, Vigilent的软件还可以让客户利用分析工具为他们的设备做出操作决策。

费德斯皮尔说:“我们的客户对利用这些数据来帮助管理他们的资本支出、能力规划和可靠性计划越来越感兴趣。它给数据中心内大量新型的与数据有关的决策提供了机会。

大数据分析改进了现有的流程

从长远来看,数据中心运营商正努力把动态制冷优化的成功推广到其他领域。一般而言,对于机器学习来说,需要做大量重复的工作的领域是。

Ascierto表示:“新的基于机器学习的数据中心方法将很有可能被应用到已有的业务流程中,因为当你对业务问题和规则有了全面的理解之后,机器学习就会有更好的表现。

公司已经拥有了一些监视工具正在使用。数据中心基础设施管理(DCIM)软件已经存在已久,它能够为数据中心资产、相互依赖关系、性能和容量提供可见性。它具有远程设备监控、电力监控、环境监控、 IT资产管理、数据管理、报表等功能。公司使用 DCIM软件简化能力规划和资源分配,确保电力、设备和场地的使用效率尽可能高。

Ascierto说:“如果你有基本的监督和资产管理,你的预测能力就会大大提高。”"人们已经使用了自己的数据。"

下一个目标:向 DCIM组合添加外部数据。因此,机器学习在其中扮演了重要角色。

DMaaS即 DCIM服务,是基于 DCIM软件的服务。但是它不仅仅是 DCIM软件的 SaaS版本。DMaaS将从几十个数据中心收集更多的设备和设备数据。这些数据随后被匿名化,汇总并用于大规模分析的机器学习。

SchneiderElectric和 Eaton是 DMaaS市场中最早的两家公司,他们从自己多年的数据中心经验中挖掘出大量数据,包括设计和建造数据中心、楼宇管理、配电及电力和制冷服务。

他说:“SchneiderElectric和 Eaton正在做的将会带来很大的改变,数据湖中有大量的客户数据。Ascierto说:“这对数据中心部门来说很有意思。

这些数据来自广泛的操作环境,从而使企业能够将其自身的数据中心性能与全球基准相比较。举例来说, Schneider的 DMaaS产品称为 EcoStruxureIT,该产品与一个数据池有关,该数据池来自500多个客户和220万个传感器。

你不仅能理解并用自己的数据解决问题。另外,你也可以使用来自成千上万的其它工具的数据,包括很多和你的工具非常相似的数据。那是最大的不同,”阿西埃尔托说。

举例来说,预见性和预防性维护可以得益于更深层的智能。阿西埃尔托说:“基于其他机器,在使用类似水平的、类似使用时间的和类似部件的环境中工作,大型数据分析能够提前预测可能发生的故障。”

场景计划是另一种从机器学习中受益的方法。举例来说,今天很多公司都会评估移动设备对能源消耗的影响。Ascierto说:“这几乎不能用于机器学习。但是,通过将机器学习数据、历史数据应用于特定的配置和不同的设计,可以极大地提高确定特定配置或设计结果的能力。

更深入的分析也会使风险分析和风险对冲计划获益。阿西埃尔托说:“数据中心现在太复杂了,规模太大了,人类真的很难从数据中心中找到规律,但是对于机器来说却是轻而易举的。”

将来,机器学习在数据中心中的广泛应用将为企业在确定工作负载所在位置时提供更多建议。Ascierto说:“这对企业来说是非常有价值的,尤其是当它们在最好的执行环境中做出决策的时候。"该应用程序是否应在数据中心运行?还是应该使用其他数据中心呢?」

从长远来看,智能系统可以承担更为复杂的任务,使数据中心能够根据最高的运行效率或最可靠的设置动态调整工作负载。卡里尼说:“复杂的大数据分析在未来仍有一段路要走。”

同时,对于刚开始工作的公司,他强调加强设备和 IT团队协作的重要性。

卡利尼说:“考虑到数据中心的所有部件——电力系统,冷却系统和 IT管理室都很重要。应致力于确保不同领域技术间的互用性。与此同时,企业需要在人员配置上做到这一点。

尽管从技术层面来说,这很容易做到,但是从组织层面来说,提升的空间仍然非常大。