CN103828498B

CN103828498B - 用于顺序放置数据中心布局内的冷却资源的系统和方法

Info

Publication number: CN103828498B
Application number: CN201180068829.XA
Authority: CN
Inventors: 克里斯多佛·M·希利; 张轩杭
Original assignee: American Power Conversion Corp
Current assignee: Schneider Electric IT Corp
Priority date: 2010-12-30
Filing date: 2011-12-27
Publication date: 2016-07-06
Anticipated expiration: 2031-12-27
Also published as: US8688413B2; WO2012092239A3; AU2011352334B2; EP2659756A4; CN103828498A; EP2659756A2; US20120170205A1; WO2012092239A2; WO2012092239A8

Abstract

用于数据中心中的冷却资源的顺序放置的计算机实现方法，包括：定义表示数据中心中的冷却资源总体性能的加权的高阶的冷却度量枚举数据中心中用于放置另外c个冷却资源的所有可能位置；将c个冷却资源放置在数据中心中使最接近最佳值的位置上。按性能度量M_i，加权的高阶的冷却性能度量可定义为：其中R表示数据中心中的机架的数量，C表示放置在数据中心中的冷却资源的总数，i表示数据中心中的R个机架中的一个，表示关闭k个冷却资源时度量M_i的值，及a(i，k)是关于机架i在k个冷却资源关闭情况下的加权函数。还提供了一种执行该方法的系统以及在其上储存着使处理器执行该方法的指令的计算机可读介质。

Description

用于顺序放置数据中心布局内的冷却资源的系统和方法

技术领域

根据本发明的至少一个实施方式通常涉及用于数据中心的管理和设计的系统和方法，并且更具体地，涉及用于管理数据中心气流和能量使用以及基于气流和能量使用在数据中心中布置设备的系统和方法。

背景技术

为了响应日益增长的对基于信息的经济的需求，信息技术网络继续在全球蓬勃发展。这种成长的一种表现是集中式的网络数据中心。集中式的网络数据中心典型地由不同的信息技术设备组成，这些设备并列位于提供网络连接性、电功率和冷却能力的结构中。通常，所述设备容纳在集成这些连接性、功率和冷却元件的称为“机架”的专用外壳中。在一些数据中心的配置中，这些机架被组织成具有热和冷通道的行和集群以便降低与冷却信息技术设备相关的成本。这些特性使数据中心以费用低廉的方式提供许多软件应用所需要的计算能力。

各种处理和软件应用，诸如购于美国罗得岛州西金士顿的施耐德电气(APC)的美国能量变换公司的产品系列，已经被开发以帮助数据中心工作人员设计和维持高效且有效的数据中心配置。这些工具通常通过如下活动引导数据中心的工作人员，如设计数据中心的结构、在安装之前在数据中心内定位设备以及在构造和安装完成之后添加、重新定位或移除设备。因此，传统工具组为数据中心工作人员提供标准化的和可预测的设计方法。

发明内容

根据本发明的实施方式的各方面，用于顺序放置数据中心中的冷却资源的计算机实现的方法包括：定义加权的高阶冷却度量，表示数据中心中的冷却资源的整体性能；枚举在数据中心中用来布置另外的c个冷却资源的所有可能位置；以及将c个冷却资源布置在数据中心中最接近于最佳值的位置中。在一种变型中，计算机实现的方法还可以包括：按照冷却指数M_i定义高阶冷却度量，使得其中，R表示在数据中心中的机架的数量，C表示放置在数据中心的冷却资源的总数，i表示在数据中心中的R个机架中的一个，M_i ^(k)表示关闭k个冷却资源时度量M_i的值，以及a(i，k)是关于机架i在k个冷却资源关闭的情况下的加权函数。在另一变型中，计算机实现的方法还可以包括：重复枚举和放置直至所得到的冷却资源的布置满足期望的停止条件。在又一变型中，停止条件为期望的冗余水平。在另一其它变型中，计算机实现的方法还包括：测试在将一个冷却资源从所得到的冷却资源的布置中移除之后，新的所得到的冷却资源的布置是否满足期望的停止条件。在又一其它变型中，计算机实现的方法还包括：识别其被移除时产生最接近最佳值的值的那个冷却资源；以及移除所识别的那个冷却资源。在另一种变型中，M_i为捕获指数。

根据另一实施方式的各方面，用于在数据中心布局中顺序放置冷却资源的系统包括：计算机储存系统，其中储存着容纳数据中心布局的数值计算机模型的数据库，以及计算机处理器，其执行一系列的指令，所述指令引导：定义加权的高阶冷却度量，表示在数据中心中的冷却资源的整体性能；枚举在数据中心中用来放置另外的c个冷却资源的所有可能位置；以及将c个冷却资源放置在数据中心中使最接近于最佳值的位置中。在一个变型中，定义还包括：按照冷却指数M_i定义高阶冷却度量，使得其中，R表示在数据中心中的机架的数量，C表示放置在数据中心中的冷却资源的总数，i表示数据中心中的R个机架中的一个，M_i ^(k)表示当关闭k个冷却资源时度量M_i的值，以及a(i，k)是关于机架i在k个冷却资源关闭时的加权函数。在另一变型中，一系列的指令还包括：重复枚举和放置直至所得到的冷却资源的布置满足期望的停止条件。在又一种变型中，停止条件为期望的冗余水平。在另外的变型中，一系列指令还包括：测试在将一个冷却资源从所得到的冷却资源的布置中移除之后，新的所得到的冷却资源的布置是否满足期望的停止条件。在另外的变型中，一系列指令还包括：识别其被移除后产生的值最接近最佳值的那个冷却资源；以及移除所识别的那个冷却资源。

根据又一实施方式的各方面，其上储存着一系列指令的计算机可读介质，这些指令包括的指令使处理器：定义加权的高阶冷却度量，表示数据中心中的冷却资源的整体性能；枚举在数据中心中用来放置另外的c个冷却资源的所有可能位置；以及将c个冷却资源放置在数据中心中使最接近于最佳值的位置中。在一种变型中，定义还包括：按照冷却指数M_i定义高阶冷却度量，使得其中，R表示数据中心中的机架的数量，C表示放置在数据中心中的冷却资源的总数，i表示在数据中心中的R个机架中的一个，M_i ^(k)表示当关闭k个冷却资源时度量M_i的值，以及a(i，k)是关于机架i在关闭k个冷却资源时的加权函数。在另一种变型中，一系列指令还使处理器：重复枚举和放置直至所得到的冷却资源的布置满足期望的停止条件。在又一种变型中，停止条件为期望的冗余水平。在另外的变型中，一系列指令还使处理器：测试在将一个冷却资源从所得到的冷却资源的布置中移除之后，新的所得到的冷却资源的布置是否满足期望的停止条件。在另外的变型中，一系列指令还使处理器：识别其被移除后产生的值最接近最佳值的那个冷却资源；以及移除所识别的那个冷却资源。在又一种变型中，M_i是捕获指数度量。

附图说明

附图不意在按比例绘制。在附图中，各图中示出的每个相同或近似相同的部件由相同的数字表示。为了清楚起见，并非每个部件都能够在每幅附图中被标记出来。在附图中：

图1示出可以利用其实现根据本发明的各个方面的示例性计算机系统；

图2示出了包括一个实施方式的示例性分布式系统；

图3是利用新的冷却性能的度量可区分的两个类似的平面图的并排比较；

图4是根据一实施方式的各方面定义顺序布置方法的流程图；

图5是根据另一实施方式的各方面定义包括回溯的顺序布置方法的流程图；

图6是示出了应用了一实施方式的各方面的示例性布局的平面图；以及

图7是示出在应用实施方式的各方面的6个阶段的每一个阶段之后的结果的六个快照的拼图。

具体实施方式

根据本发明的至少一些实施方式涉及系统和方法，用户可以通过这些系统和方法设计数据中心配置。通过允许用户根据可以确定的性能度量创建数据中心配置的模型，这些系统可促进这种设计活动。系统和用户两者都可以采用这些性能度量来确定满足各种设计目的的可选数据中心配置。此外，在至少一个实施方式中，系统会提供数据中心设备的初始布局并实时地对布局进行冷却分析。

这里所公开的根据本发明的各方面并非将其应用限制于在下面的描述中提出的或在附图中示出的结构和部件布置的细节。这些方面能够采用其它实施方式，并且可以以各种方式实施或执行。本文提供的具体实施的实施例仅用于示例性目的，并且不旨在限制。具体地，结合任何一个或多个实施方式所讨论的动作、元件和特征并不旨在排除任何其它实施方式中的类似作用。

例如，根据本发明的一个实施方式，计算机系统配置为执行本文所描述的任何功能，包括但不限于配置、模拟和呈现有关特定数据中心配置的信息。此外，数据中心的实施方式中的计算机系统可用于自动地测量数据中心中的环境参数，以及控制诸如冷冻器或冷却器的设备以优化性能。而且，本文所描述的系统可以配置为包括或排除这里讨论的任何功能。因此，本发明并不局限于特定的功能或功能组。此外，这里使用的措辞和术语是为了描述的目的，不应该视为限制。此处使用的“包括(including)”、“包括(comprising)”、“具有”、“包含”、“涉及”及其变型意味着囊括其后列出的项目及其等同物以及另外的项目。

设计数据中心冷却

如在2008年1月24日提交的名称为“SystemandMethodforEvaluatingEquipmentRackCooling(用于评估设备机架冷却的系统和方法)”、编号为12/019109的美国专利申请中以及在2006年1月27日提交的名称为“MethodsandSystemsforManagingFacilityPowerandCooling(用于管理设施的能量和冷却的方法和系统)”、编号为11/342,300的美国专利申请中所描述的(这两个申请都被转让给本申请的受让人并且这两个申请在此通过引用全文并入本文)，现代数据中心中的典型设备机架在机架的前部中吸取冷却空气并从机架的后部排出空气。设备机架和行内冷却器通常以产生交替的热和冷通道的交替的前/后布置方式、按行布置在数据中心中，其中，每一行机架的前部面向冷通道，且每一行机架的后部面向热通道。通过冷通道分开的相邻行的设备机架可称为凉或冷通道集群，通过热过道分开的相邻行的设备机架可称为热通道集群。如对本领域的普通技术人员来说明显的是，一行设备机架可以是一个热通道集群和一个冷通道集群的一部分。在本文的描述和权利要求中，在机架中的设备或机架本身可以称为冷却消耗装置，以及行内冷却单元和/或计算机机房空调器(CRAC)可以称为冷却提供者。在所引用的专利申请中，提供了用于分析在数据中心中的机架群的冷却性能的工具。在这些工具中，多个分析可以在不同的布局上执行以试图优化数据中心的冷却性能。

在本发明的实施方式中，不同的冷却性能度量可以用于评价集群的冷却性能。这些量度包括捕获指数(CI)和再循环指数(RI)，这两个指数都在申请中更详细地描述了，上述通过引用并入。通常，对于热通道集群，捕获指数指示每个机架的被集群中的所有冷却器捕获的机架排出空气的百分比。对于冷通道集群，捕获指数指示每个机架的由局部冷却提供者直接供应的机架气流的百分比。

在至少一个实施方式中，产生和显示数据中心的模型，且提供对数据中心的冷却分析。在创建模型时，在至少一个实施方式中，用户可以定义包括在集群中的一组设备机架和冷却提供者，且系统将在集群中以将满足设备机架的冷却要求的方式自动布置设备机架和冷却提供者。

根据至少一个实施方式的各方面的方法自动地识别并放置若干数量的行内或通道上方的冷却单元以充分地冷却数据中心对象的给定的布局。该方法顺序地向布局添加冷却单元，直到向受验机架提供的冷却满足用户定义的标准，通常是规定的捕获指数(CI)或温度。根据本发明的实施方式的各方面，冷却器是按顺序放置的；通过对从在布局内将冷却器放置在每个可能的位置所产生的冷却性能的评估，确定每个冷却器的最佳位置。

由于必须评估的复杂的气流模式和必须考虑的大量的可能的布局，数据中心内的冷却资源的高效布置是一个困难的问题。当设计和建造关键任务的设施时，如数据中心，设计者通常错误偏向于过多的冷却，浪费包括由数据中心产生的相当大的功率消耗的冷却资源。为了限制资源的浪费，体现本发明的各方面的方法使具有良好冷却覆盖且不浪费冷却资源的布局设计自动化。

体现本发明的各方面的方法灵活地处理新的冷却技术，并且保障用户指定的对一个或多个最大入口温度、最小捕获指数或最小冷却冗余的要求。通过利用通用气流预测引擎，诸如计算流体动力学(CFD)、势流、代数计算器或神经网络，以进行估计，许多情形被精确地建模。实现布局满足某些用户指定的要求的保障，是因为行内和通道上方的冷却单元的顺序放置允许在每个冷却单元或冷却单元组被分配到布局之后对用户指定要求进行检查。对照设计性能而对用户指定要求的检查因而不需要等待完成设计。

实施方式的各方面包括计算机实现的方法、被编程用于执行这种方法的计算机系统和携带用于处理器执行这样的方法的指令的计算机介质。现在描述适用于实施实施方式的这些方面的计算机系统。

计算机系统

一般描述

根据本发明的在这里描述的各种方面和功能可以实现为一个或多个计算机系统上的硬件或软件。有许多目前使用的计算机系统的实施例。这些实施例其中包括网络器材、个人计算机、工作站、大型主机、联网客户端、服务器、媒体服务器、应用服务器、数据库服务器和网络服务器。计算机系统的其它实施例可以包括移动计算设备，诸如蜂窝电话和个人数字助理，以及网络设备，诸如负载平衡器、路由器和交换机。此外，根据本发明的各方面可以位于单个计算机系统中，或者可以分配在连接到一个或多个通信网络的多个计算机系统中。

例如，各个方面和功能可以分配在配置成向一个或多个客户端计算机提供服务或执行作为分布式系统的一部分部分的总体任务的一个或多个计算机系统中。另外，各个方面可以在客户端-服务器或多层系统上执行，该客户端-服务器或多层系统包括分布在实现各种功能的一个或多个服务器系统中的部件。因此，本发明并不限于在任何特定的系统或系统组上执行。此外，各个方面可以用软件、硬件或固件或其任意组合实现。因此，根据本发明的各方面使用各种硬件和软件配置可以在方法、动作、系统、系统元件和部件中实施；本发明并不局限于任何特定的分布式架构、网络或通信协议。

图1示出了分布式计算机系统100的框图，其中根据本发明的各个方面和功能可以实施。分布式计算机系统100可包括一个或多个计算机系统。例如，如图所示，分布式计算机系统100包括计算机系统102、104和106。如图所示，计算机系统102、104和106通过通信网络108相互连接并且可以交换数据。网络108可包括任何通信网络，计算机系统可以通过这些通信网络交换数据。为了使用网络108交换数据，计算机系统102、104和106以及网络108可以使用各种方法、协议和标准，其中包括，令牌环、以太网、无线以太网、蓝牙、TCP/IP、UDP、Http、FTP、SNMP、SMS、MMS、SS7、Json、Soap和Corba。为了确保数据传送是安全的，计算机系统102、104和106除了利用其它安全技术外可以利用包括TSL、SSL或VPN的各种安全措施通过网络108传送数据。虽然分布式计算机系统100示出了三个联网的计算机系统，但分布式计算机系统100可以包括使用任何介质和通信协议联网的任意数目的计算机系统和计算设备。

根据本发明的各个方面和功能可以实现为在包括图1所示的计算机系统102的一个或多个计算机系统中执行的专用硬件或软件。如所描绘的，计算机系统102包括处理器110、存储器112、总线114、接口116和储存器118。处理器110可以执行导致被操作的数据的一系列的指令。处理器110可以是可商购的处理器，例如，IntelPentium、IntelCore、IntelXeon、MotorolaPowerPC、SGIMIPS、SunUltraSPARC或Hewlett-PackardPA-RISC处理器，但也可以是任何类型的处理器或控制器，如可以使用许多其它处理器和控制器。处理器110通过总线114连接到其它系统元件，包括一个或多个存储器设备112。

存储器112可以在计算机系统102的操作期间用于存储程序和数据。因此，存储器112可以是相对高性能的、易失性的随机存取存储器，例如，动态随机存取存储器(DRAM)或静态存储器(SRAM)。然而，存储器112可包括用于存储数据的任何设备，例如磁盘驱动器或其它非易失性储存设备。根据本发明的各种实施方式可以把存储器112组织成特定的、且在一些情况下独特的结构来执行这里所公开的方面和功能。

计算机系统102的部件可以通过例如总线114的互连元件耦合。总线114可包括一个或多个物理总线，例如，集成在同一机器中的部件之间的总线，而且可以包括系统元件之间的任何通信耦合，包括专用的或标准的计算总线技术，例如IDE、SCSI、PCI、InfiniBand及其它。因此，总线114使得例如数据和指令的通信能够在计算机系统102的系统部件之间交换。

计算机系统102还包括一个或多个接口设备116，例如输入设备、输出设备和组合输入/输出设备。接口设备可接收输入或提供输出。更具体地，输出设备可提供用于外部呈现的信息。输入设备可以接受来自外部源的信息。接口设备的实施例包括键盘、鼠标设备、跟踪球、麦克风、触摸屏、打印设备、显示屏、扬声器、网络接口卡等。接口设备允许计算机系统102与诸如用户和其它系统的外部实体交换信息并进行通信。

储存器系统118可以包括计算机可读和可写的非易失性储存介质，其中储存了定义由处理器执行的程序的指令。储存器系统118也可以包括在介质上或在介质中记录的信息，并且该信息可以由程序处理。更具体地，该信息可以储存在专门配置为节省储存空间或提高数据交换性能的一个或多个数据结构中。指令可以持久地储存为编码信号，且指令可以使处理器执行这里描述的任何功能。介质可以例如是光盘、磁盘或闪存及其它。在操作中，处理器或其它控制器可以使待从非易失性记录介质读取的数据进入另一个存储器，诸如存储器112，这样允许处理器比在储存系统118中包括的储存介质更快地访问信息。存储器可以位于储存系统118或在存储器112中，然而，处理器110可以操作在存储器112内的数据，然后在处理完成之后将数据复制到与储存系统118相关联的介质中。各种部件可以管理在介质和集成电路存储器元件之间的数据移动，并且本发明不限于此。此外，本发明并不局限于特定的存储器系统或储存器系统。

尽管计算机系统102以举例的方式作为一种类型的计算机系统被示出，根据本发明的各种方面和功能可基于该种类型的计算机系统实现，但本发明的各方面不局限于在如图1中所示的计算机系统上实现。根据本发明的各种方面和功能可以在具有与图1所示的计算机相比不同的架构或部件的一个或多个计算机上实现。举例来说，计算机系统102可以包括专门编程的、专用目的的硬件，例如，被量身定制成以执行本文所公开的特定操作的专用集成电路(ASIC)。而另一个实施方式可以使用在MotorolaPowerPC处理器、IntelCore处理器或IntelXeon处理器上运行MACOSSystemX的若干通用计算设备和运行专有的硬件和操作系统的若干专门的计算设备来执行相同的功能。

计算机系统102可以是包括操作系统的计算机系统，该操作系统管理包括在计算机系统102中的硬件元件的至少一部分。通常，诸如处理器110的处理器或控制器执行操作系统，该操作系统可以例如是基于Windows的操作系统，例如，购自微软公司的WindowsNT、Windows2000(WindowsME)、WindowsXP或WindowsVista操作系统，购自苹果电脑公司的MACOSSystemX操作系统，许多基于Linux的操作系统分布中的一个，例如，购自红帽子有限公司的EnterpriseLinux操作系统，以及Debian衍生的GNU/Linux分布，例如Ubuntu、购自太阳微系统公司的Solaris操作系统，或可从各种来源获得的UNIX操作系统。可以使用许多其它操作系统，且实施方式不限于任何特定的实现。

处理器和操作系统一起定义了其中可以写入以高级编程语言编写的应用的计算机平台。这些部件应用可以是可执行的、中间的代码，例如，C代码、字节码代码或释义代码，这些代码通过使用例如TCP/IP的通信协议的例如因特网的通信网络进行通信。类似地，根据本发明的各方面可以使用面向对象的编程语言实现，诸如.Net、SmallTalk、Java、C++、Ada或C#(C-Sharp)。也可以使用其它面向对象的编程语言。可替换地，可以使用功能、脚本或逻辑编程语言。

另外，根据本发明的各个方面和功能可以在非编程环境中实现，例如以HTML、XML或其它格式创建的文档，当在浏览器程序的窗口中查看时，呈现出图形-用户接口的各方面或执行其它功能。此外，根据本发明的各种实施方式可以实现为编程的或非编程的元件或其任意组合。例如，网页可以使用HTML实现，而从网页中调用的数据对象可以用C++编写。因此，本发明并不局限于特定的编程语言，并且也可以使用任何合适的编程语言。

实施方式内包括的计算机系统可以执行在本发明的范围之外的功能。举例来说，系统的各方面可以使用现有的商业产品实现，例如，诸如购自西雅图的微软公司的SQLServer的数据库管理系统、购自加利福尼亚的RedwoodShores的Oracle数据库和购自瑞典乌普萨拉的MySQLAB的MySQL或诸如来自纽约阿蒙克市的IBM的WebSphere中间件的集成软件。然而，运行例如SQLServer的计算机系统既能够支持根据本发明的各方面，并且能够支持不在本发明的范围内的用于各种各样的应用的数据库。

示例系统架构

图2给出了包括分布式系统200的物理和逻辑元件的前后关系图。如图所示，分布式系统200根据本发明被特别配置。关于图2中所引用的系统结构和内容仅是为了示例的目的，并不意欲将本发明限制于图2中所示出的具体结构。如对本领域的普通技术人员来说明显的是，在不偏离本发明的范围下可以架构很多不同的系统结构。图2中示出的特定布置是为了提高清晰度而选取的。

信息可以使用任何技术在图2所示的元件、部件和子系统之间流动。这样的技术包括，例如，在网络上经由TCP/IP传递信息、在存储器中的模块之间传递信息，以及通过写入文件、数据库或一些其它非易失性储存设备传递信息。在不偏离本发明的范围的情况下可以使用其它技术和协议。

参照图2，系统200包括用户202、设计接口204、数据中心的设计和管理系统206、通信网络208和数据中心数据库210。系统200可以允许例如数据中心架构师或其它数据中心人员的用户202与设计接口204进行交互来创建或修改一个或多个数据中心配置的模型。根据一个实施方式，设计接口204可以包括如在申请号为PCT/US08/63675的专利合作条约中公布的地板编辑器和机架编辑器的各方面，上述申请，名称为“METHODSANDSYSTEMSFORMANAGINGFACILITYPOWERANDCOOLING(用于管理设备的功率和冷却的方法和系统)”被提交于2008年5月15日，其通过引用被全文并入本文，并且在下文称为PCT/US08/63675。在其它实施方式中，设计接口204可以使用专门的工具实现，该工具使用户202能够以拖放方式设计包括表示数据中心或其任何子集的物理布局的模型。这种布局可以包括中心结构部件以及数据中心设备的表示。设计接口204的特征，如可以根据本发明在不同实施方式中发现的，将在下面进一步讨论。

如图2所示，数据中心的设计和管理系统206向用户202提供数据设计接口204。根据一个实施方式，数据中心的设计和管理系统206可以包括如在PCT/US08/63675中公开的数据中心的设计和管理系统。在此实施方式中，设计接口204可以并入包括在PCT/US08/63675中的输入模块、显示模块和构造器模块的功能，并且可以使用数据库模块以储存和检索数据。

如图所示，数据中心的设计和管理系统206可以经由网络208与数据中心数据库210交换信息。该信息可以包括支持数据中心的设计和管理系统206的特征和功能所要求的任何信息。例如，在一个实施方式中，数据中心数据库210可以包括在PCT/US08/63675中描述的数据中心设备数据库中储存的数据的至少一些部分。在另一个实施方式中，该信息可以包括支持设计接口204所要求的任何信息，例如，其中包括其它数据，一个或多个数据中心模型配置的物理布局、包括在模型配置中的冷却提供者的生产状况和分布特性、在模型配置中的冷却消耗装置中的消耗特性以及表征由冷却提供者所产生的冷空气在冷却消耗装置消耗之前丢失的冷空气的量的一个或多个冷却度量。

在至少一个实施方式中，数据中心数据库210可以储存作为数据中心模型配置的物理布局的一部分的、构成模型空间的数据中心的表面，例如地板、天花板和墙壁，的砖的位置和特性。在至少一个实施方式中，砖可以是高架地板的一部分的地板砖，而在另一个实施方式中，砖可以是吊顶的一部分的吊顶砖。储存在数据中心数据库210中的砖特性，除其它特性外，可以包括，砖是否穿孔、砖的尺寸和与砖相关的冷却度量，例如，以被穿孔的砖为例，包括气流速率和穿过砖的空气的温度。如本文所用的，术语“穿孔砖”可以包括设计成允许气流穿过其边界的任何表面。穿孔砖的实施例，除其它标准尺寸的穿孔砖外，包括定制尺寸的穿孔砖、格栅套和开孔。在一些实施方式中，该信息对于通过设计接口204提供增强功能是有用的。

在另一个实施方式中，数据中心数据库210可以储存作为冷却提供者的生产状况和分配特性的一部分的、冷却提供者的类型、冷却提供者提供的冷空气的量和冷却提供者提供的冷空气的温度。因此，例如，数据中心数据库210包括额定为以5600cfm的速率在华氏68度的温度处递送气流的CRAC单元的特定类型的记录。另外，数据中心数据库210可储存一个或多个冷却度量，诸如，例如高架地板或吊顶的空气室的气流泄漏速率。

数据中心数据库210可以采取能够将信息储存在计算机可读介质上的任何逻辑结构的形式，除其它结构外，包括平面文件、索引文件、层次数据库、关系数据库或面向对象的数据库。数据可以使用唯一且外来的键关系和索引建模。唯一且外来的键关系和索引可以在各个字段和表格之间建立以确保数据的完整性和数据的交换性能。

图2所示的包括数据中心的设计和管理系统206、网络208和数据中心设备数据库210的计算机系统，每个可以包括一个或多个计算机系统。如上文参照图1所讨论的，计算机系统可具有一个或多个处理器或控制器、存储器和接口设备。图2所描绘的系统200的特定配置仅用于说明目的，本发明的实施方式可以在其它环境中实施。因此，本发明并不局限于特定数目的用户或系统。

设计接口的实施方式

根据各个实施方式，设计接口204可以向用户提供关于他们如何及何时设计数据中心系统的高度灵活性。在这些实施方式中，用户可以在数据中心配置的剩余部分之前设计整个冷却系统，可以与数据中心的其它属性同时地设计冷却系统，或者可以在数据中心的设计的其它部分完成之后设计冷却系统。因此，设计接口204可以用于设计新的数据中心或可用来修改现有数据中心的设计。用于进行这些设计活动的有用的系统和方法的构想受到设计接口204可以被构造和组织的独特方式的影响。相反，在这些设计活动中使用的元件和执行的动作影响设计接口204的该实施方式的属性和设施。

设计接口204可以通过各种用户接口屏幕和元件提供功能。用户接口可以包括在PCT/US08/63675中描述的关于地板编辑器和机架编辑器的许多用户接口元件。这些元件在本实施方式内所起的作用如同它们用在PCT/US08/63675中所公开的地板编辑器和机架编辑器所起的作用。

在本发明的接口设计的上下文中，一个实施方式提供了用于计算和确保特定机架位置处的冷却冗余的特征。传统上，没有在特定机架位置处的冷却冗余的概念。单一冗余水平传统上用于描述整个设施。在一些情况下，在设备中的一些机架将具有足够的冗余，而其它机架则没有。为确保所有位置处的冷却冗余，其它设施可能被如此过度设计，这样浪费了大量的资本和正在消耗的能量成本。示例性实施方式提供了一种方法，通过该方法可以对新的或现有的设施中的每一个机架位置计算冗余。利用该信息，数据中心设计人员和操作人员可以做出与IT正常运行时间和支出相关的基于事实的商业决策。例如，新设施的设计者能够尽量减少冷却器的数量以恰好满足所要求的冗余水平——在数据中心的不同区域可能是不同的——从而避免与过度供应相关的成本。作为另一个实施例，数据中心操作人员可以使用该方法来确定在哪安装新的服务器以便满足新的服务器的冷却冗余要求，并且其它附近的IT设备的冷却冗余不会受到该安装的不利影响。

一般设计原理

定义了一种量度布局的整体冷却性能的冷却度量，以实现一种成功的顺序的、自动放置方法。由于在搜索用来分配每一个冷却单元的地方时执行简单的枚举步骤，客观的度量允许比较由可能乍一看无法区分的不同的预期的布局所提供的冷却覆盖，尤其是在要求设计具有高水平的冗余冷却时。在以下的讨论中引入新的高阶的度量，其并入了例如以温度或捕获指数作为基础的普通量度，而且还并入了如果一个或多个冷却器失效时关于性能的附加信息。

冷却资源的顺序分配与决定性能的新的冷却度量的组合为冷却器在数据中心设计的放置和管理工具内的方式提供了一种强健、有效的方法。这种方法还允许气流预测引擎和高阶度量的许多不同的组合，这允许该方法在其它的、更普遍的数据中心工具中的使用。

高层次见解

在这部分中，讨论新的自动放置方法的以下方面：

1.初始条件——使用的是什么设置和结构？

2.停止条件——该方法将如何完成？

3.级别尺寸的选择——一次放置多少个冷却器？

4.位置的枚举——冷却器将放置在何处？

5.高阶度量——如何能够准确地比较可选的放置？

初始条件

根据一些实施方式的各方面，应该观察两个条件。

第一，应当使用基于行的架构放置对象，以热通道和冷通道为特征。这个条件不是非常苛刻的，因为许多布局以这种方式组织。将冷却器放置限制成按行限制了要考虑的数字变量，而不明显约束在给定的空间中可以实现的性能。将冷却器放置在“机架1和机架2之间”比对于该冷却器在所有可能的二维位置上进行优化容易得多。这个条件并不严格限于按行。实施方式的各方面也可以在其它性状良好的、非标准的几何形状上操作，诸如具有相邻机架和过道空间的弯曲的和垂直的布置。

第二，所有非冷却对象都应该在冷却单元的放置开始之前被放置在行内。本方法的实施方式的各方面放置冷却单元，而不是机架、不间断电源供应(UPS)或配电单元(PDU)。如果所有其它对象都已经存在，可以更容易地完成冷却单元的放置，这样可以验证每个冷却单元相对于其它对象的效力。否则，在每一个非冷却对象的放置之后将会使用包括计算的更复杂的方法，以确保已满足用户指定的要求。

停止条件

一旦满足停止条件就终止根据实施方式的各方面的方法；即，所产生的布局已满足期望水平的冷却性能的核对。可以使用许多不同的度量，例如，捕获指数、温度和冗余中的任何一种或其组合来测量性能。有效的实施方式较具有更多计算开销的度量有助于具有较少计算开销的度量。这样的度量包括在于2010年12月21日提交的序列编号为12/974,719的美国专利申请、于2009年4月1日提交的序列编号为12/416,567的美国专利申请和于2006年1月27日提交的序列编号为11/342,300的美国专利申请中公布的那些，所有通过引用被并入本文。

级别尺寸，c

关于在每一级测试中要放置的冷却单元的数量，一些实施方式的各方面是灵活的。经常，一次将两个或更多个冷却器分配到诸如其中行长度保持相等的热通道遏制布局的布局可能是有用的。遏制布局是其中的空间特征通过物理屏障或挡板的方式“遏制”气流的那些布局。在这样的布局中，通道可以完全由地板、天花板、机架和遏制屏障在所有六个面上被界定。

因此，笼统地说，顺序过程一次分配c个冷却器。尽管较大的c可以提供对必要的冷却单元的数量的更精确的估计，但枚举对c个冷却器的所有可能的布置可能是极其昂贵的。因此，在级别尺寸c的选择上进行了权衡，如表1所示。表1显示大的级别尺寸使用最多的计算量，但可以是有利的。对于大多数应用，一个或两个的级别尺寸将是可取的。

表1

希望使用大级别尺寸的用户可能必须执行一些另外的计算以确保获得最佳结果。当使用大级别尺寸时所获得的结果的粒度可能是非最佳的，因此该方法可能另外地执行一些调整步骤。例如，如果布局需要13个冷却器，并且选定的级别尺寸4将按粒度放置冷却器，对于被放置的冷却器的最终数量来说，该粒度是四的倍数，该方法将在放置16个冷却单元之后停止，而不是在放置最佳数目13个冷却单元以后停止。实施方式的做出期望的调整的两个可能的方面包括：试图通过“回溯”移除冷却单元，如下所述；或者，后退一级，以便放置完12个冷却器，然后使用例如1、2或3的更小的级别尺寸布置冷却器，直到满足布局的冷却要求的冷却器的数量不能被减少了。

可能的位置的枚举和比较

顺序方法的每一步骤包含对放置c个冷却单元的可能的位置的枚举。因为布局由上述给出的初始条件限制为基于行和通道，仅存在有限数目的位置来放置每一个冷却器。其中可以放置每一个冷却单元的可用空间或者落在每一行的第一个对象之前或者在一行的任意对象之后。

由于通常在整个布局中会使用相同的单元，所以位置的数目不会随着冷却器被放置而增加。交换冷却单元的顺序不产生气流差，因此对于行内单元，剩余冷却器可用位置的数目保持恒定。对于通道上方的单元，冷却器的放置会减少剩余冷却器的可用位置的数目。

对于每一个枚举的位置，对于整个房间使用例如对CI、温度和冗余等感兴趣的性能量度的估计。在计算这种估计之后，冷却器在布局中被放置在表现最佳的位置：最大化整体CI、最大化整体冗余和/或最小化整体入口温度。这种客观的比较并不简单，因此提出如下面所讨论的、包含用于布局的比较的必要细节的新类型的度量。

位置测试本质上是枚举方案。测试冷却单元的所有可能的放置，并最终选择对房间产生最大益处的位置。然而，列举并不一定使方法效率低。一次为一个冷却器选择最佳位置的动作大大减少了需测试的布局的数量。假设具有40个机架的布局要求一行内有10个冷却单元。为所述10个冷却器枚举每一个可能的位置将大约需要10¹⁰次布局计算，但是一次仅分配一个冷却器将我们的计算限制到只有10*40＝400种布局，这是实时计算器仅用一秒或两秒可以计算的量。由于仅测试了可能布局的一小部分，所以不能保证100％的优化设计，但相反能够保证快速的、良好的、甚至接近优化的设计。

用于优化布局的新的度量

为了有效地比较数据中心的布局，要求指示冷却资源多么好地覆盖房间的度量。在优化过程中，例如在布局的比较中，这些度量将用于区分不同布局的性能并因此允许方法返回最佳配置，即，提供所选择的度量的最小值或最大值的布局。尽管入口温度、捕获指数、逸失功率和冗余的冷却指数度量经常用于评估在机架水平处的冷却性能，但这些测量不易适应于房间或群集优化。

图3用两个截然不同的布局示出了这些度量的限制，如它们可能被在由APC的ISX设计器的当前版本中所显示的。使用捕获指数、逸失功率和入口温度的所述度量的任一个，两种布局均看起来是相同的；基于这三个度量，没有哪个布局比另一个布局优化地更好。布局A和B每一个都以具有100％热通道和冷通道捕获指数的四个机架R为特征，如图3中每个机架上所标记的，意味着所有机架的热空气由冷却单元捕获且机架入口只吸收冷却单元供应的冷空气。当冷却单元在相同的供应温度下操作时，这些相同的捕获指数还指示相同的机架入口温度。但是，就能量效率和冗余的观点来看，布局A直观上优于布局B，因为它的特征是更短的从冷却器到机架的分隔距离。相应地，考虑到能量效率和冗余的量度因而定义了一组新的“高阶”冷却度量。这些新的度量还可以被合计以获得整个房间的冷却覆盖的估计，而不仅仅是传统的度量提供的在特定机架处的点覆盖的测量。这些高阶的度量提供：

1.对空间冷却的估计可以采用来自实数集的值，而不是例如整数的更小的、因而限制可以共享相同的分数的布局的数目的数字集。产生紧密分组的结果的布局仍然可以很容易地区分。

2.估计在多个冗余水平上的级别性能。这将允许比较另外乍一看不能区别的布局，这通常发生在具有大量的冷却冗余的布局中。

3.通过加权方案的应用，鼓励对信息技术(IT)负载的均匀覆盖的灵活性，或奖励对关键IT负载位置的额外覆盖的灵活性。

根据设计令M_i为数据中心中的机架i的性能度量。此度量M_i可以是在数据中心设计中使用的任何一个通用度量，诸如入口温度、捕获指数和逸失功率(或这些度量的任意组合)。新的、高阶度量M被定义如下：

在对M_i具有最大影响的k个冷却器已关闭、失效，或另外从测量中排除的情况下，M_i ^(k)＝M_i。

计算M_i ^(k)的方法在上面提到的序列编号为12/974,719、12/416,567和11/342,300的美国专利申请中公布，其中M_i是捕捉指数(CI)、冷却可靠性指数(CRI)或类似的。

为获得由C个冷却器冷却的具有R个机架的整个房间的客观表示，计算高阶度量M_i ^(k)在k从0到C-1的每个值上和i从1到R的每个值上计算加权和以获得加权的总量度。例如，如果捕获指数是感兴趣的度量M_i，那么加权的总捕获指数的加权的高阶度量定义为：

\hat{M} = Σ_{k = 0}^{C - 1} Σ_{i = 1}^{R} a (i, k) M_{i}^{(k)};

其中a(i，k)是用于不同机架i和冗余水平k的加权函数，且CI_i ^(k)是当CI是感兴趣的性能量度时的高阶度量。可以替代地使用另一个高阶度量，例如总逸失功率或总入口温度，产生加权的总逸失功率或加权的总入口温度的加权度量。

加权函数a(i，k)允许被不同赋值的各种冗余水平和机架。一个有用的实施是平均地加权每个机架，并将先前水平的一半的权重给予每一个后继的冗余水平。所得的加权函数是：

a (i, k) = a (k) = \frac{1}{2^{k}};

且，所得的加权总捕获指数是：

\hat{M} = Σ_{k = 0}^{C - 1} Σ_{i = 1}^{R} \frac{{CI}_{i}^{(k)}}{2^{k}} .

使用基于捕获指数的这个高阶度量产生如下分布：该分布倾向于导致均匀地覆盖所有机架并且通常确保在开始将冷却冗余加入布局前所有机架将被期望的冷却水平覆盖。有些用户可能需要不均匀的冷却覆盖以满足特定的需要。在这些情况下，可以构想简单的加权方案，例如确保任务关键的机架都由高冗余水平覆盖，而不需对度量调整太多。例如可以将常数乘法器应用到某些机架上而不是其它的上。

顺序放置方法

上述实施方式的各种概念和方面集成和组合成顺序放置方法，包括现在所描述的两个方法。

基本方法

由在计算机处理器上实行的软件所执行的一种示例性的基本方法操作如下。在图4的流程图中阐述了所述方法。首先，用户选择初始布局，级别尺寸c和停止条件x，步骤401。所述方法然后进入循环，其中检查所述停止条件，步骤402，如果没有满足，则执行放置冷却器的步骤。这些步骤包括：为c个冷却器的级别枚举所有可能的位置，步骤403；接着将c个冷却器放置在如通过评估每一个枚举的布局的冷却度量确定的而找到的最佳位置中，步骤404。在步骤404内，在为c个冷却器的级别确定最佳位置时评估和应用了上面所讨论的高阶度量中的一个。可以使用如上所述的任意合适的高阶的度量和/或加权函数。控制然后返回到对停止条件的测试，步骤402。

一旦满足停止条件，步骤402，返回已顺序形成的布局，步骤405。

包括回溯的改良方法

基本方法在某些情况下可以产生次优的结果。出现这种情况是因为单独多个冷却器顺序放置可能无法提供像所有冷却器马上放置好一样的结果。因此，基本方法的强化包括回溯，其系统地检查最终结果并移除不必要的冷却器，如图5所示。

初始布置如上面结合图4所描述的进行，因此在图5的说明中使用同样的附图标记。首先，用户选择初始布局、级别尺寸c和停止条件x，步骤401。所述方法然后进入循环，其中检查停止条件，步骤402，如果没有满足，然后执行放置冷却器的步骤。这些步骤包括：为c个冷却器的级别枚举所有可能的位置，步骤403；接着将c个冷却器放置在如通过评估每一个枚举的布局的冷却度量所确定的而找到的最佳位置中，步骤404。在步骤404内，在为c个冷却器的级别确定最佳位置时评估和应用评估了上面所讨论的高阶度量中的一个。可以使用如上所述的任意合适的高阶的度量和/或加权函数。控制然后返回到对停止条件的测试，步骤402。

一旦满足停止条件，步骤402，回溯循环通过枚举所有可能从其移除冷却器的位置在步骤501开始。接着，执行测试以确定布局在比目前布局中少一个冷却器的情况下是否满足停止条件x，步骤502。如果满足测试，步骤502，在步骤501的枚举中确定的处于最好的从其移除冷却器的位置上的冷却器事实上被移除，步骤503。控制然后返回到步骤501处的枚举，这在具有比先前通过回溯循环——步骤501、502和503少一个冷却器的新布局上执行。

当回溯循环完成后(在所述测试在步骤501首次失败时发生)，返回已顺序形成的且之后回溯的布局，步骤405。

实施例

现在通过自动地在样本布局中放置过道上方的冷却单元的实施例阐述基本方法。所述布局是一个有12个中等密度(4千瓦)的机架和6个高密度(8千瓦)的机架的集群，如图6所示。代数计算器用于估计布局内的每一个机架的捕获指数并放置每一个冷却单元以最小化在每个级别的加权的总逸失功率。所期待的结果是有N+1冗余的布局。因此，停止条件是N+1冗余冷却。

图7示出了6个平面图快照，其根据示例性的实施方式的各方面阐述了执行6个冷却器放置级的结果，最终的结果是有N+1冗余的布局。在大致对应于从两个机架穿过的通道中的每一个空的空间的所有可用的位置中，测试在每个级别要添加的冷却器。将每一个冷却器一次一个地放置到在该级别中可用的可能最好的位置。当已放置五个冷却器时，如图7快照5所示，每个机架在按度量CI测量时被充分冷却。当已放置六个冷却器时，如图7快照6所示，每个机架有N+1冗余冷却。则该过程停止，因为每一个机架已满足了N+1冗余冷却的停止条件。

这个实施例使用级别尺寸1，且因此可以遵循图4的方法。当然，也可已遵循更大的级别尺寸和回溯，如结合图5所描述的，如果已经向有技能的设计师建议初始条件，那么这种做法将是适合的。

这个实施例说明了所述方法的顺序性质，并展示了停止条件怎样得到满足，而且还突出了它的执行新的冷却技术的放置的能力。假使所述新的技术使用CFD或代数计算器被建模，那么体现本发明各方面的自动放置方法可以执行将冷却元件放置到布局中的此类放置。

因此已描述了本发明的至少一个实施方式的若干方面，应当理解，本领域的技术人员将容易想到各种变化、修改和改进。这些变化、修改和改进视为本公开内容的一部分，并视为在本发明的精神和范围之内。相应地，上述描述和附图仅作为实施例。

Claims

1.一种用于在数据中心的布局中顺序放置冷却资源的系统，包括：

计算机储存系统，其中储存着容纳所述数据中心的布局的数值计算机模型的数据库；和

计算机处理器，其被配置为：

定义加权的高阶冷却度量表示在所述数据中心中的所述冷却资源的总体性能，其中所述高阶冷却度量基于至少一个冷却性能度量M的计算，所述高阶冷却度量排除对所述至少一个冷却性能度量M具有最大影响的冷却器；

枚举在所述数据中心中的供放置另外的c个冷却资源的可能位置；及

将所述c个冷却资源放置在所述数据中心中的使最接近最佳值的位置中。

2.根据权利要求1所述的系统，其中定义还包括：

按照冷却度量M_i，来定义所述高阶冷却度量使得其中R表示所述数据中心中的机架的数量，C表示放置在所述数据中心中的冷却资源的总数，i表示所述数据中心中的R个机架中的一个，表示关闭k个冷却资源时度量M_i的值，并且a(i，k)是关于机架i在所述k个冷却资源关闭的情况下的加权函数。

3.根据权利要求1所述的系统，所述计算机处理器还被配置为：

重复枚举和放置直至所得到的冷却资源的放置满足期望的停止条件。

4.根据权利要求3所述的系统，其中所述停止条件是期望的冗余水平。

5.根据权利要求3所述的系统，所述计算机处理器还被配置为：

对在从所得到的冷却资源的放置移除一个冷却资源后新的所得到的冷却资源的放置是否满足所期望的停止条件进行测试。

6.根据权利要求5所述的系统，所述计算机处理器还被配置为：

识别其在被移除时产生最接近最佳值的值的那个冷却资源；及

移除所识别的那个冷却资源。

7.一种用于数据中心中的冷却资源的顺序放置的计算机实现的方法，包括：

定义加权的高阶冷却度量表示所述数据中心中的所述冷却资源的总体性能，其中所述高阶冷却度量基于至少一个冷却性能度量M的计算，所述高阶冷却度量排除对所述至少一个冷却性能度量M具有最大影响的冷却器；

枚举在所述数据中心中放置另外的c个冷却资源的可能位置；及

8.根据权利要求7所述的计算机实现的方法，还包括：

按照冷却度量M_i，来定义所述高阶冷却度量使得其中R表示所述数据中心中的机架的数量，C表示放置在所述数据中心中的冷却资源的总数，i表示所述数据中心中的R个机架中的一个，表示关闭k个冷却资源时度量M_i的值，并且a(i，k)是关于机架i在k个冷却资源关闭的情况下的加权函数。

9.根据权利要求7所述的计算机实现的方法，还包括：

10.根据权利要求9所述的计算机实现的方法，其中所述停止条件是期望的冗余水平。

11.根据权利要求9所述的计算机实现的方法，还包括：

12.根据权利要求11所述的计算机实现的方法，还包括：

移除所识别的那个冷却资源。

13.根据权利要求8所述的计算机实现的方法，其中M_i是捕获指数。

14.一种计算机实现的系统，所述计算机实现的系统被配置为将冷却资源顺序地放置在数据中心中，所述计算机实现的系统包括：

用于定义加权的高阶冷却度量的模块，所述高阶冷却度量表示所述数据中心中的所述冷却资源的总体性能，其中所述高阶冷却度量基于至少一个冷却性能度量M的计算，所述高阶冷却度量排除对所述至少一个冷却性能度量M具有最大影响的冷却器；

用于枚举在所述数据中心中放置另外的c个冷却资源的可能位置的模块；以及

用于将所述c个冷却资源放置在所述数据中心中的使最接近最佳值的位置中的模块。

15.根据权利要求14所述的计算机实现的系统，其中定义还包括：

按照冷却度量M_i，来定义所述高阶冷却度量使得其中R表示数据中心中的机架的数量，C表示放置在所述数据中心中的冷却资源的总数，i表示所述数据中心中的R个机架中的一个，表示关闭k个冷却资源时度量M_i的值，并且a(i，k)是关于机架i在k个冷却资源关闭的情况下的加权函数。

16.根据权利要求14所述的计算机实现的系统，还包括：

用于重复枚举和放置直至所得到的冷却资源的放置满足期望的停止条件的模块。

17.根据权利要求16所述的计算机实现的系统，其中所述停止条件是期望的冗余水平。

18.根据权利要求16所述的计算机实现的系统，还包括：

用于对在从所得到的冷却资源的放置移除一个冷却资源后新的所得到的冷却资源的放置是否满足所期望的停止条件进行测试的模块。

19.根据权利要求18所述的计算机实现的系统，还包括：

用于识别其在被移除时产生最接近最佳值的值的那个冷却资源的模块；及

用于移除所识别的那个冷却资源的模块。

20.根据权利要求15所述的计算机实现的系统，其中M_i是捕获指数度量。