英特尔 IT 部门IT 最佳实践
设施和 IT 创新
2012 年 1 月
高密度数据中心的设施设计
我们采用积极主动的服务器
更新战略和资最新一代的
英特尔® 至强® 处理器，
启用了高密度计算，
降低了设施成本。
John Musilli
英特尔 IT 部门高级数据中心架构师
Brad Ellison
英特尔 IT 部门高级数据中心架构师
概要
英特尔 IT 部门采用积极主动的服务器更新战略和最新一代的英特尔® 至强® 处理器，启
用了高密度计算，降低了设施成本。促进数据中心密度提高的其它因素包括构建企业私
有云和增加机柜的功耗（包括 15 千瓦、22.5 千瓦和 30 千瓦）。预计我们的数据中心
密度将会持续增长。
基本而言，摩尔定律预测计算能力会不断
增长 — 以更小的空间提供更大的计算能
力，而我们亦必须优化数据中心的效率和
稳定程度。为了做到这一点，我们着重在
各有关事项作投入，包括基于行业标准的
简单有效的机房管理方法。其他诸如对温
度、湿度和静态压力的自动控制等早已是
英特尔开发的风冷设计的元素。
• 空气管理。空气隔离和自动化控制传感
器支持我们对数据中心的容量和冷却成
本进行高效管理。
• 热量管理。多余热量是造成由于内部热
量控制关闭 IT 设备而发生停机的主要因
素之一。对于我们的高密度数据中心，
我们集中精力来将热量尽促散发。
• 架构。为了支持和优化我们的空气和热
量管理技术，我们致力于诸如汽封墙、
地板和天花板等架构细节，去掉活动金
属地板（RMF），提高地板结构承载极限，
以及采用高架结构化布线路径。
• 电气。我们的高密度数据中心采用灵
活的冗余总线 / 母线电路设计（busway
circuit design）和 415/240 Vac 配电来减
少电力损失，让我们设计出高效的容错
机房。
• 闲置容量。我们主动发掘数据中心各部
分的闲置容量（如电源和散热容量），
以便提高效率和避免对现有基础设施进
行代价高昂的更改。
我们因为在这些设施的设计上着重投入，
所以能够提高机房的基础设施容量，支持
更高的服务器密度，并同时降低运营成本
和维持业务模式所需的冗余级别。
IT@Intel 白皮书 高密度数据中心的设施设计
www.intel.com/cn/IT2
背景英特尔的业务战略之一是整合数据中心以提
高利用率。为了实现这一目标，我们在过去
的十年中一直过在更少的空间里部署功能更
加强大的服务器，显著提高了在数据中心的
服务器密度。每一代新的英特尔® 至强® 处
理器都比前一代处理器具备更高的计算能力
和采用更多的内核。因此，我们主动按照三
至四年的时间表来更新服务器，单台新服务
器可顶替数台旧服务器，以更少的占地空间
完成更多的任务。此外，构建英特尔企业云
（已超过 60% 的办公和企业应用实现虚拟
化）也对数据中心提出了更多需求，提高了
数据中心内的服务器密度。预计在我们的数
据中心的服务器密度将随着当前的设计（包
括 15 千瓦、22.5 千瓦和 30 千瓦机柜）继
续提高。
尽管高密度数据中心在能源消耗和空间使
用方面更加高效，但是它们也可能带来更
高、会令业务受到影响的风险。对于每机
柜功率不足 5 千瓦的低密度数据中心，可
能能够在 20,000 平方英尺的空间里容纳
2,500 台服务器。一次一般事故（例如机
架级或行级事故）可能导致仅 10% 的服务
器发生故障。而对密度更高的数据中心而
言，同样的计算或存储容量可能置身于仅
500 平方英尺的空间中。服务器的密度越
高，就更有可能由于一次事故便造成至少
50% 的服务器和网络设备发生故障，具体
取决于交换机拓扑。
缓解这些风险和挑战并同时尽量降低成
本，会对数据中心设计的每一个方面（从
地板到屋顶）产生影响。节省、风险和最
终设计之间必须经过认真的平衡，以根据
每个数据中心的计划用途满足用户的业务
需求。
英特尔高密度设施设计意识到高密度计算和存储的优势和风险之
后，英特尔 IT 部门着重在各设计事项中作
投入，包括基于行业标准的简单有效的机
房管理方法。另外 , 对温度、湿度和静态
压力的自动控制等早已是英特尔开发的风
冷设计的元素。
我们将设计工作集中在五个主要领域：空
气管理、热量管理、电气设计、架构设计
和回收闲置容量。重点关注这些领域帮助
我们实现了目标：整合数据中心，降低运
营成本，并同时维持业务模型所需的冗余
级别。
空气管理气流管理是提高设施散热能力的关键。新
设施的气流设计能够对容纳数据中心的机
房或大楼的大小和形状产生影响，并决定
风冷型数据中心的最高效率和最大密度。
现有数据中心的高效气流设计提高了能
效，降低了运营成本，避免了热点。更为IT@ Intel 计划将全球各地的 IT 专业人员及其
在我们机构中的同仁紧密联系在一
起，共同分享经验教训、方法和战
略。我们的目标十分简单：分享英
特尔 IT 部门最佳实践，获得业务价
值并实现 IT 竞争优势。如欲了解更
多信息，请访问 www.intel.com/cn/IT
或联系您当地的英特尔代表。
目录
概要 ....................................................................................1
背景 ....................................................................................2
英特尔高密度设施设计 ..............................2
空气管理 ............................................................2
热量管理 ............................................................6
架构的考虑 .....................................................7
电气考虑事项 ..............................................8
闲置容量 ............................................................9
结论 ................................................................................10
缩略语 .........................................................................10
高密度数据中心的设施设计 IT@Intel 白皮书
www.intel.com/cn/IT 3
重要的是，它支持我们增加每个机柜的负
载（例如 15-30 千瓦），能够支持更高密
度的计算能力。
我们使用专为英特尔制造工厂开发的计算
流体动力学（CFD）算法来对数据中心的
空气隔离配置进行建模和设计。合适的配
置使我们的服务器得以在最佳温度运行，
且不会造成能源浪费。
我们的空气管理目标包括：
• 为每个机柜供应适量的冷风
• 为每个机柜排出相同数量的热气
• 阻止排出的热气进入设备的进气孔
• 尽量增加冷气和热气（Delta T）之间的
温差，提高散热效率
根据业务需求，这些目标必须以冗余和不
间断的方式实现。
空气隔离
根据我们的经验，利用隔离风道和密集机
房设计，我们能够在数据中心的任何位
置支持每个服务器机架多至 30 千瓦的密
度。空气隔离的关键设计要求是在送风风
道和回风风道之间保持恒定的压差，以便
能够提供足够的经过调节的空气，满足实
际的服务器需求。
为了提高第一台服务器的风扇速度，我
们将送风温度设定在热边界之下（80º F
（26º C））。这一举措能够防止内部风扇
加速，后者可能会多使用 2% 到 10% 的不
间断电源（UPS）服务器功耗，具体取决
于为设备的 BIOS 设定的风扇数量和速度档
位。尽管美国采暖、制冷与空调工程师学
会标准支持 80.6º F（27º C）的送风温度，
但是我们仍然将在地板之上六至七英尺之
间测得的冷通道的送风温度保持在 78º F
（25.5º C）。
英特尔数据中心设计同时使用热通道围栏
（HAE）和无源管道机柜（也称作“烟囱式
机柜”）两种方法来进行空气隔离。尽管
我们的 CFD 建模表明热通道围栏和冷通道
围栏提供的散热解决方案相同，但是我们
在利用回风温度设计范围在 95º F（35º C）
到 105º F（41º C）之间的 HAE 配置时却获
得了更大的优势。这些优势包括：
• 由于回风温度升高和 Delta T 增加，冷却
线圈之间的热量传递效率更高。
• 我们认真小心开发工作流程，实在可以
保持这些温度。由于数据中心员工仅在
首次安放设备或维护时才进入这一空
间，因此我们的员工大多数时间在环境
温度下工作。
• 在导致数据中心冷却能力下降的机械或
电气故障期间，墙、地板和机柜会发挥
“热电池”的功能，释放存储的能量和
促进热量散发（将在本文中“热量管
理”部分之后讨论）。
我们所有的数据中心（包括
含 30 千瓦机柜的数据中心）
均采用风冷散热，我们的设
计路线图支持新设施采用每
机架 50 千瓦的密度。
IT@Intel 白皮书 高密度数据中心的设施设计
www.intel.com/cn/IT4
表 1. 机架密度和每平方英尺消耗的瓦数^
年度 机架密度每平方英尺 消耗的瓦数
2004 15 千瓦（kW）250
2006 22.5 千瓦 375
当前 30 千瓦 500
^ 以上数据取自在相同空间包含冷却单元和配电单
元（PDU）的面积为 5,000 平方英尺的机房。
• 在我们采用活动金属地板（RMF）进行
送风的数据中心，所有泄露的风（约为
0.5% 到 2%）可用于冷却 HAE 之外的空
间中的 IT 设备。
• HAE 外部的常见建筑电气组件，如面
板、断路器和导体，不会受到冷通道设
计中温度升高的影响，因此不需要对热
度衰减因素作评估。
空气冷却
服务器机架的密度以及每平方英尺消耗的
电力在平稳上升，如表 1 所示。
在行业中尽管对于高密度机架冷却效率高
这一观点尚未达成共识，但是我们的数据
中心（包括含 30 千瓦机柜的数据中心）
仍全部采用风冷散热，我们的设计路线图
支持新设施采用每机架 50 千瓦的密度。
15 千瓦机柜
对于功耗多至 15 千瓦的低密度机柜，我
们采用传统的风冷散热，并在回气气流中
采用机房空调（CRAC）或机房空气处理器
（CRAH）单元，未采用任何空气隔离。配
置如图 1 所示。
22.5 千瓦机柜
对于 22.5 千瓦机柜，我们在回气气流中采
用 HAE 和 CRAC 单元，如图 2 所示。
30 千瓦机柜
对于 30 千瓦机柜，我们采用密集送风设
计，即不含风扇辅助和 HAE 的无源烟囱式
管道服务器机柜。我们发现无源管道设备
机柜能够高效地将服务器的热废气排放到
回风区（RAP）。风扇通常会导致监控、
维护和更换等方面的问题，而无源管道消
除了对风扇的需求。30 千瓦机柜的设计如
图 3 所示。
图 1. 仅将机房空调或机房空气处理器单元移入回气气流，无需
空气隔离，就能够为 15 千瓦机柜提供足够的散热能力。
图 2. 为了满足 22.5 千瓦机柜的更高散热需求，我们建立了墙壁来
加强了标准的 15 千瓦设计，形成热通道围栏。
CRAC
CRAC
CRAC
活动金属地板
CRAC
CRAC
CRAC
活动金属地板
热通道围栏
高密度数据中心的设施设计 IT@Intel 白皮书
www.intel.com/cn/IT 5
图 3. 无源管道设备机柜能够高效地将服务器的热废气排放到天
花板的回风区，支持我们对 30 千瓦的机柜进行风冷式散热。
图 4. 对于含有活动金属地板（RMF）的机房，我们将机房空气处
理器的送风路径提高至 RMF 之上，把密集送风设计和烟囱式机柜
或热通道围栏结合使用。
密集送风设计
结合烟囱式机柜或 HAE 使用时，密集送风
设计能够消除对活动金属地板（RMF）的
需求，根据需要从任何方向将经过调节的
空气引入机房。在没有 RMF 时，数据中心
的最佳设计能够利用空气隔离、空气侧节
能器或风扇 - 墙配置。
使用这种设计时，我们能够将服务器和存
储设备前面的送风速度保持在我们称之为
“极限速度”或以下，实现低于每分钟
400 英尺的速度（fpm）。高于 400 fpm
的送风速度会超过某些 IT 设备将空气吸入
设备的能力。
某些设施将 RMF 用作电源冷却设备和网络
基础设施的活动地板。这样做不会妨碍密
集送风设计。我们通常将 RMF 高度视作楼
板高度，并将机房空气处理器的送风路径
提高至 RMF 之上，如图 4 所示。
自动控制传感器
过去，我们的机房空气处理器设计（含回
流空气温度控制传感器）利用不受控制的
直接驱动式风扇来满足空气移动和冷却的
需求。不过，这样做效率极低，因为英
特尔数据中心很少以 100% 的设计负载运
行。数据中心通常会以峰值负载的 60% 运
行。不过，特定任务可能会在几个小时将
工作负载推向 90%，在这段时期便需要最
大的散热能力。
为了提高我们数据中心的能效，我们采用
了制造清洁机房管理技术，定期使用实时
数据来为数据中心负载供应合适的温度和
空气量。我们还用变频器（VFD）更换了
空气处理系统中的单速直接驱动型风扇马
达，以便支持在服务器负载波动和热量产
生期间控制冷空气。
传感器案例研究
为了收集实际数据，我们在没有采用空气
隔离的 12 兆瓦生产数据中心安装了有线
和无线的自动温度、静态压力、湿度和功
耗监控传感器。这些传感器每隔 15 分钟
对环境进行采样，并计算 1 到 6 分钟期间
读数的平均值。
传感器阵列包括：
• CRAC 和空气处理单元（AHU）气流和
温度传感器。我们在冷冻水的供回水管
道中放置了流量计，以确定每个单元实
时处理的实际工作量。我们在送风管道
放置了两个额外的温度传感器，在回风
路径放置了六个传感器，以发现短期循
环以及冷却线圈之间的 Delta T。
CRAC
热通道围栏
烟囱式机柜CRAC
CRAC
活动金属地板PDU
PDU
RETURN AIR PLENUM
RAP – 回风区
CRAC – 机房空调
PDU – 配电单元
RAP
RAP – 回风区
CRAC – 机房空调
PDU – 配电单元
混凝土地板CRAC
CRAC
CRAC
CRAC
CRAC
CRACRAP
PDU
IT@Intel 白皮书 高密度数据中心的设施设计
www.intel.com/cn/IT6
自动控制传感器的业务价值
我们在一间使用了五年的带有
传统冷热通道但未采用空气隔
离的机房，过度供应了每分钟
164,000 立方英尺（CFM）的空气
和超过必须要求的 120 吨的冷却
空气，以将机房环境维持在 78º F
（25º C）的工作温度上限之内。
我们对 HAE、VFD 以及串联送风
温差和压差传感器进行 205,000
美元的投资，关闭了 16 个 30 吨
CRAC 设备中的 6 个，并使剩下
的设备以 60% 的风扇速度运行。
当前，AHU 在 75º F（24º C）时
送风。如此，一年下来，可节省
价值 88,000 美元的电力，回收
490 千瓦的闲置散热容量，从而
在不到 2.5 年的时间内实现投资
回报。鉴于这个项目所取得的成
功，我们对其它 7 个机房进行了
相似的更改。
• 机架级温度传感器。我们在多级送风传
感器读数和板上服务器传感器建立了机
架级温度监控。后者能够提供更加准确
的数据中心冷却空气分布图。我们在机
架后端的顶部放置了一个额外的传感
器，用于感应来自机架前面或后面的再
循环空气。这信息可以指出送气气流和
回气气流的不均匀分布、再循环或混
合。
• 电功率传感器。为了进行监控和达到能
效标准，我们使用变电站、UPS 和总线
/母线电流表来识别数据中心的负载和
损失。我们在整个冷水厂配电系统中部
署了电功率传感器，并在个别 CRAC 或
AHU 上部署了电功率传感器。我们还在
冷却器设备区安装了无线气象站，用于
记录本地条件并将其与冷却器效率关联
起来。
• 机架级功耗监控。这些传感器能够识别
出机架密度热量负载对机房特定区域的
散热产生了什么影响。
鉴于案例研究，我们对设计作出若干更
改。我们安装了串联温度和静态压力控制
器，并在这些控制器上设定，使其将 IT 设
备的送风温度重置为最高设计温度（78º F
（26º C）），并为机房提供所需的空气
量。这些控制器使用的直接送风温度反馈
来自距离地板六到七英尺的机架的顶端，
平均压差反馈则来自送风和回风路径中的
多个传感器。
使用这些传感器提供的数据，这些传感器
控制器能够根据需要对机房上的冷水供给
阀和送风风扇进行调节。
热量管理在造成 IT 设备由于内部热量控制而发生停
机方面，多余热量是仅次于 IT 设备电力损
失的一个主要因素。内部热量控制被设计
用于关闭设备。对于我们的高密度数据中
心，我们尽量促进热量散发和控制机房的
环境因素。
热量散发
热量散发指的是可用来吸收数据中心环境
产生的热量和在冷气损失之后维持可以接
受的设备温度的时间。热量散发很重要，
因为只要设备在运行，它们就会产生没有
主动抵消的热量。
我们使用 UPS、电池、飞轮或其它电力存
储系统，数据中心即使在冷却系统由于设
备电源、发电机或自动转换开关发生故障
而断电的情况下，也能继续运行一段时
间。为了防止产生过多的热量，我们采取
了多种方法来提供余热冷却能力。我们的
热量散发设计能够将散热能力延长至超出
电力存储容量时间五至七分钟。这样，可
在温度超过任意数据中心设备的物理、逻
辑或预先确定的散热边界条件之前，散发
掉关键设备的任意残余热量。
环境达到特定温度所需的时间无法准确测
量。但是，我们考虑设备的换气次数、设
备的进风温度以及设备之间的 Delta T，可
以确定机房多久会过热。
英特尔的冷水热量散发解决方案采用现有
的管道流量和添加冷水储水箱（如果需
要），利用当前的热量存储能力来满足最
低散热需求。1
1 请参阅英特尔公司于 2007 年 9 月发布的《蓄冷系统
为数据中心提供紧急制冷功能》一文。
高密度数据中心的设施设计 IT@Intel 白皮书
www.intel.com/cn/IT 7
在这些数据中心中，我们在单独的机械负
载 UPS 上放置了机房空气处理器风扇和一
个冷水泵，以机房空气处理器线圈移动现
有的空气和水。散发掉的总热量与可用冷
水的温度和数量成比例。对于直接膨胀式
系统，我们安装了机械负载 UPS，在 UPS
电池耗尽或在发电机和压缩机的周期开始
之前支持最低散热需求。
在某些设计中，我们在紧急散热事件中利
用外部环境来供应或排出空气，以增强机
房的总体可用散热能力。我们将机房的空
气经由墙壁或屋顶的通风孔排出到走廊或
大楼外面。
有时，我们将 UPS 系统上的数据中心负
载和设备马达负载进行混合，因为我们发
现这一方法能够减少谐波电流含量和改进
UPS 设备的总体输出功率因数（PF）。我
们利用 VFD 为更大功率的马达提供动力，
因为 VFD 能够将高峰负载与其它 UPS 负载
隔离开来。有些马达利用不含 VFD 的 UPS
提供动力，但其马力通常比 UPS 的容量要
小。根据要使用的马达的功率和 UPS 制造
商，我们可以和 UPS 制造商协商，以根据
马达的高峰电流来准确确定 UPS 的功率。
机房环境
只要有可能，我们就使用集成全球各机房
而非独立设备的控制逻辑。这样，所有机
械设备就能互相协作，高效地维护特定冷
却或气流设备影响区域内的环境。如表 2
所示，我们对数据中心的湿度、静态压力
和温度进行了认真地控制。
例如，通常我们会将服务器环境的相对湿
度保持在 20% 到 80% 之间。不过，磁带
设备和磁带存储的环境规格可能有所不
同，它们可能需要单独的空气调节空间。
架构的考虑为了支持和优化我们的空气和热量管理工
作，我们的数据中心采用了若干对于许多
数据中心来说可能并不典型的架构修改。
• 密封墙、天花板和地板。使用防潮层密
封这些表面，对湿度进行更好地控制。
混凝土和石膏板含有许多孔，容易使湿
气进入数据中心环境。
• 移走 RMF。10 年之前，我们开始将
RMF 从我们的数据中心中移走。除了更
有效的空气管理之外，移除 RMF 还能提
供下列优势：
﹣ 由于没有坡道或楼梯，可用的地面
空间更多
﹣ 节省地板安装和维护的成本
﹣ 降低地震事件风险和简化抗震支撑
﹣ 减轻地上机房的自重地板负载
﹣ 降低机房从地板到平台的总体高度
需求
﹣ 有可能采用天花板回风区
﹣ 无需检测地板泄露和灭火
﹣ 不存在地板安全问题
﹣ 地板组件没有接地线
由于具有以上这些优势，我们在三年之前
的标准数据中心设计中采用了无 RMF 的设
计设计。
表 2. 英特尔使用的机房环境设置
环境因素 设置
湿度 20% 至 80% （对于服务器）
送风温度 78º F（25º C） 设备顶部，冷通道
送风和回风区之间的压差
0.015 WC 正压送风（相当于 3.736 Pa）
CFM 每千瓦 80 到 120 CFM
CFM – 立方英尺 / 分钟；kW – 千瓦；Pa – 帕斯卡；
RAP – 回风区；WC – 水柱
IT@Intel 白皮书 高密度数据中心的设施设计
www.intel.com/cn/IT8
• 提高地板负载规格。我们较旧数据中心
的地板负载规格被限制在 125 磅每平
方英尺。如今，当前的设计标准为 350
磅每平方英尺。由于地板负载限制提高
了，地板得以支撑更多的单个重量在
2,000 到 2,5000 磅之间的满负荷刀片服
务器机架和存储阵列的额外重量。
• 集成性能试用测试。我们以与实际数据
中心事件相似的方式测试了所有系统，
包括使用受控超载条件，以确定控制功
能和程序是否确立，是否能够用于防止
或减轻数据中心服务损失。所有系统根
据设计规格或工厂规格以最高故障能力
和容差进行集成和测试。
结构化布线
过去十年，我们摆脱了行业标准数据中心
设计，采用长度定制的电源线和网线，而
且在交换机和服务器之间的行末网络接入
分配中的服务器机架和接线板上不再使用
线缆管理设备。根据常规做法，我们在每
个服务器更新周期对一层网络线缆进行更
换，每隔三至五年对电缆区进行一次升
级。尽管接线板和跳接线能够提供灵活程
度，但是它们也可能增加四个故障点和使
安装成本近乎翻倍。我们发现网络路径很
少发生改变，因此降低成本和仅有两个而
非六个故障点的优势远远超过了灵活度的
提升。
为了尽量降低风险和总体连接性损失，我
们还采用了下列一层网络实践：
• 网络交换机物理隔离。我们在物流网络
设计中采用了这一实践，以便防止由于
本地灾难性事件（包括喷洒灭火器意外
放电、由于管道或大楼漏水导致的水
位过高，以及坠落物体或本地机架电气
故障带来的损害）造成的冗余交换机或
路由器损失。在两台冗余设备之间，我
们优先采用至少 40 英尺（12 米）的距
离。
• 架空线缆托盘。架空线缆托盘能够提供
合理的接入和灵活程度，以便能够在整
个数据中心部署铜线和光纤，而无需对
较旧的数据中心进行气流限制，也无需
RMF。
• 为多个闲置导体安装含镀层的光缆。我
们在进出数据中心机房或大楼的路径处
采取这种做法，以便防止由于不受数据
中心操作人员控制的行为带来的损害。
• 线缆管理。我们对电缆进行了认真地
包裹，使其不与服务器机箱风扇插座
接触。
电气考虑事项数据中心配电是实现高效容错机房的关
键。我们的高密度数据中心使用灵活的分
支线路设计，减少了电气损失。我们使用
了以下方法，使我们的数据中心电气系统
更加可靠和经济高效：
• 通常使用的总线/母线配电。我们在
2000 年首次安装的高架汇流电流强度
（安培数）仅为 100，我们需要的机架
功率是 3 千瓦到 5 千瓦，能够支持冗余
配置的 8 个服务器机架。在 2012 年的
设计中，电流强度（安培数）上升到每
线槽 800 ，能够支持密度更高的服务器
机架。
• UPS 降额。大规模部署使用开关电源单
元（PSU）的新型服务器有成为主要功
率因素的趋势。这反过来又会导致温度
升高，对 UPS 输出变压器产生负面影响
（具体影响视 UPS 电子设备的设计而
定），因而带来其它内部 UPS 问题。有
鉴于此，我们不得不对某些较旧的 UPS
模块和特定 UPS 制造商的设计进行降额
处理。我们已经发现比数据中心中新型
服务器的功率因素更大的主要功率因素
在互连的 UPS 负载中所占的百分比越来
越大。英特尔工程师与 UPS 制造商协
商，确定了特定 UPS 设备的正确额定
值，并更新了英特尔的设计建设标准以
反映这些变化。新型 UPS 单元专为处理
主要功率因素而设计，已经解决了新型
PSU 产生的问题。
• 变频器（VFD）。 所有新风扇和泵设备
均安装有 VFD，而且我们将它们改造成
了现场中的现有系统。大楼管理系统利
用压差传感器的输入，对散热风扇的
VFD 进行控制。
• 功率多样化。根据功率配置，某些 UPS
能够作为主要电源，按照制造商的设计
额定功率满负荷运行。如果 UPS 发生故
障，可利用一个三路“先断开后连接”
的静态切换开关（STS）将电源作为冗
余设备电源之一传输至公用电源。之
后，当发电机启动后，STS 即可将电源
传输至发电机。UPS 恢复后，STS 可将
电源传输回至公用电源，然后再传输回
高密度数据中心的设施设计 IT@Intel 白皮书
www.intel.com/cn/IT 9
至 UPS，而无需丢弃数据中心的负载。
• 高压。我们使用设备能够接收的最高交
流电压（Vac）。这使得每条电路能够
提供更高的效率和功率。
• 415/240 Vac 配电。与传统的 208/120
Vac 安装相比，在使用 60-Hz 频率的国
家（地区），我们能够在电流相同的情
况下，以一半的每千瓦安装成本为每条
电路提供两倍的功率。这一配置兼容于
主要供应商的 PSU，后者的额定功率范
围为 90 到 250 Vac 或 200 到 250 Vac。
对于现有的电气设备，我们在 UPS 模
块、发电机应急面板和 UPS 旁路断电器
的下游安置了 480/415 Vac 的变压器。
这使不同的电源保持在相同的电压。
我们还在机房的机架上使用全球通用
的配电解决方案实现了额外优势，使
400/230 Vac 可用于欧洲，380/220 Vac
可用于亚洲。
• 确定全部电气组件和导体的额定功率。
我们连续将分支电路断电器、汇流器、
配电断路器、断路器、面板、导体和机
架插线板的功率和额定值调节至设备的
设定值。这样做除了能够为峰值负载提
供安全裕度外，还能为配电设计提供重
要的容量功能。指定和安装电气组件
时，我们遵循所有适用的当地电气规范
和规则。
闲置容量闲置容量指的是预定安装的空间、功耗或
散热基础设施的可用设计容量减去实际使
用的容量或其中一种数据中心元素的不可
用容量（由于其它互相依赖的要素的限制
而不可用）后剩余的容量。我们对数据中
心所有区域的闲置容量（如功耗和散热能
力等）进行主动识别。回收闲置容量能够
帮助我们避免对现有的基础设施进行代价
昂贵的更改。
回收机房内的闲置散热能力
随着服务器密度的上升，机架功率和热量
密度也在上升，机房特定区域亦需具有更
大的气流或散热能力。对散热系统的总体
需求没变，但是分布情况出现问题。我们
发现将 CRAC 单元移到其它位置，能够把
闲置（once-stranded）的 CRAC 容量根据
需要提供给机房的特定区域，而闲置容量
亦不再是闲置。
根据实际静态压力时的总 CFM 测量，阻塞
或功率偏小的 RMF 可能造成机房的可用
散热容量闲置。为了避免由于地板阻塞或
RMF 偏小造成的容量损失以提高密度，我
们将机房散热单元的位置提升至 RMF 的
表面，这实际上相当于地板上的密集送风
设计或将地板线缆重新定位至架空线缆托
盘。
回收闲置的冷冻水容量
制冷设备可能具备满足数据中心散热需求
所需的容量，但存在限制因素，例如功率
偏小的管道或水泵可能导致冷却水容量闲
置，安装的 CRAC 容量可能小于冷却器的
容量。如果供回水温度 Delta T 小于冷却
设备设计，那么冷却器的真正容量将得不
到充分利用。我们了解了若干这些类型的
因素，以确定冷却水容量是否被浪费，然
后对安装作出相应的修改。
数据中心热量回收系统削减了业务成本
在俄罗斯的一座英特尔数据中心，我
们开发并安装了一种热量回收系统
（HRS），后者可重复使用数据中心
中服务器产生的热量，利用其在寒冷
的月份里为办公室供暖以及为洗手间
和自助餐厅烧热水。为了表彰该团队
在该项目中发现的创新的节能方法，
英特尔公司授予该团队英特尔环保铜
奖。位于以色列的一座英特尔数据数
据中心也安装了相似的 HRS 系统。
俄罗斯项目要求 IT 数据中心团队和英
特尔企业服务紧密合作。尽管该系统
当前没有 100% 地利用数据中心产生
的热量，但是概念验证取得了成功。
在该项目的第一阶段，俄罗斯的 HRS
帮助英特尔每年节省大约 50,000 美
元。目前，IT 数据中心团队正在进行
HRS 项目的第二阶段。这一阶段将能
够利用数据中心服务器产生的全部热
量。我们预计该系统将为英特尔每年
节省大约 300,000 美元，或在三年的
时期节省多至 100 万美元。在规模更
大的数据中心，该系统可节省更多的
资金。
回收闲置的 UPS 容量
几个组件的电力负载相位失衡可能造成
数据中心设备可以利用的经过调节的总
电容受到限制或被闲置。这些组件包括
UPS、配电断路器、机房 PDU 和机架级电
路断路器。我们尝试将不同相位之间的
相位值差维持在 5% 到 15% 之间，因为
我们的经验表明这个范围能够有效使用
经过调节的电力和防止电路断电器跳闸
或 UPS 旁路事件。
这些相同的组件如果功率不足以支持负
载，也可能导致数据中心设备的下游电容
受到限制或被闲置。我们对这些组件的功
率认真地确定，以便提供系统计划提供的
所有负载，并预留容量以应对临时的下游
负载变化。
我们还认真构建了冗余拓扑，以便它能够
与 UPS、配电板、机房 PDU、分支电路和
机架电源插板之间互相平衡。这样做的目
的是在发生故障时，单个组件或线路不会
限制整体电气设计的容量。这一点很重
要，因为故障事件通常会在电源传输期间
给系统造成额外负担。
结论随着我们继续整合我们的数据中心，以新
型的基于最新一代英特尔® 至强® 处理器
的系统来主动更新服务器和存储，以及进
一步提高企业私有云的办公和企业应用的
虚拟化程度，数据中心的密度将不断平稳
提升。
我们着重在各领域方面优化英特尔高密度
数据中心的效率和稳定程度，包括空气和
热量管理、架构和电气考虑事项，以及回
收闲置的电源和散热容量。
我们在各设计领域作改善，得以增加机房
基础设施的容量，来支持更高的密度和降
低运营成本，并同时维持业务模型所需的
冗余级别。
如欲了解有关英特尔 IT 部门最佳实践的更多信息，请访问：www.intel.com/cn/it
撰稿人
Ajay Chandramouly 英特尔 IT 部门行业参与经理
ST Koo 英特尔 IT 部门数据中心架构师
Ravindranath D. Madras 英特尔 IT 部门数据中心企业 架构师
Marissa Mena 英特尔 IT 部门数据中心架构师
Isaac Priestly 英特尔 IT 部门战略金融分析师
缩略语
AHU 空气处理单元
CFD 计算流体动力学
CFM 立方英尺/分钟
CRAC 机房空调
CRAH 机房空气处理器
Delta T 温度变化
fpm 英尺/分钟
HAE 热通道围栏
HRS 热回收系统
kW 千瓦
PDU 配电单元
PF 功率因数
PSU 电源单元
RAP 回风区
RMF 活动金属地板
STS 静态转换开关
UPS 不间断电源
Vac 交流电压
VFD 变频器
本白皮书仅用于参考目的。本文以“概不保证”方式提供，英特尔不做任何形式的保证，包括对适销性、不侵权性，以及适用于特定用途的担保，或任何由建议、规范或范例所产生的任何其它担保。英特尔不承担因使用本规范相关信息所产生的任何责任，包括对侵犯任何专利、版权或其它知识产权的责任。本文不代表英特尔公司或其它机构向任何人明确或隐含地授予任何知识产权。
英特尔、Intel 标识、Xeon 和至强是英特尔公司在美国和其它国家（地区）的商标。* 文中涉及的其它名称及商标属于各自所有者资产。
版权所有 © 2012 英特尔公司。所有权利受到保护。 C请注意环保 0112/ACHA/KC/PDF 326180-001
