+ All Categories
Home > Documents > Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs...

Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs...

Date post: 05-Oct-2020
Category:
Upload: others
View: 4 times
Download: 0 times
Share this document with a friend
57
H14071 技术白皮书 Dell EMC ECS:概述和体系结构 摘要 此文档提供了关于软件定义的云规模对象存储平台 Dell EMCECS 的深入体系结 构概述。 2019 6
Transcript
Page 1: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

H14071

技术白皮书

Dell EMC ECS:概述和体系结构

摘要 此文档提供了关于软件定义的云规模对象存储平台 Dell EMC™ ECS 的深入体系结

构概述。

2019 年 6 月

Page 2: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

修订

2 Dell EMC ECS:概述和体系结构 | H14071.13

修订

日期 描述

2015 年 12 月 ECS 2.2 的初版

2016 年 5 月 有关 2.2.1 的更新

2016 年 9 月 有关 3.0 的更新

2017 年 8 月 有关 3.1 的更新

2018 年 3 月 有关 3.2 的更新

2018 年 9 月 有关 Gen3 硬件的更新

2019 年 2 月 有关 3.3 的更新

2019 年 6 月 删除了 ECS DC 和电子邮件警报参考

鸣谢

本白皮书由 Dell EMC 非结构化数据存储部门的技术营销工程和解决方案架构师团队的以下成员更新:

作者:Chris Kraft

请将反馈发送到 [email protected]

本出版物的内容按“原样”提供。Dell Inc. 对本出版物的内容不提供任何形式的陈述或担保,明确拒绝对有特定目的的适销性或适用性进行默示担保。

使用、复制和发行本出版物所描述的任何软件都要有相应的软件许可。

版权所有 © 2015-2019 Dell Inc. 或其子公司。保留所有权利。Dell、EMC、Dell EMC 和其他商标为 Dell Inc. 或其子公司的商标。Dell® / EMC® / Dell

EMC® 等品牌商标将有可能同时出现在戴尔易安信相关企业级产品 (包括硬件和软件),和/或产品资料、戴尔易安信的官方网站。如果您有有关戴尔易安信

产品相关的任何疑问,欢迎联系您的指定客户经理。其他商标可能是其各自所有者的商标。[6/26/2019] [技术白皮书] [H 14071.13]

Page 3: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

3 Dell EMC ECS:概述和体系结构 | H14071.13

目录

目录

修订 ..................................................................................................................................................................................... 2

鸣谢 ..................................................................................................................................................................................... 2

执行摘要 .............................................................................................................................................................................. 5

1 简介 ............................................................................................................................................................................... 6

1.1 目标受众 ............................................................................................................................................................. 6

1.2 范围 ..................................................................................................................................................................... 6

2 ECS 的价值 .................................................................................................................................................................. 7

3 体系结构 ....................................................................................................................................................................... 9

3.1 概述 ..................................................................................................................................................................... 9

3.2 ECS 门户和调配服务 ........................................................................................................................................ 10

3.2.1 ECS 管理 API ................................................................................................................................................... 10

3.2.2 事件通知 ........................................................................................................................................................... 11

3.3 数据服务 ........................................................................................................................................................... 11

3.3.1 对象 ................................................................................................................................................................... 12

3.3.2 HDFS ................................................................................................................................................................ 12

3.3.3 NFS ................................................................................................................................................................... 13

3.3.4 连接器和网关 .................................................................................................................................................... 14

3.4 存储引擎 ........................................................................................................................................................... 14

3.4.1 服务 ................................................................................................................................................................... 15

3.4.2 数据和元数据 .................................................................................................................................................... 15

3.4.3 数据管理(索引和分区记录) ........................................................................................................................... 16

3.4.4 数据流 ............................................................................................................................................................... 19

3.4.5 盒式传输 ........................................................................................................................................................... 20

3.4.6 空间回收 ........................................................................................................................................................... 21

3.5 Fabric ................................................................................................................................................................ 21

3.5.1 节点代理 ........................................................................................................................................................... 21

3.5.2 生命周期管理器 ................................................................................................................................................. 22

3.5.3 注册表 ............................................................................................................................................................... 22

3.5.4 事件库 ............................................................................................................................................................... 22

3.5.5 硬件管理器 ........................................................................................................................................................ 22

3.6 基础架构 ........................................................................................................................................................... 22

3.6.1 Docker .............................................................................................................................................................. 23

Page 4: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

4 Dell EMC ECS:概述和体系结构 | H14071.13

目录

3.6.2 文件系统布局 .................................................................................................................................................... 24

4 ECS 一体机硬件 ......................................................................................................................................................... 25

4.1 ECS EX 系列 .................................................................................................................................................... 25

4.2 EX300 节点 ....................................................................................................................................................... 25

4.2.1 EX300 机架高度示例 ........................................................................................................................................ 27

4.2.2 EX300 升级扩展选项 ........................................................................................................................................ 28

4.3 EX3000S 和 EX3000D 节点 ............................................................................................................................. 29

4.3.1 EX3000S/D 机架高度示例 ................................................................................................................................ 31

4.3.2 EX3000S/D 升级扩展选项 ................................................................................................................................ 33

4.4 网络 ................................................................................................................................................................... 33

4.4.1 25GbE 交换机:前端架顶式 (TOR) 交换机 ...................................................................................................... 34

4.4.2 25GbE 交换机:后端网络 ................................................................................................................................. 35

5 网络分离 ..................................................................................................................................................................... 36

6 安全性 ......................................................................................................................................................................... 37

6.1 身份验证 ........................................................................................................................................................... 37

6.2 数据服务身份验证 ............................................................................................................................................. 37

6.3 静态数据加密 (D@RE) ..................................................................................................................................... 38

6.3.1 密钥轮换 ........................................................................................................................................................... 38

7 数据完整性和保护 ....................................................................................................................................................... 40

7.1 三重镜像 ........................................................................................................................................................... 40

7.2 擦除编码 ........................................................................................................................................................... 40

7.3 校验和 ............................................................................................................................................................... 41

7.4 法规遵从性 ........................................................................................................................................................ 41

8 部署 ............................................................................................................................................................................. 42

8.1 单站点部署 ........................................................................................................................................................ 44

8.2 多站点部署 ........................................................................................................................................................ 44

8.2.1 区域联合 ........................................................................................................................................................... 44

8.2.2 异地复制 ........................................................................................................................................................... 44

8.2.3 异地高速缓存 .................................................................................................................................................... 48

8.2.4 临时站点宕机 .................................................................................................................................................... 49

8.3 故障承受能力 .................................................................................................................................................... 51

9 存储保护开销 .............................................................................................................................................................. 53

10 结论 ............................................................................................................................................................................. 55

A 技术支持和资源 .......................................................................................................................................................... 56

A.1 相关资源 ........................................................................................................................................................... 56

Page 5: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

5 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

执行摘要

Dell EMC™ ECS 是一款软件定义的云规模对象存储平台。借助 ECS,任何组织均可提供可扩展的公有云服

务,同时获得私有云基础架构的可靠性和可控性。

ECS 在单个现代存储平台上为非结构化(对象和文件)工作负载提供全面的协议支持。借助 ECS,组织可在

单个全局命名空间下轻松管理全局分布式存储基础架构,并能随时随地访问内容。ECS 拥有灵活的软件定义的

体系结构,该体系结构进行了分层,以促进实现无限的可扩展性。每层均可完全抽象、独立扩展、并具有高可

用性且没有单点故障。现在,任何组织都可以在自己的数据中心内实现真正的云规模经济性。

Page 6: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

6 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

1 简介 本文档提供 Dell EMC ECS 的深入体系结构概述,ECS 是一种全包式软件定义的云规模对象存储平台,它兼具

商用基础架构的成本优势以及传统阵列的可靠性、可用性和可服务性。

1.1 目标受众 本文面向有兴趣了解 ECS 的价值和体系结构的 Dell EMC 现场人员和客户。它深入概述了 ECS 软件、硬件、

网络和服务。它还提供指向 ECS 其他信息的链接。

1.2 范围 本文档重点主要放在 ECS 体系结构上。它不涵盖 ECS 软件或硬件的安装、管理和升级过程。它也未涵盖有关

使用和创建具有 ECS API 的应用程序的具体信息。它概述了可用的连接器和集成。

本文档的更新会定期进行,通常与主要版本或新特性和功能更改一致。要获得本文档的最新版本,请从此链接

下载。

Page 7: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

7 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

2 ECS 的价值 针对寻求为支持快速数据增长而构建的平台的企业和服务提供商,ECS 提供了巨大价值。使企业可以按全局方

式大规模管理和存储分布式内容的 ECS 主要优势和功能包括:

• 云规模 — ECS 是适用于传统和新一代工作负载的对象存储平台。它拥有灵活的软件定义的体系结构,

可促进实现无限的可扩展性。功能亮点如下:

- EB 级规模

- 全局分布式对象基础架构

- 在一个存储平台中支持数以十亿计的所有类型(大和小)的文件

- 可轻松扩展的体系结构

• 灵活的部署 — ECS 具有卓越的灵活性,可部署为一体机纯软件解决方案或部署在 EMC 运营的云中

(或是同时采用两种形式)。提供的功能包括:

- 一体机部署

- 支持经鉴定或自定义的行业标准硬件的纯软件部署

- 多协议支持:对象(S3、Swift、Atmos、CAS)和文件(HDFS、NFSv3)

- 多个工作负载:物联网、归档、大数据、现代应用程序

- 用于 Data Domain 云层的辅助存储和使用 CloudPools 的 Isilon

• 企业级 — 通过在具有诸如以下此类功能的安全和兼容系统中采用企业级存储,ECS 可为客户提供对数

据资产的增强控制:

- 静态数据 (D@RE) 和加密的站点间复制流量

- 针对 SEC 规则 17a-4(f) 法规遵从性的报告、基于策略和基于事件的记录保留和平台加强,包括高

级保留管理(如诉讼保留和最小值-最大值治理)

- 遵从国防信息系统局 (DISA) 安全技术实施指南 (STIG) 强化准则

- 使用 Active directory 和 LDAP 实现的身份验证、授权和访问控制

- 与监视和警报基础架构(SNMP 陷阱和系统日志)的集成

- 空间回收,也称为垃圾收集

- 增强的企业级功能(多租户、Swift 多部分上载、容量监视、警报等)

• 总体拥有成本 (TCO) 降低 — 相对于传统存储和公有云存储,ECS 可以大幅降低 TCO。它甚至可为

LTR 提供比磁带更低的 TCO。其特性包括:

- 全局命名空间

- 小型和大型文件性能

- 无缝 Centera 迁移

- 完全符合 Atmos REST

Page 8: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

8 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

- 每个一体机机架的原始容量从 192 TB 增长到 8.4 PB

- 管理开销低

- 数据中心占用空间少

- 存储利用率高

ECS 的设计针对以下主要使用情形进行了优化:

• 现代应用程序 — ECS 专为现代应用程序开发、管理和分析而设计。ECS 可支持新一代 Web、移动和

云应用程序。具有强大一致性的多站点读/写机制简化了应用程序开发。当 ECS 容量发生变化和增长

时,开发人员从不需要重新编写其应用程序的代码。

• 辅助存储 — ECS 用作辅助存储,以释放用于存储不常访问数据的成本更高的主存储空间,同时保持它

的可合理访问性。示例包括基于策略的分层产品,例如 Data Domain 云层和 Isilon CloudPools。

GeoDrive 是一种基于 Windows 的应用程序,为 Windows 系统提供对 ECS 的直接访问,以存储数据。

• 区域防护归档 — ECS 可作为用于归档和长期保留的安全且经济实惠的本地云。将 ECS 用作归档层可

以显著减少主存储容量。对冷归档使用了 10+2 擦除编码方案,其中区块会划分为 10 个数据片段和

2 个编码(奇偶校验)片段。这样可以为此使用情形实现更好的存储效率。

• 全局内容存储库 — 非结构化内容存储库(包含图像、视频等)当前存储在高成本存储系统中,这使企

业无法经济高效地管理大规模数据增长。借助 ECS,任何组织均可将多个存储系统整合到一个可全局

访问的高效内容存储库中。

• 物联网存储 — 对于能够从客户数据中提取价值的企业,物联网 (IoT) 提供了新的创收机会。ECS 提供

了一种高效的物联网体系结构,支持大规模的非结构化数据收集。ECS 对于对象数量、对象大小或元

数据没有限制,是存储物联网数据的理想平台。由于可以直接在 ECS 平台上分析数据,而无需执行耗

时的 ETL(提取、转换、加载)过程,因此 ECS 还可以简化分析。只需将 Hadoop 群集指向 ECS 即

可开始运行查询。作为对象存储系统,ECS 可以采用经济高效的方式存储所有物联网数据,并利用其

内置数据检查来确保数据完整性。

• 视频监控证据存储库 — 与物联网数据相反,视频监控数据的对象存储计数要小得多,但是每个文件的

容量占用空间要高得多。尽管数据真实性十分重要,不过数据保留并没有这么关键。ECS 可以是用于

此类数据的低成本存放区域或辅助存储位置。视频管理软件可以利用丰富的自定义元数据功能,通过

重要的详细信息(如摄像机位置、保留要求和数据保护要求)对文件进行标记。元数据还可以用于将

文件设置为只读状态,以确保对文件实现监管链。

• 数据湖 — ECS 可为任何规模的组织建立数据湖基础。它通过强大的 HDFS 服务更大限度利用用户数

据,使得在生产中利用大数据应用程序和分析成为现实。它采用原位分析功能来降低风险、减少资源

消耗并缩短了实现成效的时间。

Page 9: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

9 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

3 体系结构 ECS 在构建时遵循了某些设计原则,例如具有高度一致性的全局命名空间、横向扩展功能、安全多租户以及适

用于小型和大型对象的卓越性能。ECS 按照云应用程序的原则构建为完全分布式系统。ECS 具有分层体系结

构,系统中的每个功能都构建为一个独立层。此设计原则使每层可跨系统中的所有节点横向扩展,并确保高可

用性。

在商用节点上运行的 ECS 软件形成了底层云存储,从而提供保护、异地复制和数据访问。本部分会深入介绍

ECS 体系结构以及软件和硬件设计。

3.1 概述 ECS 提供一个软件定义的云存储平台,可以部署在一组经鉴定的行业标准硬件或全包式存储一体机上。在高层

次上,ECS 由以下主要组件组成:

• ECS 门户和调配服务 — 提供一个基于 Web 的门户,通过它可实现 ECS 节点的自助服务、自动化、

报告和管理。它还处理许可、身份验证、多租户和调配服务。

• 数据服务 — 提供服务、工具和 API 以支持对象和文件访问。

• 存储引擎 — 负责存储和检索数据、管理事务以及保护和复制数据。

• 结构 — 提供群集、运行状况、软件和配置管理以及升级功能和警报。

• 基础架构 — 使用 SUSE Linux Enterprise Server (SLES) 12 作为全包式一体机的基本操作系统或行业

标准硬件配置的经鉴定的 Linux 操作系统。

• 硬件 — 提供全包式一体机、经鉴定的行业标准硬件或托管硬件。

图 1 显示这些层的图形视图。接下来的几节将详细介绍这些层。

图 1 ECS 体系结构层

Page 10: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

10 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

3.2 ECS 门户和调配服务 存储管理员使用 ECS 门户和调配服务管理 ECS。ECS 提供基于 Web 的 GUI,使管理员可以对 ECS 节点进

行管理、许可和调配。该门户具有全面的报告功能,其中包括:

• 每个站点、存储池、节点和磁盘的容量利用率。

• 针对延迟、吞吐量和复制进度的性能监视。

• 诊断信息,如节点和磁盘恢复状态。

ECS 控制面板提供整体系统级别运行状况和性能信息。此统一视图增强了整体系统可见性。警报可向用户通知

关键事件(如容量限制、配额限制、磁盘或节点故障或是软件故障)。ECS 还提供命令行界面来安装、升级和

监视 ECS。可通过 SSH 使用命令行访问节点。图 2 显示 ECS 控制面板的屏幕抓图。

图 2 ECS Web UI 控制面板 3.2.1 ECS 管理 API

您还可以使用 RESTful API 管理 ECS。Management API 使用户可以在其自己的工具、脚本或现有应用程序中

管理 ECS 系统。它还可以用于创建新的监视应用程序。ECS Web UI 和命令行工具是使用 ECS REST 管理

API 构建的。

Page 11: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

11 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

3.2.2 事件通知 ECS 支持使用 Web UI、API 或 CLI 添加的以下事件通知服务器:

• SNMP(简单网络管理协议)

• 系统日志服务器

在 ECS 3.3 中,存储管理员可以对 SNMP 设置进行测试和验证。请参阅最新的管理员指南,了解完整信息以

及有关如何配置这些服务器类型的详细信息。

3.3 数据服务 通过标准对象和文件方法访问 ECS 中存储的数据。对于 S3、Atmos 和 Swift,使用基于 HTTP 的 RESTful

API 来访问 ECS。对于 CAS(内容寻址存储)访问,使用专有的访问方法/SDK 来存储和检索数据。ECS 以本

机方式支持除 LINK 以外的所有 NFSv3 过程。提供了一个自定义 ECS jar 文件,用于在 Hadoop 节点上安装,

从而使 ECS 可用作 Hadoop 兼容文件系统。

ECS 提供多协议访问,意味着通过一种协议接收的数据可以通过其他协议访问。例如,可以通过 S3 接收数

据,并通过 NFSv3 或 Swift 修改数据,反之亦然。根据协议语义和协议设计方式的表示,对于这种多协议访问

有一些例外情况。表 1 重点介绍了访问方法以及哪些协议可互操作。

表 1 ECS 支持的数据服务

协议 支持 互操作性

对象 S3 其他功能,如字节范围更新和丰富的 ACL HDFS、NFS、Swift

Atmos 版本 2.0 NFS(仅限基于路径的对象,不包括

基于 ID 样式的对象)

Swift V2 API 以及 Swift 和 Keystone v3 身份验证 HDFS、NFS、S3

CAS SDK v3.1.544 或更高版本 不适用

文件 HDFS Hadoop 2.7 兼容性 S3、NFS、Swift

NFS NFSv3 S3、Swift、HDFS、Atmos(仅限基于路

径的对象,不包括基于 ID 样式的对象)

数据服务(也称为头服务)负责接收客户端请求、提取所需信息以及将它传递给存储引擎以便进行进一步处理

(例如读取、写入等)。所有头服务都合并到在基础架构层运行的单个进程 dataheadsvc 中。此进程进一步封

装在名为 object-main 的 Docker 容器中,该容器在 ECS 系统中的每个节点上运行。本文档的基础架构部分会

更加详细地介绍 Docker。此外,要通过上述协议访问对象,需要打开特定防火墙端口。最新的《ECS 安全配

置指南》中提供了与 ECS 通信以及 ECS 之间通信的端口要求。

Page 12: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

12 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

3.3.1 对象 对于对象访问,ECS 支持行业标准对象 API。ECS 支持 S3、Atmos、Swift 和 CAS API。除了 CAS 以外,均

可通过 GET、POST、PUT、DELETE 和 HEAD 的 HTTP 或 HTTPS 调用来写入、检索、更新和删除对象或

数据。对于 CAS,使用标准 TCP 通信以及特定访问方法和调用。

ECS 为使用丰富查询语言的对象提供元数据搜索工具。S3 对象客户端可以使用任何可用的系统和自定义元数

据搜索存储区内的对象。ECS 的一项强大功能是它提供存储区配置,支持为规范元数据编制索引。在搜索可以

使用任何元数据时,通过搜索已专门配置为在存储区中编入索引的元数据,ECS 可以更快速地返回查询,特别

是对拥有数十亿个对象的存储区来说。

搜索索引可以是每个存储区最多三十个元数据字段,通过 ECS 门户、ECS 管理 REST API 或 S3 REST API

在存储区创建时进行配置。可以在启用服务器端加密 (D@RE) 的存储区上启用元数据搜索功能;但是,任何已

编入索引的用户元数据属性在用作搜索密钥时将不会被加密。

在使用已编制索引的元数据写入数据时会影响性能,并且随着索引字段数量的增加,影响会增大。在选择是否

要在存储区中将元数据编入索引时,需要认真考虑对性能的影响,如果要编入,可以维护多少个索引。

对于 CAS 对象,CAS 查询 API 提供类似功能来根据为 CAS 对象维护的元数据搜索对象,并且不需要明确

启用。

有关 ECS API 和用于元数据搜索的 API 的详细信息,请参阅最新的《ECS 数据访问指南》。对于 Atmos 和

S3 SDK,请参阅 GitHub 站点:Dell EMC 数据服务 SDK 或 Dell EMC ECS。对于 CAS,请参阅 Centera 社

区站点。还可以在 ECS 社区中访问面向开发人员的大量示例、资源和协助。

如果您有权访问 ECS 系统,则有一些现有客户端应用程序提供了一种用于对 ECS 中存储的数据进行快速测试

或访问的方法。例如,S3 浏览器和 Cyberduck。另一种选项是使用 ECS Test Drive,它使您可以访问 ECS 系

统以进行测试和开发。注册 ECS Test Drive 之后,您会收到 REST 端点,可以为每种对象协议创建和/或管理

用户凭证。通过端点可以使用客户端(如 S3 浏览器和 Cyberduck)读取和写入对象。 3.3.2 HDFS

ECS 可以存储 Hadoop 文件系统数据,这使组织可以在 ECS 上创建 Hadoop 分析可使用和处理的大数据存储

库。HDFS 数据服务与 Apache Hadoop 2.7 兼容,可支持细粒度 ACL 和扩展文件系统属性。

ECS 已与 Ambari 集成,这使您可以轻松部署 ECS HDFS 客户端 jar 文件并指定 ECS HDFS 作为 Hadoop 群

集中的默认文件系统。jar 文件安装在参与的 Hadoop 群集中的每个节点上。ECS 提供与 Hadoop 部署中的名

称和数据节点所执行的功能等效的文件系统和存储功能。ECS 无需将数据迁移到本地 Hadoop 直连存储 (DAS)

和/或创建至少三个拷贝,从而简化了使用 DAS 的 Hadoop 的工作流。下一页上的图 3 显示安装在每个

Hadoop 计算节点上的 ECS HDFS 客户端 jar 文件和一般通信流。

Page 13: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

13 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

图 3 充当 Hadoop 群集的名称和数据节点的 ECS

ECS 中针对 HDFS 添加的其他增强功能包括:

• 代理用户身份验证 — 用于 Hive、HBase 和 Oozie 的模拟。

• 安全性 — 服务器端 ACL 强制实施与 Hadoop 超级用户和超级用户组的添加,以及存储区上的默认组。

ECS 2.2 至 ECS 3.1 使用 Hortonworks (HDP 2.5.3) 进行了验证和测试。ECS 3.2 及更高版本使用

Hortonworks (HDP 2.6.2) 进行了验证和测试。ECS 还为诸如 YARN、MapReduce、Pig、Hive/Hiveserver2、

HBase、Zookeeper、Flume、Spark 和 Sqoop 这类服务提供支持。

有关详细信息,请参阅《借助 Dell EMC ECS 启用 Hadoop》白皮书。 3.3.3 NFS

ECS 包含使用 NFSv3 的本机文件支持。NFSv3 文件数据服务的主要功能包括:

• 全局命名空间 — 能够从任何站点上的任何节点访问文件。

• 全局锁定 — 能够从任何站点上的任何节点锁定文件(共享和独占锁定、基于范围的锁定和强制锁定)。

• 多协议访问 — 能够访问对象(S3、Swift 和 Atmos)和 HDFS 创建的数据。

NFSv3 通过 ECS 门户进行配置。NFS 导出、权限和用户组映射通过 API 和/或门户进行创建。此外,NFS 客

户端(如 Solaris、Linux 和 Windows)可以使用命名空间和存储区名称装载在 ECS 门户中指定的导出。例

如:mount –t nfs –o vers=3 <ip of node or DNS name>:<export path( i.e. /namespace/bucket)>。为了实现

节点故障期间的客户端透明度,建议使用负载平衡器。

Page 14: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

14 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

ECS 紧密集成了其他 NFS 服务器实施,如 lockmgr、statd、nfsd 和 mountd,因而这些服务不依赖于基础架

构层(主机操作系统)进行管理。NFSv3 支持具有以下功能:

• 对文件或目录数没有设计限制。

• 文件写入大小可以高达 4 TB。

• 能够使用单个全局命名空间/共享在最多 8 个站点间进行扩展。

• 支持 Kerberos 和 AUTH_SYS 身份验证

NFS 文件服务处理来自客户端的 NFS 请求;但是,数据存储为 ECS 中的对象。NFS 文件句柄会映射到对象

ID。由于文件从根本上说是映射到对象,因此 NFS 具有与对象数据服务类似的功能,包括:

• 存储区级别的配额管理。

• 对象级别的加密。

• 在存储区级别进行单写多读 (WORM)。

- 在新存储区配置中使用自动提交期限来实施 WORM。

> WORM 仅适用于不合规的存储区。

3.3.4 连接器和网关

一些第三方软件产品能够访问 ECS 对象存储。诸如 Panzura、Ctera 和 Syncplicity 这类独立软件供应商 (ISV)

创建一个服务层,这些服务可通过传统协议(如 SMB/CIFS、NFS 和 iSCSI)提供针对 ECS 对象存储的客户

端访问。组织还可以使用以下 Dell EMC 产品对 ECS 存储进行访问或上载数据:

• Isilon CloudPools — 从 Isilon 到 ECS 对象存储的智能数据分层。

• Data Domain 云层 — 通过 Data Domain,将经过重复数据消除的数据在本地自动分层到 ECS,以实

现长期保留。它是一种安全、经济高效的解决方案,可对云中的数据进行加密,同时减少存储占用空

间和网络带宽。

• GeoDrive — 支持从 Microsoft Windows 台式机和服务器访问 ECS 存储的免费应用程序。

3.4 存储引擎 ECS 的核心是存储引擎。此层包含负责处理请求以及存储、检索、保护和复制数据的主要组件。此部分介绍设

计原则以及在内部表示和处理数据的方式。其中还介绍了读取和写入的数据流。

Page 15: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

15 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

3.4.1 服务 ECS 存储引擎包含图 4 所示的各种服务,这些服务在基础架构和硬件组件上运行。

图 4 存储引擎服务

存储引擎的服务封装在一个 Docker 容器中并安装在每个 ECS 节点上,从而可提供分布式的共享服务。

3.4.2 数据和元数据 存储在 ECS 中的数据的详细信息可以概括如下:

• 数据 — 需要存储的实际内容(例如,图像、文档或文本)。

• 系统元数据 — 与数据相关的信息和属性。系统元数据可以分类如下:

- 标识符和描述符 — 一组在内部用于标识对象及其版本的属性。标识符是不在 ECS 软件上下文外

部使用的数字 ID 或哈希值。描述符定义诸如内容和编码的类型这类信息。

- 采用加密格式的加密密钥 — 对象加密密钥在通过 KeK(密钥加密密钥)进行加密之后包含在系统

元数据中。

- 内部标记 — 一组标记,用于跟踪是否启用了字节范围更新或加密,以及用于协调对象锁定、高速

缓存和删除。

- 位置信息 — 一组具有索引和数据位置信息(如字节偏移量)的属性。

- 时间戳 — 一组用于跟踪对象创建、修改和到期时间的属性。

- 配置/租户信息 — 对象名称、命名空间名称、分区/vdc 名称和对象的访问控制信息。

• 自定义用户元数据 — 用户定义的元数据,提供所存储的数据的进一步信息或分类。自定义元数据格式

化为随写入请求一起发送的键/值对(例如 Client=Dell EMC、Event=DellEMCWorld、ID=123)。

Page 16: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

16 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

所有类型的数据(包括系统和自定义元数据)都存储在区块 中。区块是连续空间的 128 MB 逻辑容器。每个区

块可以具有来自不同对象的数据,如图 5 所示。ECS 使用索引跟踪可能分布在不同区块和节点上的对象的所有

部分。在仅附加模式下写入区块。仅附加行为意味着应用程序要求修改或更新现有对象的请求将不会修改或删

除区块中以前写入的数据,而是将新的修改或更新写入新区块中。因此,I/O 无需锁定,并且无需让高速缓存

失效。仅附加设计还简化了数据版本控制。旧版本的数据在以前的区块中进行维护。如果启用 S3 版本控制,

并且需要较旧版本的数据,则可以使用 S3 REST API 检索数据或恢复为以前的版本。

图 5 存储三个对象的数据的区块

所有区块都经过三重镜像并存储在单独的节点中,以防止数据受到驱动器或节点故障的影响。当纯数据块填充

达到 128 MB 和/或进行密封时,数据块会进行擦除编码以提高存储效率,并跨多个节点分布以实现数据保护。

区块进行擦除编码并受到跨节点保护之后,会丢弃镜像拷贝。包含索引和元数据的区块会进行三重镜像,但不

进行擦除编码。本文档的数据完整性和保护部分中会提供三重镜像和擦除编码的更详细描述。 3.4.3 数据管理(索引和分区记录)

ECS 使用逻辑表跟踪数据和元数据区块在磁盘上的存储位置。这些表包含用于存储与对象相关的信息的键/值

对。一个哈希函数用于快速查找与键关联的值。这些键/值对最终存储在 B+ 树中,以便对数据位置进行快速索

引。通过将键/值对存储在平衡的搜索树(如 B+ 树)中,可以快速访问数据和元数据的位置。此外,为了进一

步增强这些逻辑表的查询性能,ECS 实施了一个两级日志结构合并 (LSM) 树。因此,共有两个树状结构,其中

较小的树处于内存中(内存表),而主 B+ 树驻留在磁盘上。键/值对的查找会首先在内存中进行查找。如果值

不在内存中,则会查看磁盘上的主 B+ 树。这些逻辑表中的条目首先记录在日志记录中,这些记录以区块形式写

入到磁盘并三重镜像。日志会跟踪尚未提交到 B+ 树的索引事务。事务记录到日志中之后,内存表会进行更新。

一旦内存中的表已满或在一段时间之后,表会进行合并排序或转储到磁盘上的 B+ 树。图 6 展示了此过程。

Page 17: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

17 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

图 6 转储到 B+ 树的内存表

逻辑表的一个示例是对象表(表 2),其中包含对象的名称,以及在该区块中特定偏移量和长度处的区块位

置。在此表中,对象名称是索引的键,值是区块位置。存储引擎中的索引层负责对象名称到区块的映射。

表 2 对象表

对象名称 区块位置

ImgA • C1:偏移量:长度

FileB • C2:偏移量:长度 • C3:偏移量:长度

另一个称为区块表的表记录区块驻留的节点。为实现数据完整性,区块会三重镜像到不同节点上的不同磁盘,

此表会跟踪区块位置的驻留位置。此表会跟踪区块驻留的节点、节点中的磁盘、磁盘中的文件、该文件中的偏

移量以及数据的长度,如图 3 所示。

表 3 区块表

区块 ID 位置

C1 • 节点 1:磁盘 1:文件 1:偏移量 1:长度 • 节点 2:磁盘 2:文件 1:偏移量 2:长度 • 节点 3:磁盘 2:文件 6:偏移量:长度

Page 18: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

18 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

如前所述,ECS 旨在用作分布式系统,以便可跨节点分布数据的存储和访问。由于这些表可能会变得非常大,

因此这些逻辑表划分为分区并分配给不同节点。每个节点都成为该表正在处理的所有分区的所有者。要获得区

块的位置,需要从分区所有者检索信息。分区记录表如下面的表 4 所示。

表 4 分区记录表

分区 ID 所有者

P1 节点 1

P2 节点 2

P3 节点 3

如果一个节点发生故障,则其他节点会获得其分区的所有权。重新创建分区的方法是使用存储在磁盘上的 B+

树根,并重放也存储在磁盘上的日志。如前所述,B+ 树和日志存储在区块中(正如数据一样),并会进行三重

镜像。图 7 显示分区所有权的故障切换。

图 7 分区所有权的故障切换

Page 19: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

19 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

3.4.4 数据流 数据可以由任何 ECS 节点进行访问并写入 ECS 中的三个不同节点(三重镜像),以实现数据保护和弹性。在

将数据写入磁盘之前,ECS 会运行校验和功能并存储结果;随后会评估数据是否可进行压缩。如果数据的前几

个字节可压缩,ECS 将压缩数据。读取时,会对数据解压缩并验证校验和。下面介绍读取和写入的数据流。

如下面图 8 所示,写入的数据流如下所示:

1. 从客户端请求一个创建对象并将它定向到一个将处理请求的节点(在此例中是节点 1)。

2. 数据会写入新区块或附加到现有区块,然后并行地三重镜像到三个不同节点(在此例中由节点 1 启动)。

3. 一旦确认写入了三个拷贝,便会使用名称和区块位置更新分区所有者的逻辑表(索引)。

4. 索引的分区所有者(在此例中是节点 3)会将此写入事务记录到日志记录中,而这些日志记录也会写入

磁盘上的区块,同时并行地三重镜像到三个不同节点(由节点 3 启动)。

5. 一旦在日志记录中记录了事务,便会将确认发送到客户端。

在后台进程中,日志条目会进行处理,作为区块保持到磁盘上的 B+ 树中并进行三重镜像。

图 8 写入数据流

Page 20: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

20 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

如下面的图 9 所示,读取的数据流包括:

1. 收到一个对象读取请求并将它定向到任何可用节点进行处理。在此例中是节点 1。

2. 如本文上面的数据管理部分所述,存在包含对象位置有关信息的逻辑表(键/值对),如对象表和区块

表。这些表会进行分区并在节点间分发以进行拥有和管理。在此例中,对象请求由节点 1 进行处理。

Node 1 会通过对象名称 ID 使用哈希函数来确定哪个节点是此对象信息所驻留的逻辑表的分区所有

者。在此示例中,Node 2 是所有者,因而 Node 2 会在逻辑表进行查找以获得区块的位置。在某些情

况下,查找可以在两个不同节点上进行,例如当位置未在节点 2 的逻辑表中进行高速缓存时。

3. 通过上一个步骤,可将区块位置提供给节点 1,该节点随后会向存放数据(在此示例中是节点 3)并会

将数据发送给节点 1 的节点发出字节偏移读取请求。

4. 节点 1 会将数据发送给请求客户端。

图 9 读取数据流 3.4.5 盒式传输

ECS 具有一个独有的固有功能,名为盒式传输,可帮助提高较小数据写入的性能。盒式传输可聚合在内存中排

队的多个小型数据对象,然后在单个磁盘操作中写入它们(一次最多 2 MB 的数据)。这通过减少处理单个存

储写入的往返次数来提高性能。

至于大型对象的写入,ECS 中的所有节点可以同时为相同对象处理写入请求,并写入不同的磁盘组,从而利用

ECS 群集中的所有磁盘轴。因此,ECS 可以高效地接收和存储小型和大型对象。

Page 21: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

21 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

3.4.6 空间回收 ECS 以仅附加的方式将数据写入区块。这意味着先将原始写入的数据保存到位,然后再创建全新区块段(可能

包含也可能不包含在原始对象的区块容器中)来添加或更新数据。仅附加数据修改的好处是这是一种主动/主动

数据访问模式,不受传统文件系统的文件锁定问题的影响。在这种情况下,当更新或删除对象时,区块中将会

有不再引用或需要的数据块。ECS 系统通过两种垃圾收集方法来回收已丢弃完整区块中的空间,或者回收包含

不再被引用的已删除和未删除对象的混合片段的区块。

• 正常垃圾收集 — 当整个区块都是垃圾时,回收空间。

• 通过合并进行的部分垃圾收集 — 当区块的 2/3 是垃圾时,通过将区块的有效部分与其他部分填充的区

块合并为新区块来回收区块,从而回收空间。

通过利用部分区块回收过程,ECS 可提供更好的总体空间利用率。在所有当前 ECS 版本中,默认启用正常垃

圾收集和通过合并进行的部分垃圾收集。

垃圾收集也已应用于 ECS CAS 数据服务访问 API 来清理孤立的 Blob。孤立 Blob 是存储在 ECS 上的 CAS 数

据中标识的未引用 Blob,可通过正常的垃圾收集方法进行空间回收。

3.5 Fabric 结构层提供群集、系统运行状况、软件管理、配置管理、升级功能和警报。它负责使服务保持运行并管理资源

(如磁盘、容器、防火墙和网络)。它会跟踪和应对环境变化(如故障检测),并提供与系统运行状况相关的

警报。结构层具有用于管理整体系统的以下组件:

• 节点代理 — 管理主机资源(磁盘、网络、容器等)和系统进程。

• 生命周期管理器 — 应用程序生命周期管理,涉及启动服务、恢复、通知和故障检测。

• 持久性管理器 — 协调和同步 ECS 分布式环境。

• 注册表 — 存储 ECS 需要的所有 Docker 映像。

• 事件库 — 存放系统上发生的事件集。

• 硬件管理器 — 向更高级别服务提供硬件层的状态、事件信息和调配。这些服务已集成到 Fabric

Agent,以支持行业标准硬件。 3.5.1 节点代理

节点代理是采用 Java 编写的轻量级代理,会在每个 ECS 节点上以本机方式运行。其主要职责包括管理和控制

主机资源(Docker 容器、磁盘、防火墙和网络)以及监视系统进程。管理的示例包括格式化和装载磁盘、打开

所需端口、确保所有进程都在运行以及确定公共和专用网络接口。它具有事件流,可向生命周期管理器提供有

序事件以指示系统上发生的事件。通过结构 CLI 可以诊断问题并查看整体系统状态。

Page 22: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

22 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

3.5.2 生命周期管理器 生命周期管理器在三或五个节点的子集上运行,并管理在节点上运行的应用程序的生命周期。每个生命周期管

理器都负责跟踪多个节点。其主要目标是管理从启动到部署的整个 ECS 应用程序生命周期,包括故障检测、

恢复、通知和迁移。它会查看节点代理流并驱动代理处理相应情况。当节点关闭时,它会通过将系统恢复为已

知的良好状态,来响应节点的故障或状态不一致。如果某个生命周期管理器实例关闭,则另一个实例会替代它

(如果可用)。 3.5.3 注册表

注册表包含在安装、升级和节点更换过程中使用的 ECS Docker 映像。一个名为 fabric-registry 的 Docker 容器

在 ECS 机架中的一个节点上运行,存放安装和升级所需的 ECS Docker 映像和信息的存储库。虽然注册表一

次仅在一个节点上可用,不过所有 Docker 映像都会在所有节点上进行本地高速缓存。 3.5.4 事件库

事件库在结构层中用于公开生命周期和节点代理事件流。系统生成的事件会保持到共享内存和磁盘上,以提供

有关 ECS 系统的状态和运行状况的历史信息。这些有序事件流可以用于通过重放存储的有序事件将系统恢复

到特定状态。事件的一些示例包括节点事件(如启动、停止或降级)。 3.5.5 硬件管理器

硬件管理器 HWMgr 已集成到 Fabric Agent 中以支持行业标准硬件。其主要用途是向 ECS 中的更高级别服务

提供硬件特定状态和事件信息以及硬件层的调配。

3.6 基础架构 每个 ECS 节点都运行特定操作系统。ECS 一体机目前运行 SLES 12,后者充当 ECS 基础架构。对于在自定

义行业标准硬件上部署的 ECS 软件,操作系统可以是 RedHat Enterprise Linux 或 CoreOS。自定义部署通过

正式请求和验证过程进行。Docker 也安装在基础架构上以部署前面各部分介绍的封装 ECS 层。ECS 软件采用

Java 编写,因此 Java 虚拟机会作为基础架构的一部分进行安装。

Page 23: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

23 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

3.6.1 Docker ECS 作为 Java 应用程序在操作系统上运行,并封装在几个 Docker 容器中。这些容器彼此隔离,但会共享底

层操作系统资源和硬件。ECS 软件的某些部分在所有节点上运行,另一些部分在一个或一些节点上运行。在

Docker 容器中运行的组件包括:

• object-main — 包含与数据服务、存储引擎、门户和调配服务相关的资源和进程。在 ECS 中的每个节

点上运行。

• fabric-lifecycle — 包含系统级别监视、配置管理和运行状况管理所需的进程、信息和资源。根据系统

中的节点数,会有奇数个 fabric-lifecycle 实例运行。例如,在四节点系统上有三个实例运行,对于八节

点系统则是五个实例。

• fabric-zookeeper — 用于协调和同步分布式进程、配置信息、组和命名服务的集中式服务。它被称为

持久性管理器,在奇数个节点上运行,例如,对于八节点系统是五个。

• fabric-registry — ECS Docker 映像的注册表。对于每个 ECS 机架,只有一个实例运行。

有其他进程和工具在 Docker 容器外部运行,即结构节点代理和硬件抽象层工具。下面的图 10 提供如何才能在

八节点部署上运行 ECS 容器的示例。

图 10 八节点部署上的 Docker 容器和代理示例

Page 24: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

24 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

图 11 显示 ECS 系统的一个节点中的 object-main 容器视图。列表提供了一些在 Docker 容器中运行的服务。

图 11 object-main 容器中的进程、资源、工具和二进制文件 3.6.2 文件系统布局

每个 ECS 节点直接连接到一组商用磁盘。每个磁盘都会作为 XFS 文件系统进行格式化和装载,具有唯一标识

符 (UUID)。数据存储在区块中,而区块存储在文件系统中的文件中。每个磁盘分区或文件系统都使用大小为

10 GB 的文件进行填充。这些文件在安装过程中进行创建,以便为文件分配连续数据块。每个磁盘中的文件数

取决于磁盘大小。例如,1 TB 磁盘会有 100 个 10 GB 文件。磁盘中文件的名称是 0000、0001、0002 等。扩

展文件系统容量屏幕截图

图 12 装载的 XFS 和用于存储区块的 10 GB 文件

Page 25: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

25 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

4 ECS 一体机硬件 ECS 是 Dell EMC 存储部门内部开发工作的成果。CPU 之上的一切均由戴尔和 Dell EMC 内的相应团队构建,其中包括:

• 标准戴尔服务器和固件。

• 标准戴尔交换机和固件。

• 在全包式 Dell EMC 一体机或社区硬件上运行的 ECS 软件。

进入点的设计十分灵活,使 ECS 能够快速扩展到 PB 和 EB 级数据。只需在环境中添加节点和磁盘,便可以在容量和性能方面线性扩展 ECS 解决方案,同时更大程度降低业务影响。

4.1 ECS EX 系列 ECS 当前提供了两个节点产品组合,命名为 EX 系列:EX300 和 EX3000。

EX300 具有 ECS 群集的 60 TB 低起始容量,这使其成为了云原生应用程序的理想存储平台,并为客户数字转型计划提供支持。EX300 也是现代化 Centera 部署的理想平台。最重要的是,EX300 可以经济高效地扩展到更大的容量。

EX3000 的每个机架最多封装 8.6 PB 容量,可跨多个站点扩展至 EB 级别,提供了一个深度可扩展的数据中心解决方案,非常适合具有较大数据占用空间的工作负载。EX3000 节点可采用两种不同的配置,称为 EX3000S 和 EX3000D。EX3000S 是单节点机箱,而 EX3000D 是双节点机箱。

EX 系列提供灵活的起始容量选项,客户只需使用所需的容量便可开始 ECS 部署,并可根据需要在未来进行轻松扩展。有关 EX 系列一体机的完整详细信息,请参阅 ECS 一体机规格表。该规格表还详细介绍了以前的第二代 U 系列和 D 系列一体机。

4.2 EX300 节点 EX300 系列一体机提供了一个 60 TB 原始存储的市场进入点:从最少 5 个 EX300 节点开始,每个节点有 12 个 1 TB 硬盘驱动器 (HDD)。您可以扩展 ECS EX300 存储组:每个机架一次最少扩展 1 个节点,总计可达 16 个节点。由于每个节点都能提供相同的性能特征,因此这个体系结构可提供线性可扩展性。

节点采用标准 2U 设计,带有 12 个前端可访问的热插拔硬盘托架。EX300 节点必须统一填充大小为 1 TB、2 TB、4 TB 或 8 TB 的驱动器。混用大小不一的驱动器的节点不受支持,具有部分填充的硬盘的 EX300 节点也不受支持。每个 EX300 必须有 12 个硬盘。

图 13-15 显示了 EX300 的前视图、后视图和内部视图。

图 13 EX300 节点前视图

Page 26: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

26 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

图 14 EX300 节点后视图

图 15 EX300 节点内部视图

不支持对 EX 系列节点执行部署后升级。其中包括:

• 更换 CPU

• 调整内存容量

• 升级硬盘大小

Page 27: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

27 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

4.2.1 EX300 机架高度示例 下面的 ECS 机架单元高度示例适用于 EX300 级别节点的所有配置。ECS 节点最初安装在机架底部,以允许在

机架内向上增长。所示的三个高度仅是可能的部署选项的示例。同样可以采用其他配置,例如节点计数为七个

或更多的初始存储组。图 16-17 显示了 EX300 机架高度示例。

图 16 EX300 全机架高度示例

Page 28: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

28 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

图 17 EX300 节点的机架填充选项

4.2.2 EX300 升级扩展选项

标准 EX300 部署可以通过多种方式从至少 5 个必需节点进行扩展。此外,ECS 的初始部署可以从 1 TB、

2 TB、3 TB 或 4 TB 硬盘驱动器的存储组开始。下面的表 5 显示 ECS 部署的四个主要起始点以及每个机架的

最低原始容量 (TB) 和最高原始容量 (TB) 配置。

表 5 EX300 最低和最高配置

EX300 12TB EX300 24TB EX300 48TB EX300 96TB

CPU 单处理器八核

每个节点的内存 64 GB

每个节点的磁盘数量 12 个 1 TB 12 个 2 TB 12 个 4 TB 12 个 8 TB

机架容量最小值 60 TB 120 TB 240 TB 480 TB

机架容量最大值 216 TB 432 TB 864 TB 1,728 TB

Page 29: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

29 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

只要新节点与初始存储组的硬盘大小相匹配,就可以通过添加单个节点、节点组或完整机架来扩展 ECS 使其

超过初始容量。如果客户想要添加具有不同硬盘大小的节点,则必须按组(包含至少 4 个节点)添加不同硬盘

结构的节点。如前所述,扩展可能会包括部分机架。

可以添加具有不同驱动器大小的 EX300 节点来扩展原始存储池(只要它们是按一次 4 个节点的组添加的)。

例如,可以将一组 4 个 EX300(具有 4 TB HDD)添加到由 1 TB HDD 存储池组成的 VDC 中。可以一次添加

一个节点到具有相同磁盘驱动器结构的存储池/VDC 中。例如,由 2 TB HDD 节点组成的 7 节点存储池可以有

一个其中添加了 2 TB HDD 的额外节点。有 16 个节点的 EX300 机架被视为完整机架。超出单个机架的持续扩

展不要求完整的机架机架扩展。支持部分机架扩展。

4.3 EX3000S 和 EX3000D 节点 EX3000 系列一体机旨在满足较大规模的归档和深度存储市场的要求。EX3000 节点有两种形式,称为

EX3000S 和 EX3000D。从至少 5 个 EX3000S 节点开始,提供 2700 TB 原始存储的进入点。或者使用另一个

选项,从至少 6 个 EX3000D 节点开始,原始存储为 2160 TB。

由于 EX3000 的占用空间较深,因此可以采用独特的中间背板,可容纳走线至 90 个硬盘插槽的单服务器刀片

(EX3000S),或每个刀片都走线至 45 个硬盘插槽的双服务器刀片 (EX3000D)。EX3000S 和 EX3000D 节点都

必须统一填充 12TB 硬盘。实质上,EX3000S 为客户在 4U 占用空间内提供了一个具有 90 个硬盘的单服务器

刀片,而 EX3000D 在相同的 4U 占用空间内提供每个刀片有 45 个驱动器的双服务器刀片。硬盘被指定为可热

插拔。

与较小的 EX300 节点不同,EX3000S 节点可能有 45、60 或 90 个硬盘,而 EX3000D 节点的每个节点可能有

30 或 45 个硬盘。务必要记住的是,机架中的所有节点必须始终具有相同的硬盘配置。图 18-20 显示了

EX3000 节点的前视图、后视图和内部视图。

图 18 EX3000D 前视图

Page 30: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

30 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

图 19 EX3000D 后视图(*EX3000S 有一个刀片和一个填充刀片)

图 20 EX3000S/D 内部视图

有关 ECS EX3000S/D 节点的更多说明如下:

• 节点不能从单刀片转换为双刀片,也不能从双刀片转换为单刀片

• 与 EX300 节点一样,不支持对节点执行部署后更新。具体包括:

- 更换 CPU

- 调整内存容量

- 升级硬盘大小

Page 31: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

31 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

4.3.1 EX3000S/D 机架高度示例 图 21-23 显示了 EX3000S 和 EX3000D 机架高度示例。

图 21 全机架 EX3000S/D 的高度

Page 32: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

32 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

下面的 ECS 机架单元高度示例适用于 EX3000S/D 类节点的所有配置。

图 22 使用 EX3000S 节点填充的机架示例

图 23 使用 EX3000D 节点填充的机架示例

Page 33: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

33 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

4.3.2 EX3000S/D 升级扩展选项 标准 EX3000 部署的机架中最多可以有 8 个服务器机箱(节点)。如之前部分中所述,EX3000 机箱提供单节点和双节点配置,称为 EX3000S 和 EX3000D。不能在同一机架中混用单节点机箱和双节点机箱,机架中的所有节点都必须采用类似的配置。EX3000S 机架必须有至少 5 个节点。EX3000D 机架必须有至少 6 个节点。

下面的表 6 显示使用 EX3000 节点的 ECS 部署的两个主要起始点,以及每个机架的最低原始容量 (TB) 和最高

原始容量 (TB) 配置。

表 6 EX3000S/D 的最低和最高原始机架存储对比

EX3000S EX3000D

CPU 双处理器八核

每个节点的内存 64 GB

每个节点的磁盘数量 45、60 或 90 个 12 TB 30 或 45 个 12 TB

机架容量最小值 2,700 TB 8,640 TB

机架容量最大值 8,640 TB

通过对 EX3000S 和 EX3000D 分别实施单节点和双节点增量扩展,可以对初始 EX3000S/D 进行完整机架或部分机架扩展。在每种情况下,新节点都必须与现有的驱动器配置匹配。例如,如果系统包含每个节点有 30 个驱动器的 EX3000D 节点,则只能添加每个节点有 30 个驱动器的 EX3000D 节点。

可以通过添加硬盘来单独升级节点。下面的 15 驱动器升级方法受支持:

• 将 EX3000S-45 转换为 EX3000S-60 • 将 EX3000S-60 转换为 EX3000S-90 • 将 EX3000D-30 转换为 EX3000S-45

只要新节点与初始存储组的硬盘大小相匹配,就可以通过添加单个节点、节点组或完整机架来扩展 ECS 使其

超过初始容量。如前所述,扩展可能会包括部分机架。

4.4 网络 从发布 EX 系列一体机开始,使用了一对冗余的专用 10/25 GbE 管理交换机,并且客户可以选择使用一对冗余的专用 10/25 GbE 前端交换机或其自己的 10 GbE 网络基础架构。其目标是在应用程序/用户流量与管理/系统

相关的网络流量方面提供更好的总体吞吐量和更好的网络流量隔离。

从软件实施的角度来看,并非所有这些新功能都完全可用,而是要在准备这些新功能时实施新的交换硬件。通过使用新的一体机交换机设备,ECS 现在可以采用配置的前端和后端切换模式。在 ECS 的未来版本中,将通过后端交换机来定向节点到节点流量。此外,此功能在 ECS 3.3 或更低版本中尚不可用,但它是定义硬件级别以支持未来发展方向所不可或缺的。

Page 34: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

34 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

4.4.1 25GbE 交换机:前端架顶式 (TOR) 交换机 可以选购两台 Dell EMC Networking S5148F 25GbE 1U 以太网交换机用于网络连接,或者客户可以为前端连

接提供自己的 25GbE 高可用性对。前端交换机通常称为 hare 和 rabbit。这些交换机提供 48 个 25GbE SFP28

端口和 6 个 100GbE QSFP28 端口。这两种类型的详细信息如下:

• SFP28 是 SFP+ 的增强版

- SFP+ 最高支持 16Gb/s 的网速,而 SFP28 最高支持 28Gb/s 的网速

- 同样的外形尺寸

- 向后兼容 SFP+ 模块

• QSFP28 是 QSFP+ 的增强版

- QSFP+ 最多支持 4 个 16 Gb/s 通道,而 QSFP28 最多支持 4 个 28Gb/s 通道

> QSFP+ 聚合通道可获得 40 Gb/s 以太网

> QSFP28 聚合通道可获得 100 Gb/s 以太网

- 同样的外形尺寸

- 向后兼容 QSFP+ 模块

- 可以分成四个单独的 SFP28 通道

注意:提供自己的前端交换机的组织必须提供 LAG 线缆、SFP 或外部连接线缆。如果使用 Dell EMC

Networking S5148F 25GbE 前端交换机,则我们会提供用于连接到 EX 系列节点的 25GbE 端口和 2 根

100GbE LAG 线缆。

图 24 前端网络交换机端口标示和用途

上面的图 24 直观显示了应该如何使用端口来启用 ECS 节点流量以及客户的上行链路端口。这在所有实施中都

是标准做法。

Page 35: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

35 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

图 25 显示了 Dell EMC 专门构建的 25GbE TOR 交换机(用于后端连接的相同交换机型号)的图片,后跟交换

机详细信息。

图 25 Dell EMC 专门构建的 25GbE 1RU TOR 交换机

• S5148F-ON:48 个 25GbE SFP28 端口和 6 个 100GbE QSFP28 端口 • 线速性能 • 与当前一代相比,带宽增加,延迟降低 • 启用了 DCB,支持 VLT,具有 L2/L3 功能集 • 完整的 OS10 功能集,包括可编程性、自动化和虚拟化功能 • Cavium XP70 芯片组 • 数据平面可编程性 • 硬件支持 1588v2 • TOR 适用于使用 10G 或 25G 适配器的服务器

4.4.2 25GbE 交换机:后端网络

每个 ECS 机架中都包括两个必需的 Dell EMC S5148F 25GbE 1U 以太网交换机,每个含 48 个 25GbE SFP 端口和 6 个 100GbE 上行链路端口。它们通常被称为 fox 和 hound 交换机,负责网络管理。在未来的 ECS 版本中,后端交换机还将为复制流量提供网络分离。此功能还不可用。后端网络的主要用途是用于远程管理和控

制台、安装管理器(PXE 启动)并实现机架管理以及群集范围管理和调配。图 26 显示两个 Dell 25GbE 管理

交换机的前视图。

图 26 后端网络交换机端口标示和用途

上图直观显示了应该如何使用端口来启用 ECS 管理流量和诊断端口。这在所有实施中都是标准做法。未来可

能使用的端口以紫色标注;但是,这种使用情况可能会在将来发生变化。

Page 36: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

36 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

5 网络分离 ECS 支持分离不同类型的网络流量以实现安全性和性能隔离。可以分离的流量的类型包括:

• 管理

• 异地复制

• 数据

有一个名为网络分离模式 的新操作模式。每个节点都可以在操作系统级别使用最多三个 IP 地址或逻辑网络对每

种不同类型的流量进行配置。此功能旨在用于灵活地创建三个单独的逻辑网络来用于管理、复制和数据,或将它

们合并以创建两个逻辑网络(例如,管理和复制流量处于一个逻辑网络中,数据流量处于另一个逻辑网络中)。

可以为仅 CAS 流量配置第二个逻辑数据网络,从而将 CAS 流量与其他类型的数据流量(如 S3)分离。

ECS 网络分离实施需要每个逻辑网络流量与服务和端口相关联。例如,ECS 门户服务通过端口 80 或 443 进

行通信,因此这些特定端口和服务将绑定到管理逻辑网络。可以配置第二个数据网络;但它仅用于 CAS 流

量。下面的表 7 重点介绍固定到某类逻辑网络的服务。有关与端口关联的服务的完整列表,请参阅最新的

《ECS 安全配置指南》。

表 7 与逻辑网络关联的服务

服务 逻辑网络

ECS 门户、调配、计量和管理 API、SSH、

DNS、NTP、AD 和 SMTP

管理网络 (public.mgmt)

跨 NFS、对象和 HDFS 的数据 数据网络 (public.data) 仅限 CAS 的数据网络 (public.data2)

复制数据和 XOR 复制网络 (public.repl)

SRS(Dell EMC 安全远程服务) 基于 SRS 网关连接的网络(public.data 或 public.mgmt)

网络分离通过使用不同 IP 地址的逻辑网络、使用不同 VLAN 的虚拟网络或使用不同线缆的物理网络来实现。

setrackinfo 命令用于配置 IP 地址和 VLAN。交换机级别或客户端 VLAN 配置由客户负责。对于物理网络分离,

客户需要通过联系 Dell EMC 全球业务服务来提交产品认证请求 (RPQ)。有关网络分离的详细信息,请参阅白皮

书《ECS Networking and Best Practices》(ECS 网络和最佳实践),其中提供了网络分离的简要视图。

Page 37: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

37 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

6 安全性 在管理、传输和数据级别实施 ECS 安全性。用户和管理身份验证通过 Active Directory、LDAP 方法、

Keystone 或者在 ECS 门户中实现。数据级别安全性通过 HTTPS(用于动态数据)和/或服务器端加密(用于

静态数据)来实现。

6.1 身份验证 ECS 支持 Active Directory、LDAP 和 Keystone 身份验证方法,以提供访问权限来管理和配置 ECS;但是存

在一些限制,如表 8 所示。有关安全性的详细信息,请参见最新的《ECS 安全配置指南》。

表 8 身份验证方法

身份验证方法 支持

Active Directory • 支持将 AD 组用于管理用户 • 支持用于对象用户(通过 API 实现自助服务密钥) • 支持多域。

LDAP • 不支持将 LDAP 组用于管理用户 • 支持将 LDAP 用于对象用户(通过 API 实现自助服务密钥) • 支持多域。

Keystone • 尚不支持 RBAC 策略。 • 不支持未划定范围的令牌 • 不支持每个 ECS 系统多台 Keystone 服务器

6.2 数据服务身份验证 使用 RESTful API 的对象访问通过 HTTPS (TLS 1.2) 进行保护。所有传入请求都使用定义的方法(如基于哈希

的消息身份验证代码 (HMAC)、Kerberos 或令牌身份验证方法)进行身份验证。下面的表 9 提供用于每种协议

的不同方法。

表 9 数据服务身份验证

协议 身份验证方法

对象 S3 V2 (HMAC-SHA1)、V4 (HMAC-SHA256)

Swift 令牌 — Keystone v2 和 v3(限定范围、UUID、PKI 令牌)、SWAuth v1

Atmos HMAC-SHA1

CAS 安全密钥 PEA 文件

文件 HDFS Kerberos

NFS Kerberos、AUTH_SYS

Page 38: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

38 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

6.3 静态数据加密 (D@RE) D@RE 保护写入到磁盘的客户数据。可以在命名空间、存储区和/或对象级别启用 ECS 数据加密和用户定义的

元数据。ECS D@RE 的关键特性包括:

• 本机低接触式静态加密 — 通过 ECS 门户轻松实现

• 外部密钥管理 (EKM) VDC 级别支持(从 ECS 3.3 开始)

• 通过本机和外部密钥管理进行密钥轮换(从 ECS 3.3 开始)

• S3 加密语义支持 — 例如 x-amz-server-side-encryption

收到对象读取或写入请求时,处理请求的节点会遍历密钥层次结构以加密或解密对象。确定所有节点共有的可

用主编号。借助外部密钥管理配置,EKM 可提供主密钥。

在异地复制环境中,当新的 ECS 系统加入现有系统时(称之为联盟),将使用现有系统的公私密钥提取主密

钥,并使用加入联盟的新系统所生成的新公私密钥对进行加密。从此时起,该主密钥是联盟中两个系统的全局

已知密钥。使用外部密钥管理时,所有联合系统都将从 EKM 检索主密钥。 6.3.1 密钥轮换

ECS 支持更改密钥,以便使用新密钥保护传入数据。可以定期执行此操作,以限制一组 KEK 保护的数据量,

或者应对潜在的漏洞或危害。结合使用新轮换 KEK 记录和其他父密钥,以创建用于 DEK 和命名空间 KEK 的

虚拟包装密钥。

如果正在使用 EKM,则通过 EKM 生成并维护轮换密钥。否则 ECS 将在内部生成轮换密钥,通过轮换主密钥

进行保护。

ECS 使用轮换密钥来创建虚拟包装密钥,无论是在本机还是在外部执行密钥管理,都会为所有 DEK 或 KEK 提

供保护。

在写入过程中,ECS 使用通过使用存储区和活动轮换密钥创建的虚拟包装密钥来包装随机生成的 DEK。

在密钥轮换过程中,ECS 会使用从新轮换密钥、关联密码上下文和活动主密钥中创建的新虚拟主 KEK 重新包

装所有的命名空间 KEK 记录。这样做是为了保护对受以前的轮换密钥保护的数据的访问。

外部密钥管理会影响加密对象的读/写路径。密钥轮换通过对 DEK 和命名空间 KEK 使用虚拟包装密钥来提供额

外的数据保护。虚拟包装密钥是不持久的,从持久密钥的两个独立层次结构派生而来。在使用 EKM 的情况

下,轮换密钥不会存储在 ECS 中,从而进一步提高了数据安全性。我们主要添加新的 KEK 记录并更新活动

ID,但不会删除任何项。

Page 39: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

39 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

请参阅最新版本的《ECS 安全配置指南》,了解有关 D@RE、外部密钥管理和密钥轮换的更多信息。

关于 ECS 上的密钥轮换,需要注意的其他几项包括:

• 轮换密钥的过程仅更改当前的轮换密钥。现有的主密钥、命名空间和存储区密钥在密钥轮换过程中没

有变化。

• 不支持命名空间或存储区级别密钥轮换,但是,轮换范围是群集级别的,因此所有新的系统加密对象

将会受到影响。由于轮换密钥,不会对现有数据进行重新加密。

• ECS 不支持在 TSO 期间轮换密钥。如果在密钥轮换期间发生 TSO,则密钥轮换任务将暂停,直至系

统从 TSO 恢复。

• ECS 不支持在 PSO 进行过程中轮换密钥。在启用密钥轮换之前,ECS 必须从 PSO 中恢复。如果在

轮换过程中发生了 PSO,轮换将立即失败。

Page 40: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

40 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

7 数据完整性和保护 ECS 混合使用数据、元数据和索引的三重镜像以及数据的擦除编码,以增强数据保护并减少存储开销。为实现

数据完整性,ECS 利用了校验和。

7.1 三重镜像 与对象相关的所有类型的信息(如数据、元数据和索引(B+ 树和日志记录)都写入区块。在接收时,区块会三

重镜像到 ECS 系统中的三个不同节点,如图 27 所示。三重镜像可以在节点或磁盘出现故障的情况下保护数

据。对于数据区块,一个三重镜像拷贝会进行擦除编码以提高性能。如有擦除编码,则意味着一个拷贝以分散在

不同节点和磁盘中的片段形式写入。这样就不需要在密封区块并计算奇偶校验后重新分发数据,从而优化性能。

图 27 区块的三重镜像

7.2 擦除编码 与传统保护方案相比,擦除编码可采用高效存储的方式针对磁盘或节点故障提供增强的数据保护。ECS 存储引

擎使用两种方案实施 Reed Solomon 纠错:

• 12+4(默认值)— 区块分为 12 个数据片段和 4 个编码(奇偶校验)片段。

• 10+2(冷归档)— 区块分为 10 个数据片段和 2 个编码(奇偶校验)片段。

使用 12+4 的默认方案时,产生的 16 个片段分布在本地站点上的各个节点上。每个区块的数据和编码片段在群

集中的节点间均匀分布。例如,对于 8 个节点,每个节点具有 2 个片段(总共 16 个)。存储引擎可以通过

16 个片段中的任何 12 个片段重新构建区块。

ECS 中的所有数据都会进行擦除编码,不过索引和系统元数据除外。索引提供对象和区块的位置,会经常进行

访问;因此,它始终保留在进行了三重镜像的区块中以提供保护。

ECS 需要将至少六个节点用于冷归档选项(其中使用 10+2 方案而不是 12+4)。当节点数量降至低于 EC 方

案的最低要求时,擦除编码停止。当区块已满 (128 MB) 或者在设定的时间段之后,系统将其密封,计算其奇

偶校验,并将编码片段写入不同存储节点上的各个磁盘中。擦除编码会作为后台进程执行。擦除编码完成之

后,丢弃镜像拷贝,并保留单个经过擦除编码的拷贝。在进行了擦除编码的拷贝中,原始区块数据作为单个拷

贝保留,其中包含分散在整个群集中的 16 个数据片段(12 个数据片段,4 个代码片段)。对于小型对象,

Page 41: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

41 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

ECS 不需要读取数据的所有片段。它可以从包含它的数据片段直接读取对象。当发生故障时,ECS 只使用代

码片段进行区块重新构建。对于大小大于 128 MB 的对象,擦除编码以内联方式进行,进行了擦除编码的数据

会直接写入磁盘。这样做是为了增强性能并降低磁盘使用率。

当其他节点添加到配置中以升级容量时,ECS 会在后台重新分布进行了擦除编码的区块。此任务对系统性能产

生的影响极小;但是,节点间流量会在重新平衡期间增加。还会将逻辑表平衡添加到新节点上。新创建的日志

和 B+ 树区块在旧节点和新节点上均匀分配。重新分布利用基础架构中的资源来增强本地保护。

将新磁盘添加到现有节点不会触发数据重新平衡。建议不要等到存储平台完全满之后再添加驱动器或节点。考

虑到每日接收速率和添加的驱动器/节点的预期顺序、交付和集成时间,合理的存储利用率阈值为 70%。

7.3 校验和 ECS 存储已写入的数据校验和,以确保数据完整性。校验和按每个写入单元进行计算,最大 2 MB。因此,对

于大型对象写入,校验和可以对一个对象片段进行,而对于小于 2 MB 的小型对象写入,校验和基于每个对象

进行。在写入期间,校验和在内存中进行计算,随后写入磁盘。在读取时,数据随校验和一并读取,随后通过

读取的数据在内存中计算校验和,再与磁盘中存储的校验和进行比较以确定数据完整性。存储引擎会在后台运

行一致性检查器,对整个数据集进行校验和验证。

7.4 法规遵从性 为了数据存储满足公司和行业法规遵从性要求(SEC 规则 17a-4(f)),ECS 实施了以下组件:

• 平台加固 — 解决了 ECS 中的安全漏洞,如禁用节点或群集访问的平台锁定、关闭所有非必要端口

(例如 ftpd、sshd)、用于 sudo 命令的完整审核日志记录以及支持 SRS(Dell EMC 安全远程服务)

关闭对节点进行的所有远程访问。

• 法规遵从性报告 — 报告系统的法规遵从性状态(如指示满足法规遵从性的好 或指示违反法规遵从性的

坏)的系统代理。

• 基于策略的记录保留和规则 — 使用保留策略、时间段和规则限制更改处于保留期内的记录或数据的

能力。

• 高级保留管理 (ARM) — 为了满足 Centera 法规遵从性要求,只为 CAS 定义了其他保留规则。

• 基于事件的保留 — 使应用程序可以指定在指定事件发生时开始的保留期。

• 诉讼保留 — 使应用程序可以暂时阻止删除受到调查或法律诉讼的对象。

• 最小/最大调控器 — 使系统管理员可以基于每个存储区为默认保留期指定最小值和最大值。

法规遵从性在命名空间级别启用,而保留期在存储区级别启用。由于法规遵从性要求认证了平台,因此法规遵

从性功能只能用于 ECS 一体机。有关在 ECS 中启用和配置法规遵从性的信息,请参阅当前的《ECS 数据访

问指南》和最新的《ECS 系统管理员指南》。

Page 42: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

42 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

8 部署 ECS 可以作为单个站点或在多站点配置中进行部署。ECS 部署的构造块包括:

• 虚拟数据中心 (VDC) — 定义为站点中的单个 ECS 部署的地理位置。最多 8 个 VDC 可作为一个整体

(联合)进行管理。VDC 是站点的同义词。

• 存储池 — 存储池可以视为属于一个 VDC 的节点子集及其关联存储。一个 ECS 节点只能属于一个存储

池;存储池可以具有任意数量的节点(至少五个)。存储池可以用作一种工具,以便以物理方式分隔

属于不同应用程序的数据。

• 复制组 (RG) — 定义在其中保护存储池内容的位置以及可以对其读取或写入数据的位置。本地复制组

保护同一个 VDC 中的对象免受磁盘或节点故障危害。全局复制组跨多个 VDC,可保护对象免受磁

盘、节点和站点故障的危害。一个 RG 可以有一个到八个 VDC。一个 VDC 可以属于多个 RG。

• 命名空间 — 命名空间从概念上讲与租户 含义相同,是一种逻辑构造。命名空间的关键特征是:一个命

名空间中的用户不能访问属于另一个命名空间的对象。命名空间可以表示组织中的部门或部门中的组。

• 存储区 — 对象数据的容器。存储区在命名空间中创建,以便使应用程序可以访问存储在 ECS 中的数

据。在 S3 中,这些容器称为存储区,此术语已由 ECS 采用。在 Atmos 中,子租户 等同于存储区;

在 Swift 中,容器 等同于存储区;对于 CAS,存储区是 CAS 池。存储区是 ECS 中的全局资源。在复

制组跨越多个站点的情况下,存储区以类似方式跨站点进行复制。

ECS 利用某些基础架构系统。

• 身份验证提供程序 —(可选)可以使用 Active Directory 和 LDAP 组对系统和命名空间管理员用户进

行身份验证。可以使用 Keystone 对对象用户进行身份验证。ECS 不需要身份验证提供程序。ECS 内

置了本地用户管理。ECS 上的本地用户不会在 VDC 之间进行复制。

• DNS 服务器 —(必需)域名服务器或转发器。

• NTP 服务器 —(必需)网络时间协议服务器。有关最佳配置的指导准则,请参阅 NTP 最佳实践。

• SMTP 服务器 —(可选)简单邮件传输协议服务器用于从 ECS 机架发送警报和进行报告。

• DHCP 服务器 —(可选)仅用于通过 DHCP 分配 IP 地址的情况下。

Page 43: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

43 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

• 负载平衡器 —(可选但强烈推荐)在所有数据服务节点间均匀地分配客户端/应用程序负载。负载平衡

器可以使用简单算法(如随机选择或循环调度)。更复杂的负载平衡器可能会考虑其他因素,如服务

器的报告负载、响应时间、运行/关闭状态、活动连接数、地理位置等。客户负责实施负载平衡器;客

户可使用多种选项,包括手动 IP 分配、DNS 循环调度、客户端负载平衡、负载平衡器一体机和地理位

置负载平衡器。下面简要介绍了其中每种方法:

- 手动 IP 分配 — 数据节点 IP 地址会手动分发给应用程序。不建议这样做,因为它不会均匀地在节

点之间分布负载,并且不会在节点出现故障时提供任何容错。

- DNS 循环调度 — 对于 DNS 循环调度,创建一个 DNS 条目,其中包含数据节点的所有 IP 地址。

DNS 服务器会在进行查询时随机返回 ECS 节点 IP 地址,并提供某种伪负载平衡。这通常不提供

容错,因为管理员需要从 DNS 删除故障节点的 IP 地址以使它们不会进行轮换。即使在从 DNS 删

除节点之后,通常仍存在一些使删除传播延迟的 TTL(生存时间)问题。此外,某些操作系统(如

Windows)会高速缓存 DNS 查找并可能会导致粘性,在这种情况下,客户端会保持绑定到相同 IP

地址,从而减少到数据节点的负载分布量。不建议使用 DNS 以循环调度方式分发流量。

- 物理或虚拟负载平衡 — 此选项是最常用的负载平衡方法。在此模式下,一体机(硬件或软件)会

接收请求并将它转发给其中一个数据节点。一体机会跟踪所有数据节点的状态(运行/关闭、连接

数),并智能地在节点间分布客户端负载。通常,一体机会主动对节点进行运行状况检查(例如对

S3 标头执行 GET/?ping)以确保节点正常运行并可用。如果节点成为不可用状态,则它会立即从

循环中删除,直到它通过运行状况检查。这种负载平衡的另一个优点是 SSL 终端。可以在负载平

衡器上安装 SSL 证书,并让负载平衡器处理 SSL 协商。负载平衡器与数据节点之间的连接因而未

加密。这可减少数据节点上的负载,因为它们不必处理占用大量 CPU 的 SSL 协商任务。

- 地理位置负载平衡 — 地理位置负载平衡将负载平衡添加到 DNS 基础架构中。进行 DNS 查找时,

它们会通过 DNS 中的 NS 记录进行路由,以将查找委派给负载平衡器一体机(如 Riverbed

SteelApp)。负载平衡器随后可以使用地理 IP 或其他某种机制来确定要将客户端路由到的站点。

如果检测到站点关闭,则可以从 DNS 快速删除站点,流量会路由到继续运行的站点。

有关如何使用负载平衡器部署 ECS 的示例,请参阅以下参考指南:

• 使用 HAProxy 负载平衡器的 ECS

• 使用 NGINX (OpenResty) 的 ECS

• 使用 F5 的 ECS

• 使用 KEMP Load Master 的 ECS

Page 44: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

44 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

8.1 单站点部署 在单站点中,定义存储池、创建复制组并与存储池关联,然后创建虚拟数据中心 (VDC)。随后创建命名空间和

存储区以访问数据。图 28 显示 VDC 中的一个存储池,其中的命名空间包含两个存储区。

图 28 单站点部署示例

8.2 多站点部署 在多站点部署中,两到八个 VDC 可作为联合进行管理。联合 ECS 群集还可实现数据的异地复制。在异地复制

部署中,可以从已定义复制组中的任何活跃站点读取或写入数据。此部分介绍这种类型的部署。 8.2.1 区域联合

区域联合让存储管理员可以作为单个逻辑资源管理地理位置分散的环境。利用区域联合,多个站点或 VDC 作

为一个站点进行管理。明显的优势是易于管理以及能够使用多个数据中心内的资源。

要管理或监视单个站点,管理员只需登录到 VDC 中的任一个节点即可。这相当于拥有单站点联合。管理员随

后可以向联合添加其他 VDC,具体方法是在第一个 VDC 上的 ECS 门户中浏览到相应 VDC。而且,客户可以

选择跨站点复制数据的方式,以便增强数据保护。

要执行某些管理任务(如在初始部署期间创建存储池,或查看性能统计信息),必须分别访问每个 VDC。 8.2.2 异地复制

如前所述,ECS 提供擦除编码来帮助提供增强的数据持久性,而不会产生存储数据的多个拷贝的开销。但是,

这无法防范站点故障或宕机。异地复制可针对站点故障提供增强保护,具体方法是拥有数据的多个拷贝,即数

据的主拷贝处于原始站点上,数据的辅助拷贝处于远程站点上。其他站点上的数据的主拷贝和复制拷贝会通过

擦除编码或三重镜像区块分别进行保护。这意味着每个拷贝都可防范本地故障(如磁盘、节点或机架故障)。

Page 45: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

45 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

复制由拥有对象的站点进行,是一个异步过程。每个站点负责本地数据保护。复制的数据首先进行加密

(AES256),然后通过 HTTP 发送到另一个站点。默认情况下,数据会复制到复制组中的另一个站点,但如果在

三个或更多站点中启用了 Replicate to All Sites 选项,则会将数据复制到所有站点。

异地复制可确保针对站点故障/灾难来保护数据。与市场中的其他解决方案不同,ECS 在从本地磁盘故障中恢

复时不会生成 WAN 流量。ECS 让客户可以选择链接地理位置分散的系统并跨 WAN 上在这些站点间复制数

据。一些策略(如异地高速缓存以及访问物理上最近的阵列)可降低数据访问的 WAN 流量。

复制组 (RG) 在异地复制部署中定义,它定义了数据的保护位置以及可从何处访问。ECS 支持本地和全局复

制组。本地复制组包含单个 VDC,可针对磁盘、节点或机架故障保护同一 VDC 中的数据。全局复制组包含

多个 VDC,并保护数据免受磁盘、节点、机架和站点故障的影响。复制组在存储区级别分配。图 29 显示了

一个三站点配置的示例,该配置将不同的复制组策略分配给不同的存储区。

图 29 本地复制组和全局复制组示例

此示例中的客户端访问权限:

• VDC1 有权访问所有存储区。

• VDC2 和 VDC3 只能访问存储区 01 和 02。

ECS 支持区域-活动和区域-非活动复制。

Page 46: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

46 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

8.2.2.1 区域-活动复制 ECS 区域-活动复制的一个重要功能是能够对复制组中的任何 VDC 读取和写入数据。在 ECS 中,数据会异步

复制到配置为区域-活动复制的复制组内的多个 VDC。这样带来的挑战是跨站点或 VDC 的数据一致性。ECS

可通过从创建对象数据的 VDC 获取元数据来确保高度一致性。因此,如果某个对象在站点 1 中创建并从站点

2 进行读取,则 ECS 会与站点 1(对象所有者)进行核对并验证在站点 2 上复制的拷贝是否是数据的最新版

本。如果不是,则它会从站点 1 获取数据;否则,它会使用站点 2 中的数据。

在下面的图 30 中展示的异地复制环境中的读取数据流如下所示:

1. 站点 2 进行读取请求。在此示例中,站点 1 是对象所有者。

2. 读取需要从对象所有者检查元数据以验证站点 2 是否具有数据的最新拷贝。

3. 如果不是,则站点 1 会将数据发送到站点 2。

4. 数据发送到客户端。

图 30 异地复制环境中的读取数据流示例

Page 47: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

47 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

异地复制环境中两个站点更新同一个对象的写入的数据流如图 31 所示。在此示例中,最初创建对象的站点 1

是对象所有者。数据会进行镜像或擦除编码,日志写入本地站点。用于写入的数据流包括:

1. 站点 2 更新由站点 1 拥有的同一个文件。站点 2 首先在本地写入数据(数据在本地进行镜像或擦除

编码)。

2. 站点 2 将元数据同步更新(日志写入)到对象所有者(站点 1),并等待来自站点 1 的元数据更新确认。

3. 站点 1 向站点 2 确认元数据写入。

4. 站点 2 向客户端确认写入。

注意:站点 2 会同往常一样将区块异步复制到站点 1(拥有站点)。如果数据尚未复制到拥有站点并且拥有站

点要读取数据,则它会从远程站点获取数据。

图 31 在异地复制环境中更新同一对象数据流的示例

在异地复制环境中的读取和写入情形中,在请求过程中从对象所有者读取和更新元数据,以及从对象所有者检

索数据时存在延迟。

8.2.2.2 异地-非活动复制 复制组可以配置为区域-非活动,这将指定两个、三个或四个源站点,以及仅用作复制目标的第三、第四或第五

个附加站点。此复制目标站点仅用于恢复目的,它不允许用于直接客户端访问。

区域-非活动复制的好处包括:

• 通过确保两个源站点的写入操作转到相同的复制目标,提高运行 XOR 运算的可能性,从而优化存储

效率。

• 管理员可以控制数据复制拷贝的位置,例如在备份到云的场景中。

Page 48: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

48 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

图 32 显示区域-非活动配置的示例,其中 VDC 1 和 VDC 2 是源站点,这两个站点均将其区块复制到复制目标

VDC 3。

图 32 区域-非活动的客户端访问和复制路径示例 8.2.3 异地高速缓存

ECS 通过预先指定本地不存在的高速缓存对象的磁盘空间百分比,优化从远程站点访问数据的响应时间。对于

具有多站点访问模式(特别是由三个或更多站点组成的复制组,在这种组中数据通常从远程站点提取)的客户

来说,这一点非常重要。请考虑具有站点 1、2 和 3 的异地复制环境。一个对象(对象 A)写入站点 1,而该

对象的辅助拷贝驻留在站点 2 上。在此情形中,站点 3 上的对象读取需要从站点 1 或站点 2 提取对象数据。这

会导致延长响应时间,尤其是在具有多站点访问模式的环境中。对于频繁访问对象的异地高速缓存,在本地高

速缓存对象的初始拷贝之后,响应时间会缩短。高速缓存实施最近最少使用 (LRU) 算法,并在向存储池添加节

点/磁盘时调整高速缓存大小。

Page 49: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

49 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

8.2.4 临时站点宕机 临时站点故障指两个站点之间的 WAN 连接故障或整个站点故障(如自然灾难或电源故障)。ECS 可以检测并

自动处理任何这类临时站点故障。异地复制环境中的 VDC 可建立心跳机制。在预设的持续时间内持续丢失心

跳指示网络中断,系统会相应地调整其行为。ECS 提供了一些选项,它们会影响在临时站点宕机 (TSO) 期间

访问对象的方式。这些选项包括:

• Default — 允许访问可访问的站点所拥有的数据并阻止对不可访问的站点所拥有的数据进行访问,从而

保持高度一致性。

• Access During Outage (ADO) — 通过启用宕机期间访问 存储区选项,允许读取和可选择地写入所有

异地复制数据,包括标记为失败的站点所拥有的数据。在 TSO 期间临时切换到最终一致性;所有站点

恢复在线状态后,将恢复为高度一致性。实现最终一致性的好处在于,它允许在临时站点宕机期间访

问数据;缺点是返回的数据可能已过时。

可以在存储区级别设置在 TSO 期间保持高度一致性或接受最终一致性的选项;这意味着,您可为某些存储区

而不为其他存储区配置此选项。

如前所述,存储区、命名空间和对象的初始站点所有者是首次在其中创建资源的站点。在 TSO 期间,如果资

源的站点所有者不可访问,某些操作可能会失败。在临时站点宕机期间,允许或不允许的操作的要点包括:

• 不允许从任何站点创建、删除和更新存储区、命名空间、对象用户、身份验证提供程序、复制组以及

NFS 用户和组映射。

• 如果命名空间所有者站点可用,则允许列出命名空间内的存储区。

• HDFS/NFS 让不可访问的站点拥有的存储区呈只读状态。

有关临时站点宕机的更深入详细信息,请参阅白皮书《ECS High Availability Design》(ECS 高可用性设计)。

8.2.4.1 默认 默认情况下,ADO 未启用,并且为了保持高度一致性,发生临时宕机的 VDC/站点中的数据会无法从其他站点

访问。未由在线站点所拥有的读取、创建、更新和删除以及列出存储区的对象操作将会失败。此外,创建和编

辑存储区、用户和命名空间的操作也会失败。

8.2.4.2 宕机期间访问 如果已对存储区启用了 ADO,则在检测到临时宕机时,系统会恢复到最终一致性模型,即接受并认可来自辅助

(非所有者)站点的读取和可选的写入(从版本 3.1 开始支持只读模式)。而且,在网络中断期间写入辅助站

点会导致辅助站点获取对象的所有权。这使每个 VDC 都可以继续对共享命名空间中的存储区读取和写入对

象。最后,对象的新版本会在协调过程中成为对象的权威版本,即使另一个应用程序更新在所有者 VDC 上更

新对象也是如此。

Page 50: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

50 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

虽然许多对象操作在网络中断期间可继续进行,不过不允许执行某些操作(如创建新存储区、命名空间或用

户)。两个 VDC 之间的网络连接恢复之后,心跳机制会自动检测到连接,恢复服务,然后从两个 VDC 协调对

象。如果在 VDC A 和 VDC B 上更新同一个对象,则非所有者 VDC 上的拷贝是权威拷贝。因此,如果在同步

过程中,在 VDC A 和 VDC B 上更新 VDC B 拥有的对象,则 VDC A 上的拷贝会成为保留的权威拷贝,而其他

拷贝将不会被引用并且可用于空间回收。

当两个以上的 VDC 属于复制组时,并且如果一个 VDC 与另外两个 VDC 之间的网络连接中断,则写入/更新/

所有权操作可继续进行,如同对两个 VDC 执行这些操作一样;但是,响应读取请求的过程会更加复杂,如下

所述。

如果应用程序请求的对象归不可访问的 VDC 所拥有,则 ECS 会将请求发送到具有对象的辅助拷贝的 VDC。但

是,辅助站点拷贝可能会进行数据收缩操作,这是两个不同数据集之间的 XOR,会生成新数据集。因此,辅助

站点 VDC 必须首先检索原始 XOR 运算中包含的对象的区块,并且它必须对这些区块与恢复拷贝执行 XOR。

此操作会返回故障 VDC 上最初存储的区块的内容。随后可以重新组合并返回来自恢复的对象的区块。重新构建

区块时,也会高速缓存它们,以便 VDC 可以更加快速地响应后续请求。请注意,重新构建会耗费大量时间。复

制组中的 VDC 越多,表示必须从其他 VDC 检索的区块越多,因此重新构建对象需要的时间便越长。

如果发生了灾难,整个 VDC 可能变得不可恢复。ECS 将不可恢复的 VDC 视为临时站点故障。如果故障是永

久性的,则系统管理员必须从联合永久故障切换 VDC 以启动故障切换处理,这会启动故障 VDC 上存储的对象

的重新同步和重新保护。恢复任务以后台进程方式运行。可以在 ECS 门户中查看恢复进度。

有一个附加的存储区选项可用于只读宕机期间访问,可确保对象所有权永远不会发生变化,并排除了临时站点

宕机期间故障站点和在线站点上的对象更新导致冲突的可能性。只读宕机期间访问的缺点是在临时站点宕机期

间,不能创建新对象,并且在所有站点都恢复在线状态之前,不能更新存储区中的任何现有对象。只读宕机期

间访问选项仅在创建存储区期间可用,它以后不能修改。默认情况下,此选项处于禁用状态。

表 10 多站点故障承受能力

故障模式 容差值

在异地复制环境中 最多一个站点故障

Page 51: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

51 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

8.3 故障承受能力 ECS 可容受一系列设备故障情形。数据保护软件机制内置于核心 ECS 软件堆栈中,这可确保数据可恢复性和

可用性,具体取决于存在哪种类型的硬件故障条件。

故障情形涵盖的范围很广,包括:

• 单节点中的单硬盘故障

• 单节点中的多硬盘故障

• 多节点及单硬盘故障

• 多节点及多硬盘故障

• 单节点故障

• 多节点故障

• 与一个已复制 VDC 之间的通信中断

• 一个已完整复制的 VDC 丢失

在单站点、双站点或异地复制配置中,故障产生的影响取决于受影响组件的数量和类型。但是,在每个级别,

ECS 都提供机制来防范组件故障所带来的影响。其中的许多机制已经在本白皮书中进行了讨论,但我们在此处

和图 33 中进行了回顾,以展示如何将其应用到解决方案中。具体包括:

• 磁盘故障

- 切勿将同一区块中的分段或复制拷贝写入同一磁盘

- 针对写入和读取操作执行校验和计算

- 存储引擎在后台运行一致性检查程序以重新验证校验和

• 节点故障

- 在 VDC 的节点中均匀分配区块的分段或复制拷贝

- ECS 结构保持服务运行并管理诸如磁盘、容器、防火墙和网络这类资源。

- 将受分区所有权保护的分区记录和表从节点故障切换到节点。

• VDC 中的机架故障

- 在 VDC 的机架中均匀分配区块的复制拷贝的片段。

- 一个结构注册表实例在每个机架中运行,并且在该节点出现故障时,可以在同一机架中的任何其他

节点上重新启动。

Page 52: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

52 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

图 33 本地站点中的故障域

下图定义了每个擦除编码方案可针对每种基本机架配置提供保护的组件故障类型和数量。表 11 重点介绍了在每

个擦除编码保护级别都需要的节点数量方面考虑保护性故障域对总体数据和服务可用性产生的影响的重要性。

表 11 故障域中的擦除编码保护

擦除编码方案 VDC 中的 节点数量

每个节点的

区块分段数 针对…提供擦除编码数据保护

默认 (12+4) 5 或更少 4 • 多达四个磁盘丢失或 • 一个节点丢失

6 或 7 个节点 3 • 多达四个磁盘丢失或 • 一个节点和来自另一个节点的一个磁盘丢失

8 个或更多节点 2 • 多达四个磁盘丢失或 • 两个节点丢失或 • 一个节点和两个磁盘丢失

16 个或更多节点 1 • 四个节点丢失或 • 三个节点和来自一个附加节点的磁盘丢失 • 两个节点和来自多达两个不同节点的磁盘丢失或 • 一个节点和来自多达三个不同节点的磁盘丢失或 • 来自四个不同节点的四个磁盘丢失

冷存储 (10+2) 11 个或更少节点 2 • 多达两个磁盘丢失或 • 一个节点丢失

12 个或更多节点 1 • 来自两个不同节点的任意数量的磁盘丢失或 • 两个节点丢失

有关更多详细信息,请参阅白皮书《ECS High Availability Design》(ECS 高可用性设计)。

Page 53: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

53 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

9 存储保护开销 ECS 将擦除编码用于本地 VDC 数据保护,在这种保护中,复制组中的每个 VDC 在本地级别负责它自己的 EC

数据保护。虽然擦除编码的存储效率比其他形式的保护(如完整拷贝驱动器镜像)更高,但会在本地级别产生

一些内在的存储成本开销。但是,当需要在异地复制辅助拷贝以及在单个站点变得不可用时需要让所有站点有

权访问数据时,与使用传统的站点到站点数据拷贝保护方法相比,存储成本将变为更加高昂。在三个或更多站

点上分布唯一数据时,尤其如此。

ECS 提供了一种机制,使存储保护开销效率在使用三个或更多站点时可提高。在双 VDC 复制排列中,ECS 将

区块从主 VDC 复制到远程站点,以提供高可用性。无法规避数据完整拷贝的 100% 保护开销。

现在,在多站点环境中考虑三个 VDC:VDC1、VDC2 和 VDC3,其中每个 VDC 都有来自其他 VDC 的唯一数

据。VDC2 和 VDC3 可能会将其数据的拷贝发送到 VDC1 以进行保护。因此,VDC1 将拥有自己的原始数据,

以及来自 VDC2 和 VDC3 的数据。这意味着,VDC1 将在它自己的站点上存储写入的 3 倍数据量。

在这种情况下,ECS 可以对本地存储在 VDC1 上的 VDC2 和 VDC3 数据执行 XOR 运算。此算术运算可比较

同等数量的唯一数据、区块,并在包含两个原始数据块的足够特性的新区块(同样大小)中呈现结果,从而使

其可以恢复两个原始数据块中的任何一个。因此,VDC1 中存储有 3 个唯一的数据区块集,占用了 3 倍的可用

容量,现在仅有 2 个原始本地数据集,而 XOR 减少了保护拷贝。

在这种情况下,如果整个 VDC3 站点变得不可用,ECS 可以使用从 VDC2 回调的区块拷贝和 VDC3 本地存储

在 VDC1 中的 (C1 ⊕ C2) 数据重新构建 VDC3 数据区块。此原则适用于参与复制组的所有三个站点,并且依

赖于三个 VDC 中具有唯一数据集的每个站点。图 34 显示了 XOR 计算。

图 34 XOR 数据保护效率

Page 54: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

54 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

如果业务服务级别协议需要优化的读取/访问速度,即使是在发生整个站点故障的情况下,那么“复制到所有站

点”设置会强制 ECS 恢复为已复制数据的完整拷贝,以便存储在所有站点中。这预计会增加存储成本,成本

与参与复制组的 VDC/站点数量成比例。因此,3 站点配置将恢复到 3 倍的存储保护开销。

随着联合站点数量的增加,ECS 算法在减少因复制而产生的存储保护开销上效率更高。表 12 针对正常擦除编

码 12+4 和冷归档擦除编码 10+2,基于站点数提供有关存储保护开销的信息,并阐释 ECS 如何能够随着链接

更多站点而具有更高的存储效率。

注意:要降低 3 个或最多 8 个站点上的复制数据开销,必须在每个站点相对均等地写入唯一数据。通过在所有

站点上写入相同数量的数据,每个站点将具有类似数量的复制区块。每个站点上的复制区块数量相似,导致会

在每个站点上发生类似数量的 XOR 运算。通过减少使用 XOR 存储的复制区块的最大数量,可获得最大多站点

存储效率。

表 12 存储保护开销

复制组中的站点数 默认使用情形

(擦除编码:12+4) 冷归档使用情形

(擦除编码:10+2)

1 1.33 1.2

2 2.67 2.4

3 2.00 1.8

4 1.77 1.6

5 1.67 1.5

6 1.60 1.44

7 1.55 1.40

8 — 复制组中的最大站点数 1.52 1.37

Page 55: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

55 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

10 结论 面临不断增加的数据和存储成本量(特别是在公共云空间中)的客户对于私有云和混合云极感兴趣。ECS 的横

向扩展和地理分布式体系结构提供了一种本地云平台,可在总体拥有成本显著低于公共云存储的情况下扩展到

EB 级数据。由于其多功用性、超级可扩展性、强大的功能以及低成本行业标准硬件的使用,ECS 是理想的解

决方案。

Page 56: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

56 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

A 技术支持和资源

Dell.com/support 专注于通过经验证的服务和支持满足客户需求。

存储技术文档和视频所提供的专业知识有助于确保客户在 Dell EMC 存储平台上取得成功。

A.1 相关资源

ECS 技术资产

• ECS 一体机规格表

- https://www.dellemc.com/resources/zh-cn/asset/data-sheets/products/storage/h13117-emc-ecs-appliance-ss.pdf

• ECS 高可用性设计

- https://China.emc.com/collateral/whitepaper/h16344-ecs-high-availability-design.pdf

• 借助 Dell EMC ECS 支持全局 Hadoop

- https://China.emc.com/collateral/white-papers/h44184-global-hadoop-ecs-wp.pdf

社区

• ECS 社区

- https://community.emc.com/community/products/ecs

• ECS Test Drive

- https://portal.ecstestdrive.com/

• 对象浏览器下载

- S3 浏览器 — http://s3browser.com/download.aspx - Cyberduck — https://cyberduck.io/ - Cyberduck ECS 配置文件 — https://community.emc.com/docs/DOC-27683

ECS 产品文档

• 支持网站上的 ECS 产品文档。

- https://support.emc.com/products/37254_ECS-Appliance-/Documentation/

Page 57: Dell EMC ECS:概述和体系结构 · ecs 体系结构上。它不涵盖 ecs 软件或硬件的安装、管理和升级过程。它也未涵盖有关 使用和创建具有 ecs api

57 Dell EMC ECS:概述和体系结构 | H14071.13

错误!使用“开始”选项卡将 Heading 1 应用于要在此处显示的文字。

Dell EMC ECS 连接器和网关

• Cloud Pools

- http://China.emc.com/collateral/white-papers/h14775-isilon-cloud-pools-and-ecs-solution-guide.pdf

• Data Domain 云层

- http://China.emc.com/collateral/white-papers/h16169-ecs-and-data-domain-cloud-tier-

architecture-guide.pdf

• GeoDrive

- 概述、体系结构、性能和最佳实践白皮书

> https://www.dellemc.com/resources/zh-cn/asset/white-papers/products/storage/h17494-wp-geodrive-arch-perf-best-practices.pdf

- GeoDrive 产品分类支持页面(下载/文档)

> https://support.emc.com/products/17166


Recommended