Принципы построения катастрофоустойчивых ЦОД.

1 © 2012 Cisco and/or its affiliates. All rights reserved.

Скороходов Александр Системный инженер-консультант

25 октября 2012 г

© 2011 Cisco and/or its affiliates. All rights reserved. 2

Принимайте активное участие в Cisco Expo и получите в подарок Linksys E900.

Как получить подарок:

•  внимательно слушать лекции по технологиям Cisco

•  посещать демонстрации, включенные в основную программу

•  пройти тесты на проверку знаний

Тесты будут открыты:

с 15:00 25 октября по 16:30 26 октября

www.ceq.com.ua


•  Катастрофоустойчивость

•  Непрерывность обслуживания

•  Мобильность сервисов

•  Наращивание производительности/ёмкости

•  Миграция систем

•  Распределённые сервисы

•  Географически-локализованные сервисы


Время

Момент катастрофы

Последняя резервная копия или пригодные данные

Системы восстановлены и работоспособны

Время восстановления (Recovery Time)

Точка восстановления (Recovery Point)

Меньше RPO/RTO •  Больше $$$ •  Репликация •  «Горячий резерв»

Больше RPO/RTO •  Меньше $$$ •  Резервирование на ленту •  «Холодный резерв»

«Нулевые» RPO/RTO – система непрерывной доступности


Heartbeat Private LAN

Public LAN VIP Cluster

Cluster A Node 2

Cluster A Node 1

•  Развитие кластеризации для защиты от сбоя сервиса или сайта целиком •  Кластерные системы типично требуют “растягивания” L2 VLAN между ЦОД •  Некоторые приложения поддерживают кластеризацию через L3 сеть


DC 1 DC 2

Core Network

ESX-A source ESX-B target

DCI LAN extension

Cisco-VMware With EMC & NetApp

Validated Design & Certification for

Virtualized Workload Mobility

•  Мобильность виртуальных сервисов между разнесёнными сайтами •  Требование «растягивания» VLAN и обеспечения непрерывного доступа к LUN •  Основа для управления облачной нагрузкой и её миграции между «облаками»


•  Связь сетей передачи данных L2/L3 смежность Мониторинг (heartbeat) / синхронизация в кластере Репликация по IP Подключение к транспортной сети

•  Связь сетей хранения данных Синхронизация массивов по FC Доступ к удаленным СХД/лентам

•  Оптимальный путь трафика


•  Расстояние – ключевой фактор •  Ближе:

Выше производительность Синхронная репликация Проще коммуникации

•  Дальше: Катастрофоусточивость Распределение сервисов

Кампус 1–2 km

Метро 50-80 km

Региональное (extended

Metro) 100-400km Основной

ЦОД Резервный

ЦОД Катастрофо- устойчивый

ЦОД

Гео


•  Стандартные интерфейсы 10Гбит/с: 10GBASE-LR – до 10 км 10GBASE-ER – до 40 км 10GBASE-ZR – до 80 км

•  Стандартные интерфейсы 40Гбит/с 40GBASE-LR4 – до 10 км

•  Стандартные интерфейсы 100Гбит/с 100GBASE-LR4 – до 10 км 100GBASE-ER4 – до 40 км

•  DWDM – до 2000+ км при использовании оптического усиления, не ограничено при использовании регенерации

•  Через сеть (IP, MPLS…) - без ограничений


Ограничено оптикой (Оптический бюджет) Темное Волокно

CWDM

DWDM

SONET/SDH

ЦОД Кампус Метро Регион Страна

Расстояние

Sync

Sync (1,2,4Gbps)

Sync (1,2Gbps + subrate)

Async (WAN,1Gbps) MDS9000 FCIP

Ограничено оптикой (Оптический бюджет)

Ограничено BB_Credit Оптика

IP

Sync (1,2,4,8,10Gbps /λ)

Sync (Metro Eth)

Async

Земля


•  Скорость света в вакууме ~300,000 км/с

•  Скорость света в оптоволокне: ~200,000 км/с

•  Задержка сигнала: ~5 мкс/км, RTT ~10 мкс/км

•  Для сравнения: Среднее время доступа на (быстром) шпиндельном диске ~2-3 мс Среднее время доступа на SSD диске ~0.1 мс Максимальная задержка, допускаемая VMWare для VMotion: 5 мс RTT


  FC фреймы буферизуются промежуточными коммутаторами   Трафик на каждом соединении управляется получением фреймов Receiver

Ready (R_RDY), передающая сторона может послать только определённое (BB_Credits) число фреймов прежде, чем приостановит передачу

  Буферные кредиты (BB_Credit) согласовываются между каждой парой соединённых устройств в фабрике

  На 1 км расстояния нужен 1 кредит на 2G, 2 кредита на 4G, 4 кредита на 8G, 6 на 10G, 8 на 16G

FC Receive Buffers

Traffic Flow

BB_Credit Flow Control

FC Receive Buffers

2-8 BB_Credit 16-255 BB_Credit 2-8 BB_Credit




Приложение получает подтверждение I/O после его выполнения на обеих сторонах (zero RPO)

•  «Метро» расстояния •  Большая полоса

Подтверждение I/O после его выполнения на локальном диске, пока его копирование на удалённый массив ещё продолжается

•  «Неограниченные» расстояния •  Меньше требования к полосе

1

2

3

4

1

3

2


•  SCSI протокол (FC) требует два round trip на операцию •  Вносимая задержка операции 2*10µs/км, 100 км = 2 мс •  В зависимости от приложения синхронную репликацию, как правило ограничивают 50-100 км

•  I/O Acceleration «убирает» один round-trip – удвоение расстояния!

1

2

3

4 Local Storage Array Remote Storage Array

250 µs : Rec_Ready ?

250 µs : Wait for response?

250 µs : Send data

250 µs : Wait for Ack?

50 км 1ms


DC 1 DC 2

Core Network

Virtual Center


L2 extension for vMotion Network

Target

Volumes

Initiator


Core Network

DC 1 DC 2

Virtual Center



Повышение произодительности с помощью I/O Acceleration на Cisco MDS

© 2011 Cisco and/or its affiliates. All rights reserved. 17 http://www.cisco.com/en/US/docs/solutions/Enterprise/Data_Center/DCI/4.0/Netapp/dciNetapp.html

Core Network

DC 1 DC 2

Virtual Center



Temp Cache

1

?

4

Read

data 3 data

2 Read

2

  FlexCache не работает как отложенный кеш записи   FlexCache подтверждает операцию только после подтверждения от СХД

data 1

Write 3

2 Write

4 ACK

ACK data

data

© 2011 Cisco and/or its affiliates. All rights reserved. 18 ЦОД B ЦОД A

Fibre Channel

Распределённый виртуальный том

Synchronous Latency

•  Хосты на обеих сторонах одновременно имеют доступ к распределённым виртуальным томам

•  Непрерывная синхронизация

•  Запись защищается на обоих сайтах

•  Чтение – с кеша VPLEX или местного тома

© 2011 Cisco and/or its affiliates. All rights reserved. 19 http://www.cisco.com/en/US/docs/solutions/Enterprise/Data_Center/DCI/4.0/ EMC/dciEmc.html

Core Network

Virtual Center



VPLEX Virtual Layer

DC 1 DC 2

Initiator

Initiator

Target VPLEX Engine

EMC VMAX

VPLEX Engine

EMC CLARiiON

Target

F

From

the

Hos

t

F

From the S

torage

LUNv LUNv

Synchronous Latency requiments ~100 kms max



  Изоляция STP: предотвращение распространения проблем

  Предотвращение «зацикливания» между ЦОДами

  Отказоустойчивость и масштабирование производительности

  Поддержка многих сайтов

Intra-DC Domain with STP Isolation

Intra-DC Domain with STP Isolation

Core

Aggr/ Distr

Access

L3

L2

WAN

Data-center

WAN

Core

Aggr/ Distr

Access

L3

L2

WAN

Data-center

SAN SAN

No Inter-DC Loop

Same Extended VLAN

  Защита от «петель»   Изоляция STP   Отказоустойчивость.   Балансировка нагрузки

на WAN   Прозрачность для

ядра   Прозрачность для

сетей ЦОД   Оптимизация трафика   Масштабирование   Связь многих ЦОД

Необходимо


Ethernet

IP

Транспорт Критерии применения

MPLS

•  VSS & vPC или FabricPath Multi-Chassis EtherChannel (N7K/N5K, Cat6K) для связи пары ЦОД FabricPath для связи многих сайтов (N7K/N5K) По тёмной оптике или xWDM

Технологии LAN

•  EoMPLS & A-VPLS & H-VPLS Внедрение на PE (Cat6K, ASR9K, N7K (будущее)) Масштабирование и multi-tenancy

Возможно поверх GRE

Апробированный вариант, хорошо подходит SP

•  OTV Внедрение на CE (N7K, ASR1K)

Подходит для корпоративных внедрений

Малая зависимость от транспорта – требуется только IP сеть Маршрутизация по MAC адресам


Long Distance

DC 1 DC 2

CO

RE

AG

GR

AC

CES

S

Server Cluster

CO

RE

AG

GR

AC

CESS

Server Cluster

Основные рекомендации

  Различающиеся номера vPC доменов   BPDU Filter на пограничных устройствах для блокирования распространения BPDU   STP Edge Mode для быстрого восстановления   Отсутствие петель между ЦОД в обход vPC

vPC domain 10 vPC domain 20

vPC domain 21 vPC domain 11

E E

- -

- -

- -

E

E

E

E

F

F

F

F -

-

- -

-

- -

B B

N N N N

N

N N

N

R R

-

R R R R

R R

Rootguard

B

F

N

E

BPDUguard

BPDUfilter

Network port

Edge or portfast port type

- Normal port type

R

Ani

mat

ed S

lide!


Достоинства:   Диалоговое выучивание MAC адресов

  Отказоустойчивость и изоляция STP

  Динамическая «подрезка» VLAN

  Отказоустойчивое сопряжение с LAN с помощью vPC+

Ограничения:   Требует использования FabricPath соединений на всём транспорте

  Использует Flooding неизвестных адресов

  Нет подавления широковещания

  L2 Multipath только для путей одинаковой стоимости

  Затруднена локализация FHRP для оптимизации пути


•  Имитация «провода» (pseudowire) между двумя портами оборудования в разных ЦОД

•  Отказоустойчивость и балансировка внешними средствами – аналогично «тёмной оптике»

•  Обычно для связи двух ЦОД

•  Необходимо наличие MPLS сети

•  Использование дополнительного туннелирования для связи через IP сеть: EoMPLSoGRE


•  Имитация коммутатора (VFI) между портами оборудования в разных ЦОД (с опорой на pseudowire)

•  Отказоустойчивость и балансировка с помощью дополнительных механизмов: A-VPLS на Cat6K, nV кластер на ASR9K, MLACP на 7600/ASR9K…

•  Необходимо наличие MPLS сети

•  Использование дополнительного туннелирования для связи через IP сеть: VPLSoGRE


•  Расширение L2 доменов по произвольной IP сети

•  Ethernet трафик инкапсулируется в IP: “MAC in IP”

•  Динамическая инкапсуляция с использованием таблицы маршрутизации MAC

Взаимодействие между MAC1 (сайт 1) и MAC2 (сайт 2) Server 1

MAC 1 Server 2 MAC 2

OTV OTV MAC IF

MAC1 Eth1

MAC2 IP B

MAC3 IP B IP A IP B

Encap Decap MAC1 MAC2 IP A IP B MAC1 MAC2 MAC1 MAC2


•  Работа поверх любого транспорта (IP, MPLS)

•  Изоляция доменов сбоев (STP)

•  Независимость сайтов

•  Оптимальное использование полосы

•  Встроенная отказоустойчивость

•  Встроенная защита от «петель»

•  Связь многих сайтов

•  Масштабируемость   VLANs, сайты, MACs   ARP, broadcasts/floods

•  Простота настройки

•  Легкость добавления сайтов South Data Center

North Data Center

Fault Domain

Fault Domain

Only 6 CLI commands

LAN Extension

Fault Domain

Fault Domain



В чём именно проблема?

Layer 3 Core

Access

Agg

Access

Agg

10.1.1.0/24 advertised into L3 Backup should main site go down

10.1.1.0/25 & 10.1.1.128/25 advertised into L3 DC A is the primary entry point

Node A

ESX ESX

Virtual Machine Virtual Machine

VMware vCenter

Data Center 1 Data Center 2


Хотелось бы так...

Access

Agg

Access

Agg

Node A

ESX ESXVirtual Machine

VMware vCenter

Data Center 1 Data Center 2


•  Исходящий трафик Изоляция FHRP

•  Входящий трафик ACE/GSS Выбор сайта с помощью DNS

Route Health Injection (RHI) Анонс /32 маршрутов на активные сервисы

Locator/ID Separation Protocol – LISP-VM Маршрутизация до сервиса


•  Одна и та же HSRP группа на всех сайтах с тем же виртуальным MAC адресом

•  Каждый сайт обеспечивает исходящую маршрутизацию •  OTV локализует исходящий трафик за счёт фильтрации HSRP hello сообщений между сайтами

•  ARP запросы перехватываются на OTV edge устройстве чтобы обеспечить ответы именно от локального шлюза

L2 L3

Active GWY Site 2

Active GWY Site 1

FHRP Hellos

FHRP Hellos ARP traffic is

kept local ARP traffic is kept local

West East


Layer 3 Core Intranet ISP A ISP B

Access

Agg

Access

VM= 10.1.1.100 Default GW = 10.1.1.1

DC A DC B

VLAN A

144.254.1.100 KAL-AP Change IP

144.254.200.100

144.254.200.100 144.254.1.100

GSS

SNAT SNAT

KAL-

AP o

n VI

P

L2 Links (GE or 10GE) L3 Links (GE or 10GE)


144.254.1.100

Layer 3 WAN

VM= 10.1.1.100 Default GW = 10.1.1.1

VLAN A

Public Network

MAC moved Change the IP@

144.254.200.100

Access

Agg

ISP A

Data Center A

144.254.1.0/24 is advertised into L3

144.254.1.100 144.254.200.100

Access

Agg

ISP B

Data Center B

SNAT SNAT



Access

Agg

Access

Agg

DC A DC B

VLAN A

Public Network

Probe to 10.1.1.100 Failed

IS 10.1.1.100 OK?


144.254.100.0/24 Backup for Data Center A

144.254.100.0/25 & 144.254.100.128/25 EEM or RHI can be used to get very granular

App VM = 10.1.1.100 Default GW = 10.1.1.1



Access

Agg Agg

DC A DC B

VLAN A

Public Network

Probe to 10.1.1.100 is OK

IS 10.1.1.100 OK? RHI


10.1.1.1 HSRP Group 1

144.254.100.0/24 Backup for Data Center A

144.254.100.0/25 & 144.254.100.128/25 EEM or RHI can be used to get very granular

App VM= 10.1.1.100 Default GW = 10.1.1.1

144.254.100.100/32 is advertised into L3 using RHI

10.1.1.1 HSRP Group 1


•  Отделяет идентификатор сервиса (IP адрес) от его местоположения •  Маршрутизация исходя из местоположения, а не адреса хоста •  Соотношение адреса и его местоположение хранятся в директории •  Поиск метоположения IP адреса по информации из директории •  Инкапсуляция трафика (IP in IP) и передача по месту нахождения хоста

•  Директория – распределенная база данных

ALT directory

Resolution & Registration Data Path

  Информация о хостах не хранится в таблице маршрутизации

  “Summarizable host routing”



VM= 10.10.10.1 Default GW = 10.10.10.100


Access

Agg

Access

Agg

DC A DC B

VLAN A

Public Network

Prefix Route Locator

10.10.10.1 A, B

10.10.10.2 A, B … …

10.10.10.5 C, D

10.10.10.6 C, D

Ingress Tunnel

IP_DA= A IP_DA = 10.10.10.1

C, D

A B Decap

3

D C

Encap 2

IP_DA = 10.10.10.1

IP_DA 10.10.10.1

1

IP_DA= D IP_DA = 10.10.10.1

Decap

3

IP_DA = 10.10.10.1


ESX Server A

Layer3 Core

ESX Server B

VLAN A – 10.1.1.0

FHRP: 10.1.1.1 FHRP: 10.1.1.1

- Virtual-Machine-A - IP Address = 10.1.1.100 - Mask: 255.255.255.0 - Default GW = 10.1.1.1

VLAN A – 10.1.1.0

A A’ B B’

MS MR PxTR

D

Client in LISP Site Client in non-LISP Site

C1 C2

E

- Virtual-Machine-A - IP Address = 10.1.1.100 - Mask: 255.255.255.0 - Default GW = 10.1.1.1

OTV Server-to-Server L2 traffic

LISP: L3 Client-to-Server •  Оптимизация маршрутизации с детальной информацией о

местоположении •  Оптимизация мобильности внутри или между подсетями •  Масштабирование прикладных сервисов

OTV: L2 Server-to-Server •  Оптимизация расширения LAN •  Распределение прикладных систем •  Надежная связь на втором уровне для мобильности

виртуальных сервисов и кластерных систем



•  Типичный сценарий – несколько ЦОД в комплексе зданий или на территории предприятия

•  Катастрофоустойчивость: минимальна

•  Связь LAN: оптоволокно 10GBASE-LR / 40GBASE-LR4/100GBASE-LR4, vPC/FabricPath

•  Связь FC SAN: оптоволокно –LW

•  Конвергентный транспорт (FCoE): Nexus 5500 до 3 км, Nexus 7000 F1/F2 до 10/80 км

•  Оптимизация пути: не нужна

•  Рассматривать как часть единого модульного ЦОД


•  Типичный сценарий – «резервный ЦОД» в пределах города или «метро-области»

•  Катастрофоустойчивость: частично

•  Связь LAN: оптоволокно 10GBASE-ER/ZR / DWDM (vPC/FabricPath), при необходимости - IP+OTV или MPLS/VPLS

•  Связь FC SAN: оптоволокно ER, CWDM/DWDM, при необходимости – FCIP. I/O Aceleration для оптимизации ввода-вывода (от 40-50 км)

•  Конвергентный транспорт (FCoE): Nexus 7000 F2 до 80 км

•  Оптимизация пути: по возможности

•  При наличии возможности – использование «тёмного волокна» для LAN и SAN, синхронная репликация, технологии метрокластеров, Vmotion


•  Типичный сценарий – «резервный ЦОД» в другом городе в пределах региона

•  Катастрофоустойчивость: значительная

•  Связь LAN: IP+OTV или MPLS/VPLS, DWDM (при наличии)

•  Связь SAN: FCIP, DWDM (при наличии). I/O Aceleration для оптимизации ввода-вывода

•  Оптимизация пути: желательна

•  Может использоваться для ряда «метрокластерных» технологий. Асинхронная репликация или синхронная с ограничениями и дополнительными инструментами


•  Типичный сценарий – ЦОД на случай катастрофы (DR) в другом регионе страны

•  Катастрофоустойчивость: высокая

•  Связь LAN: IP+OTV или MPLS/VPLS - если требует технология кластера

•  Связь SAN: FCIP – если необходимо. I/O Aceleration для оптимизации ввода-вывода

•  Оптимизация пути: необходима

•  Асинхронная репликация, «log shipping» или иные средства катастрофоустойчивости. Высокое время восстановления (часы и более). Непосредственная связь между ЦОД – если требует технология геокластера


Непрерывность обработки, катастрофоустойчивость и оптимальное использование

DC1 (Texas)

DC2 (Texas)

“Disaster Recovery (DR)” Катастрофоустойчивый удалённый ЦОД (RTP)

“Operational Continuity” Единая пара ЦОД

с локальной отказоустойчивостью

Metro area (в пределах 50 оптических миль)

Размещение непродуктивных приложений Автоматическая смена функций при катастрофе

Far away (> 200 миль, region-dependent)

http://www.cisco.com/web/about/ciscoitatwork/data_center/docs/Cisco_IT_Raleigh_Dual_Purpose_Data_Center_Case_Study.pdf


http://www.cisco.com/go/dci


Спасибо!

Date post:	22-May-2015
Category:	Technology
Upload:	cisco-russia
View:	857 times
Download:	9 times

Принципы построения катастрофоустойчивых ЦОД.

Technology