Эволюция сетевой архитектуры ЦОД.

1 © 2012 Cisco and/or its affiliates. All rights reserved.

Скороходов Александр Системный инженер-консультант

25 октября 2012 г

© 2012 Cisco and/or its affiliates. All rights reserved. 2

Принимайте активное участие в Cisco Expo и получите в подарок Linksys E900.

Как получить подарок:

•  внимательно слушать лекции по технологиям Cisco

•  посещать демонстрации, включенные в основную программу

•  пройти тесты на проверку знаний

Тесты будут открыты:

с 15:00 25 октября по 16:30 26 октября

www.ceq.com.ua


Мейнфреймы

Phase 1

Консолидация

и управляемость

Эволюция архитектуры приложений

Централизация

Phase 2

Распределенная обработка

Децентрализация

Phase 3

Сервис-ориентированный ЦОД

Виртуализация Облачные вычисления


Варианты эволюции сетей ЦОД

Сверхнизкая задержка •  Алгоритмический трейдинг

•  L3 и мультикаст •  Без виртуализации •  Небольшой масштаб •  Подключения: 10G->40G •  Nexus 3000 & UCS

MSDC •  Layer 3 доступ (iBGP, ISIS) •  Сотни и тысячи стоек •  Однородная среда •  Без виртуализации •  Подключения: 1G -> 10G •  Nexus 2000,3000,5500,7000 и UCS

slot 1 slot 2 slot 3 slot 4 slot 5 slot 6 slot 7 slot 8

blade1 blade2 blade3 blade4 blade5 blade6 blade7 blade8























Виртуализированный ЦОД •  Провайдеры и корпорации •  Виртуализация вычислений •  Разнородная среда •  Подключения: 1G -> 10G •  Nexus 1000v,2000,5500,7000 и

UCS

HPC/GRID •  L3 и L2 •  Без виртуализации •  iWARP & RCoE •  10G -> 40G •  Nexus 2000, 3000,

5500, 7000 & UCS


Новые продукты   Аппаратные коммутаторы

Nexus   SAN коммутаторы MDS   Виртуальный коммутатор

Nexus 1000V   Унифицированная вычислительная система UCS

Новые подходы и технологии

  Высокоскоростной Ethernet   Fibre Channel over Ethernet   Virtual PortChannel   FabricPath/TRILL   Сетевая поддержка виртуализации

  OTV/LISP

Развитие требований   Рост производительности   Консолидация ввода-вывода

  Простая и масштабируемая архитектура

  Виртуализация   Объединение ЦОД

От новых потребностей к технологиям, продуктам и архитектурам


NX-OS 4.1 NX-OS 4.2

1K Cisco Nexus 1000V

2008

x86

Nexus 2000 Fabric Extender

Nexus 4000 Nexus 5500

Nexus 7000 Nexus 1000V Virtual Switch

Nexus 3000

•  На рынке с 2008 года

•  Единая операционная система NX-OS для всего семейства Nexus и MDS: модульность и высокая доступность

•  Лидер рынка коммутации в ЦОД

•  Более 17,000,000 портов семейства Nexus

•  Более 36,000 заказчиков используют NX-OS


•  Повышение производительности подключения серверов и магистрали

1/10 Gigabit Ethernet до серверов, 40/100GE, TRILL/FabricPath

•  Консолидация ввода-вывода серверов Fibre Channel over Ethernet (FCoE/DCB), Adapter-FEX

•  Более простая и «плоская» архитектура сети ЦОД без опоры на STP

Virtual Portchannel, FEX, TRILL/FabricPath

•  Сетевая поддержка виртуализации Nexus 1000V, VM-FEX

•  Надёжная и производительная связь ЦОД OTV, LISP



•  Причины Рост производительности процессоров

Десятки ядер на сервер, многие десятки «ГГц» Виртуализация:

Десятки VM на один хост – суммирование требований Конвергентный транспорт:

Передача FCoE - производительность не менее 10Гбит/с

•  Решения 10 Гбит/с до серверов (с сохранением эффективной поддержки 1Гбит/с!)

Варианты подключения 10G: DAC, AOC, 10GBASE-T 40/100 Гбит/с на магистрали

Требования к СКС Горизонтальное масштабирование производительности

Cisco FabricPath, IETF TRILL


Кабель Задержка Потребление Расстояние Технология

Twinax ~0 ~0.1W 10m SFP+ CU Copper

MM 62.5µm MM 50µm ~0 1W 82m

300m SFP+ SR short reach

MM OM2 MM OM3 ~0 1W 10m

100m SFP+ USR ultra short reach

Cat6 Cat6a/7 Cat6a/7

2.5µs 2.5µs 1.5µs

~6W ~6W ~4W

55m 100m 30m

10GBASE-T

100Mb 1Gb 10Gb

UTP Cat 5 UTP Cat 5 SFP Fiber

10Mb

UTP Cat 3

Mid 1980’s Mid 1990’s Early 2000’s Late 2000’s

X2 SFP+ Cu (BER better than 10 )

SFP+ Fiber Cat 6/7

-18


●  Спецификация: SFF-8431

●  Называют 10GSFP+Cu, CX1, 10G-CR...

●  2 пары твинаксиального кабеля

●  Коннекторы установлены и протестированы на заводе

●  Взаимозаменяемость с оптическими трансиверами SFP+

●  Низкая стоимость, малое энергопотребление, минимальная задержка

●  Небольшая длина (до ~10м)

●  Оптимально подходит для соединений внутри стойки или группы стоек

●  Вариант: активные оптические кабели (меньше диаметр)

●  Поддерживаются на всех моделях Nexus: Nexus 2000/3000/4000/5000/7000

Коннекторы SFP+

Кабель


Оптические аплинки ПодключениеFEXкабелямиSFP+

илипооптоволокнутрансиверамиFET

Оптические аплинки

Оптические аплинки


•  Стандарт: IEEE 802.3an

•  Предпочтительный вариант для интегрированных адаптеров в серверах: возможна совместимость с 10/100/1000

•  До 100 метров (по СКС категории 6A или 7)

•  Высокая сложность обработки -> высокое энергопотребление (до 4-8 Вт на порт)

•  Уровень ошибок (BER) до 10-12 - проблема для FCoE

•  Решаются в новых поколениях микросхем/оборудования

•  Поддерживается Nexus 2000/3000/5500/7000


•  Стандарт IEEE 802.3ba - одобрен в июне 2010 г

•  Утвержденные варианты интерфейсов 40G: 40GBASE-KR4: Соединения внутри устройств

40GBASE-CR4: 10 м по твинаксиальному кабелю – 4 x 10G 40GBASE-SR4 : 100 м по кабелю OM3 по 4 парам волокон

40GBASE-LR4 (СWDM): 10 км по одномодовому волокну – 4λ x 10G

•  Утвержденные варианты интерфейсов 100G 100GBASE-CR10 : 10 м по твинаксиальному кабелю – 10 x 10G

100GBASE-SR10: 100/125 м по кабелю OM3/OM4 по 10 парам волокон

100GBASE-LR4 (DWDM): 10 км по одномодовому волокну – 4λ x 25G

100GBASE-ER4 (DWDM): 40 км по одномодовому волокну – 4λ x 25G


40G: 12F MTP коннектор 100G: 24F MTP коннектор


•  40G (и 100G) – внутри ЦОД, 100G для связи ЦОД •  Подготовка СКС ЦОД к требованиям 40G:

•  Многомодовое внедрение: 4 параллельных пары

•  Коннектор MTP12: 1x 40G = 6 x 10G с точки зрения СКС

•  Обратная совместимость с 10G – универсальные QSFP порты

•  Расстояние ограничено 100 м для кабеля OM3 – не 300 м (как для 10G-SR)

•  Внедрение 100G: •  Многомодовое внедрение: 10 параллельных пар (коннектор MTP24)

•  Одномодовая оптика 100G: большие и энергоёмкие решения (могут уменьшиться в размерах и мощности в следующих поколениях)

•  Обратная совместимость СКС: •  Патч-корды и патч-панели MTP <-> LC

•  Патч-корды MTP24 – MTP12

•  Поддержка на Nexus 3000, 7000


Spanning-Tree

Активных путей

До 15 Тбит/с

Один

Виртуализация инфраструктуры и производительность

Масштабируемость Layer 2

vPC

До 30 Тбит/с

Два

FabricPath

До 240 Тбит/с

16

16 Switches

Производитель- ность блока



•  Причины Рост числа подключений к SAN

•  Виртуализация с поддержкой мобильности и HA

•  Кластерные системы •  Защита информации средствами СХД

Большое числе интерфейсов LAN •  Требования виртуализированных внедрений

Распространение блейд-систем •  Трудно обеспечить много интерфейсов

•  Решения FCoE для SAN трафика

•  Консолидация и сохранение полной совместимости с моделью FC DCB для обеспечения гарантий для FCoE трафика

•  PFC, ETS, DCBX Adapter-FEX/IEEE802.1BR

•  Доведение множества логических интерфейсов на уровень ОС/гипервизора


Используя FCoE/DCB (+Adapter-FEX) •  Общий транспорт •  Обеспечение совместимости

SAN IPC

Storage RDMA/IPC Internet/ Intranet

Без консолидации •  Много портов ввода-вывода •  Высокие расходы на оборудование и эксплуатацию

Unified Fabric

LAN SAN

IPC LAN


•  Метод передачи фреймов FC по Ethernet •  Выглядит как FC для серверов и сети •  Сохраняет текущую инфраструктуру

и управление FC •  Фрейм FC остается неизменным

•  Стандарт утвержден 3 июня 2009 года (ANSI T11 FC-BB-5)

•  Семейство стандартов IEEE DCB для «улучшенного» Ethernet

•  Priority Flow Control: отсутствие потерь (аналог BB_Credits в FC)

•  Enhanced Transmission Selection: выделение полосы

•  DCB Exchange: согласование настроек и логическое состояние

Fibre Channel

Ethernet

Cisco первой представила основанный на стандартах коммутатор FCoE Cisco Nexus 5000


Nexus 5010

Nexus 5020

Nexus 4000 Nexus 2232

NX-OS & DCNM

Nexus 5548

Nexus 5596 MDS 9500

Nexus 7000

F1 32-port F2 48-port

FCoE 8-port

Директорный класс

Фиксированная конфигурация


•  Первый шаг – «консолидация доступа» («Unified Wire»)

•  Существенная экономия при сохранении существующего ядра сетей Ethernet и Fibre Channel

•  Лежит в основе Cisco UCS

SAN A SAN B 10GE Backbone

VF порты

VN порты (CNA)


Ethernet core FCoE Storage

DCB и FCoE

  Расширение консолидации ввода-вывода на магистраль

  Сохранение изоляции SAN фабрик для отказоустойчивости

  Поддержка систем хранения с подключением по DCB/FCoE

  Теперь и для Cisco UCS (с релиза 2.1) ! VF

VN

VE порты

VE порты



•  Причины Рост масштабов ЦОД Масштабирование производительности Управляемость Растягивание подсетей

•  Решения Распределённый коммутатор доступа: архитектура FEX-Link

1G или 10G, SFP+ или «витая пара» Продолжение внутрь сервера: Adapter-FEX, VM-FEX

Virtual Portchannel Уход от Spanning Tree с сохранением общей топологии

Cisco FabricPath/IETF TRILL «Маршрутизация на 2 уровне» Горизонтальное масштабирование Полное исключение Spanning Tree на магистрали


•  Nexus 2000 FEX выполняет роль виртуальной карты для Nexus 5500

•  Единый конфигурационный файл на Nexus 5500

•  Между FEX и Nexus 5500 не используется STP

=

Виртуальное модульное шасси

+ Nexus 5500

Nexus 2000


Access Layer

Серверы

Agg Layer

Core Layer

L3 L2

VSS/vPC

Nexus 2000 Fabric Extender

Nexus 5500

•  Поддержка Nexus 5000/5500, 7000 и UCS 6100 как «материнских устройств»

•  Сочетание моделей внедрения EoR, MoR, ToR

•  Миграция к 10GE и FCoE подключениям серверов

•  Сочетание типов кабелей (оптика и медь)

•  Гибкость выбора головных устройств, типов FEX, способа размещения и соединения

Медь/ Twinax

FET/Twinax


Nexus 2232PP 32 серверных портов 1/10GE SFP/SFP+ 8 uplink портов 10GE SFP+ Поддержка консолидации ввода-вывода (FCoE)

Nexus 2248TP-E 48 серверных портов 100/1000 UTP 4 uplink порта 10GE SFP+

Nexus 2224TP 24 серверных порта 100/1000 UTP 2 uplink порта 10GE SFP+

Nexus 2232TM-E 32 серверных порта 1/10GBASE-T 8 uplink портов 10GE SFP+

FET-10G Экономичное решения для

подключения FEX по оптоволокну

B22HP / B22F Функциональность FEX внутри блейд-

шасси HP / Fujitsu


10G SFP+ CX1 (Twinax) •  Медный кабель с SFP+ модулями

•  Для подключений серверов в стойке и соединений между стойками

•  Низкая стоимость

•  Низкое энергопотребление

•  Пассивные кабели: 1, 3, 5 м

•  Активные кабели: 7, 10 м

Fabric Extender Transceiver (FET) •  Экономичный SFP+ трансивер

(только) для подключения Nexus 2000 к материнской системе

•  Длина линии: до 100 м (OM3)/ 25 м (OM2)

•  Энергопотребление ~ 1 Вт

•  Поставляется вместе с Nexus 2000

•  Несовместим с SR трансиверами


•  Возможность организации агрегированного канала (port channel) приходящего на два разных коммутатора

•  Уход от опоры на STP

•  Использование полосы всех имеющихся соединений

•  Быстрая сходимость при отказе устройства или канала

•  Обеспечение отказоустойивости и масштабируемости при подключении серверов

•  Сокращение CAPEX и OPEX

•  Поддерживается на Nexus 2000/3000/5000/7000

Без vPC

С использованием vPC


•  «Ethernet матрица»: Полный уход от Spanning Tree Задействование всех путей Рост производительности путем увеличения числа узлов и связей Принципиальное исключение возможности бесконечных «петель» Быстрая и надежная сходимость

•  Стандартизация: IETF TRILL

•  Решение Cisco: FabricPath

•  Поддерживается на Nexus 5500/7000


•  «Маршрутизация на втором уровне» с использованием до 16 альтернативных путей (ECMP) – до 256 соединений!

•  Независимость от Spanning-Tree Protocol (и его устранение): хорошая стабильность и сходимость

•  Прямые/оптимальные пути трафика •  “VLAN anywhere” – гибкость внедрения и мобильность VM •  Выучивание MAC «по диалогам»: эффективное использование таблиц •  Совместимость с «классическим» Ethernet

•  VPC+ обеспечивает VPC в L2MP сеть

•  Простота настройки •  Продолжение возможностей IETF TRILL

Балансировка до 16 путей

Cisco FabricPath


•  Существенное повышение производительности •  Сокращение числа устройств •  Повышение надёжности •  Упрощение эксплуатации

меньше устройств

проще настройка

Традиционная сеть со Spanning Tree Сеть на базе FabricPath

Fully Non-B

locking

2, 048 Servers 8 Access Switches 64 Access Switches

2, 048 Servers

Blocked Links

Ove

rsub

scrip

tion

16:

1

8:1

2:1

4 Pods

FabricPath



Проблемы:

Сетеваяподдержкавиртуализации:•  Расширяет сеть до VM •  Общие с физическими коммутаторами функции сетевых сервисов

•  Скоординированное с VM управление

VMoFon

•  Возможна «миграция» VM на другой сервер. Политика должна следовать вслед за VM

•  Сеть «не видит» локально коммутируемый трафик и не может применить к нему политику

•  Сеть не может выделить на порту трафик конкретной VM

VLAN101

•  Изменение модели эксплуатации


•  Nexus 1000V обеспечивает полнофункциональную коммутацию для VMWare ESX (скоро и для MS Hyper-V, далее - Xen, KVM)

•  Ключевые возможности: – Управление VM по политикам –  Функции безопасности, поддержка Netflow, ERSPAN, мультикаста, etherchannel

– Мобильность настроек сети, безопасности и мониторинга

– Сохраняет эксплуатационную модель

•  Сохранение политик и связи с сетью при миграции виртуальных машин

VMW ESX

Server 1

VMware vSwitch Nexus 1000V VMW ESX

VMware vSwitch Nexus 1000V

Server 2

Nexus 1000V

VM #4

VM #3

VM #2

VM #1

VM #8

VM #7

VM #5

VM #5

VM #2

VM #3

VM #4

VM #5

VM #6

VM #7

VM #8

VM #1

VM #1

Virtual Center

Nexus 1000V

VSM


*IEEE 802.1BR pre-standard

Fabric Extender   Консолидация управления сетью

  FEX является частью «родительского коммутатора»

  Использует пре-стандартную реализацию IEEE 802.1BR

IEEE 802.1BR*

Приложения, требующие многих интерфейсов

Единое устройство

Legacy

FEX

Nexus 5500 или UCS Fabric Interconnect


Legacy

IEEE 802.1BR* Adapter FEX   Консолидация многих интерфейсов в единое 10GE подключение

  Расширение сети внутрь сервера



IEEE 802.1BR*

Adapter FEX

Приложения, требующие многих интерфейсов

FEX

Единое устройство Nexus 5500 или UCS Fabric Interconnect


Legacy

IEEE 802.1BR*

Adapter FEX

Hypervisor

VM-FEX   Консолидация физической и виртуальной сети

  Каждая VM получает порт на распределённом коммутаторе


IEEE 802.1BR* IEEE 802.1BR*


VM-FEX

FEX



Hypervisor

IEEE 802.1BR*

Fabric Extender   Консолидация управления   FEX выглядит линейной картой головного коммутатора

Adapter FEX   Консолидация многих интерфейсов в единое 10GE подключение

  Расширение сети внутрь сервера

VM-FEX   Консолидация физической и виртуальной сети

  Каждая VM получает порт на распределённом коммутаторе

IEEE 802.1BR* IEEE 802.1BR*


Adapter FEX Legacy

Управление сетевыми подключениями до уровня ОС и виртуальной машины

FEX

VM-FEX

Единое устройство • Порты коммутатора • Порты FEX • Виртуальные адаптеры • Виртуальные машины




•  Связь сетей передачи данных vPC: Nexus 5000/7000 FabricPath: Nexus 5000/7000 OTV: Nexus 7000/ASR1K VPLS – ASR9K, Cat6500, Nexus 7000 (будущее)

•  Связь сетей хранения данных Связь по FC: Cisco MDS 9148/9500 Связь по FCoE: Cisco Nexus 7000 (до 80 км с картами F2) Связь по FCIP: Cisco MDS 9222i/9500

•  Оптимальный путь трафика RHI: ACE + инфраструктура DNS: ACE GSS LISP (для мобильности VM) – Nexus 7000

•  Подробнее – в следующей презентации!


Спасибо!

Date post:	08-Jun-2015
Category:	Technology
Upload:	cisco-russia
View:	415 times
Download:	6 times

Эволюция сетевой архитектуры ЦОД.

Technology