Решения для сетей ЦОД:

новые горизонты

Скороходов Александр

Системный инженер-консультант

askorokh@cisco.com

Развитие решений для ЦОД:

эволюция и революции 7

Как просто было жить раньше...

Layer 2

Layer 3

Доступ

Ядро

Распределение Layer 2

Layer 3

Доступ

Ядро

Сервисы

Агрегация

Кампус ЦОД

...и как всё изменилось сейчас

Layer 2

Layer 3

Доступ

Ядро

Распределение Layer 2

Layer 3

Доступ

Ядро

Сервисы

Агрегация

Кампус ЦОД

Виртуализация

Оверлейные сети

40G/100G

Конвергентный транспорт

Облачные вычисления

SDN

Сверхнизкая задержка

Сетевые фабрики

Сетевые подключения

Повышение производительности

Причины Рост производительности процессоров

— Десятки ядер на сервер, многие десятки «ГГц»

Виртуализация: — Десятки VM на один хост – суммирование требований

Конвергентный транспорт: — Передача FCoE - производительность не менее 10Гбит/с

Решения 10 Гбит/с до серверов (с сохранением эффективной поддержки 1Гбит/с!)

— Варианты подключения 10G: DAC, AOC, 10GBASE-T

40/100 Гбит/с на магистрали — Требования к СКС

Горизонтальное масштабирование производительности — Cisco FabricPath, IETF TRILL

Кабель Задержка Потребление Расстояние Технология

Twinax ~0 ~0.1W 10m SFP+ CU Copper

MM 62.5mm MM 50mm

~0 1W 82m 300m

SFP+ SR short reach

MM OM2 MM OM3

~0 1W 10m 100m

SFP+ USR ultra short reach

Cat6 Cat6a/7 Cat6a/7

2.5ms 2.5ms 1.5ms

~6W ~6W ~4W

55m 100m 30m

10GBASE-T

100Mb 1Gb 10Gb

UTP Cat 5 UTP Cat 5

SFP Fiber

10Mb

UTP Cat 3

Mid 1980’s Mid 1990’s Early 2000’s Late 2000’s

X2

SFP+ Cu (BER better than 10 )

SFP+ Fiber Cat 6/7

1 8

10 Gigabit Ethernet варианты подключения серверов

Медные кабели SFP+ Direct Attach

● Спецификация: SFF-8431

● Называют DAC, 10G SFP+ Cu, CX1, 10G-CR...

● 2 пары твинаксиального кабеля

● Коннекторы установлены и протестированы на заводе

● Взаимозаменяемость с оптическими трансиверами SFP+

● Низкая стоимость, энергопотребление, минимальная задержка

● Небольшая длина (до ~10м)

● Нет официального стандарта: вопросы совместимости

● Нет средств полевого тестирования

● Оптимально для соединений внутри стойки или группы стоек

● Вариант: активные оптические кабели (AOC) (меньше диаметр)

Коннекторы SFP+

Сечение

Активный

оптический кабель

10GBase-T

● Стандарт: IEEE 802.3an

● Предпочтительный вариант для интегрированных адаптеров

в серверах: возможна совместимость с 10/100/1000

● До 100 метров (по СКС категории 6A или 7)

● Высокая сложность обработки -> высокое

энергопотребление (до 4-8 Вт на порт)

● Уровень ошибок (BER) до 10-12 - проблема для FCoE

● Решаются в новых поколениях микросхем/оборудования

● Поддержка FCoE уже сертифицирована на Nexus

5596T/2232TM-E (до 30м)

10 Gigabit по «витой паре»

Выскоскоростной Ethernet High Speed Ethernet: 40G/100G

Стандарт IEEE 802.3ba - одобрен в июне 2010 г

Утвержденные варианты интерфейсов 40G:

40GBASE-KR4: Соединения внутри устройств

40GBASE-CR4: 10 м по твинаксиальному кабелю – 4 x 10G

40GBASE-SR4 : 100 м по кабелю OM3 по 4 парам волокон

40GBASE-LR4(СWDM): 10 км по одномодовому волокну – 4λ x 10G

40GBASE-FR: до 2 км по одномодовому волокну, одна λ @40G (IEEE802.3bg)

Утвержденные варианты интерфейсов 100G

100GBASE-CR10 : 10 м по твинаксиальному кабелю – 10 x 10G

100GBASE-SR10: 100/125 м по кабелю OM3/OM4 по 10 парам волокон

100GBASE-LR4(DWDM):10 км по одномодовому волокну – 4λ x 25G

100GBASE-ER4(DWDM):40 км по одномодовому волокну – 4λ x 25G

Другие варианты разрабатываются: IEEE 802.3bm, 802.3bj, 802.3bq

40G: 12F MTP коннектор 100G: 24F MTP коннектор

Оптический 40G/100G Ethernet внутри ЦОД Параллельные оптические жилы

1 x QSFP+ обеспечивает замену 4 x 10G SFP+

(расстояние – до 100м на OM3) с меньшей ценой и

энергопотреблением

4 x QSFP+

- 160Gbps

12-fiber MPO

connector with

key on top

4 LC duplex connectors with latch on top

(unused channels 5 to 8 are cut)

~1.5W

QSFP+ SR

~1.5W ~1.5W ~1.5W ~1.5W

~1.5W ~1.5W ~1.5W ~1.5W

10G-SR 10G-SR

~1.5W

QSFP+ SR

Переходной кабель MTP12 – 4*LC

Cisco Nexus 6000

Cisco Nexus 2248PQ FEX

QSFP+ трансиверы и передача 10/40G Гибкость и экономия

Bi-Directional QSFP 40G-SR Передача 40G Ethernet по традиционной СКС!

Предлагается только Cisco!

Ключевые параметры

40G QSFP+ трансивер

Работа по одной многомодовой паре

Поддержка до 100м на OM3 и 125 м на OM4

TX/RX на 2 длинах волн (в диапазоне 850 нм) по 20G на каждой

Экономия

~75% экономии на 2 волоконной СКС по сравнению с 12-волоконной

~ 70% экономии на патч-кордах

40G на уровне цены 10G!

TX/RX

TX/RX

2 x 20G

2 x 20G

Duplex Multimode Fiber

QSFP-BIDI

Duplex Multimode Fiber

QSFP-BIDI

19

CPAK

Новое поколение трансиверов для 100G Ethernet

• Новый форм-фактор 100G трансивера, разработан Cisco с

использованием «кремниевой фотоники»

• Стандартный оптический интерфейс

• Высокая плотность

• Низкое энергопотребление

• Существенно меньше, чем 100G CFP (и меньше, чем CFP2)

• Поддержка на широком наборе устройств

SR10 CPAK (доступность

скоро)

LR4 CPAK

(уже доступен)

100m (OM3) or 150m (OM4)

MMF ribbon cable

MPO-24 connector

Can also run as 10X10G SR or 2X40G

SR4

10km

SMF duplex cable

SC connector

Экономика трансиверов 10G, 40G, 100G

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

$/Gbps, в сравнении с 10GBASE-SR

10GBASE-SR

40GBASE-SR4

40GBASE-CSR4

40GBASE-BD

100GBASE-SR4

Сравнение стоимости за единицу

пропускной способности:

• 40GBASE-SR4/CSR4 дешевле за 10G

линию, чем отдельные 10G трансиверы

• Трансивер 40GBASE-BD лишь

немногим дороже 10G и работает по

такой же оптической линии!

• Трансивер 100G дороже за 10G линию,

чем 10G/40G альтернативы

11.12.2013 © 2013 Cisco and/or its affiliates. All rights reserved. 20

Применение 40G и 100G

40G (и 100G) – внутри ЦОД, 100G для связи ЦОД

40GBASE-SR4:

• Стандартизовано

• Обратная совместимость с 10G – универсальные QSFP порты

• 4 параллельных пары, коннектор MTP12: 1x 40G = 6 x 10G с точки зрения СКС – используйте 40GBASE-BD, нужна одна пара и существенно ниже цена

• Расстояние 40GBASE-SR4 ограничено 100 м для кабеля OM3 (не 300м как для 10G-SR) – использйте 40GBASE-СSR4

Внедрение 100G:

• Многомодовое внедрение: 10 параллельных пар (коннектор MTP24)

• Одномодовая оптика 100G: большие и энергоёмкие решения (могут уменьшиться в размерах и мощности в следующих поколениях)

Обратная совместимость СКС:

• Патч-корды и патч-панели MTP <-> LC

• Патч-корды MTP24 – MTP12

Консолидация ввода-вывода

23

Консолидация ввода-вывода

Потребности

Рост числа подключений к SAN • Виртуализация с поддержкой мобильности и HA

• Кластерные системы

• Защита информации средствами СХД

Большое числе интерфейсов LAN — Требования виртуализированных внедрений

Распространение блейд-систем — Трудно обеспечить много интерфейсов

Решения

FCoE для SAN трафика — Консолидация и сохранение полной совместимости с моделью FC

DCB для обеспечения гарантий для FCoE трафика — PFC, ETS, DCBX

Adapter-FEX — Доведение множества логических интерфейсов на уровень ОС/гипервизора

Fibre Channel over Ethernet (FCoE)

Метод передачи фреймов FC по Ethernet

• Выглядит как FC для серверов и сети

• Сохраняет текущую инфраструктуру

и управление FC

• Фрейм FC остается неизменным

Стандарт утвержден 3 июня 2009 года (ANSI T11 FC-BB-5)

Семейство стандартов IEEE DCB для «улучшенного» Ethernet

• Priority Flow Control: отсутствие потерь (аналог BB_Credits в FC)

• Enhanced Transmission Selection: выделение полосы

• DCB Exchange: согласование настроек и логическое состояние

Fibre

Channel

Ethernet

Cisco первой представила основанный на стандартах

коммутатор FCoE Cisco Nexus 5000

Nexus 4000 Nexus 2232

NX-OS & DCNM

Nexus 5548

Nexus 5596

MDS 9500 Nexus 7000

Директорный класс

Фиксированная

конфигурация

Nexus 6001

Nexus 6004

Nexus 2248-PQ

MDS 9700* MDS 9250i

*Будущее

Коммутаторы Cisco с поддержкой FCoE

FCoE: консолидация на уровне доступа

Первый шаг – «консолидация доступа» («Unified Wire»)

Существенная экономия при сохранении существующего ядра сетей

Ethernet и Fibre Channel

Лежит в основе Cisco UCS

SAN A SAN B LAN

Backbone

VF порты

VN порты (CNA)

Ethernet core FCoE

Storage

DCB и FCoE

FCoE: консолидация в масштабах сети

Расширение консолидации ввода-вывода на магистраль

Сохранение изоляции SAN фабрик для отказоустойчивости

Поддержка систем хранения с подключением по DCB/FCoE

Теперь и для Cisco UCS (с релиза 2.1) !

VF

VN

VE порты

VE порты

FCoE на Nexus 7000 Выделенный Storage VDC

Storage VDC LAN VDC

FCoE& FIP Ethernet

Storage VDC: виртуальный

FC/FCoE коммутатор

Выполняет только процессы,

связанные с FC/FCoE

Только один на систему

Изоляция уровней управления и

коммутации

Выделенный Storage VDC

Модель для хостов/СХД, не для

ISL линков

Отдельный VDC для Storage

Ethernet трафик «расщепляется»

на основании Ethertype

FCoE трафик обрабатывается в

Storage VDC

LAN VDC Storage VDC

Converged I/O

FCoE & FIP Ethernet

Выделенный Storage VDC – разделяемые интерфейсы

SAN LAN

LAN VDC

Storage VDC

Nexus7000

Nexus7000

LAN VDC

Storage VDC

FCoE для связи SAN между ЦОД? Да! С картами F2/F2E

Поддерживаемые расстояния для FCoE транспорта:

Nexus 5500: до 3 км

Nexus 7000 с F1 картами: до 10 км

Nexus 7000 с F2/F2E картами: до 80 км с DWDM SFP+

Использование отдельных соединений для LAN и SAN трафика

До 80 км Nexus 7000

Nexus 7000

Storage VDC

Storage VDC

Storage VDC

Storage VDC

Развитие архитектуры сети ЦОД

Развитие архитектуры сети ЦОД

Причины

Рост масштабов ЦОД

Масштабирование производительности

Управляемость и программируемость

Растягивание подсетей

Виртуальные и физические нагрузки

Решения (подробнее – в следующей презентации)

Распределённый коммутатор доступа: архитектура FEX-Link

Cisco FabricPath/IETF TRILL

Dynamic Fabric Automation

Cisco ACI

32

Распределённый

виртуальный модульный

коммутатор

(3000+ портов Ethernet)

+

Cisco Nexus® 2000 FEX

Cisco Nexus® 5500/6000

Cisco Nexus® 2000 FEX

Cisco Nexus® 7000

+

Виртуальное модульное шасси с FEX Nexus 5500/6000/7000 + Nexus 2000

Nexus 2000 FEX выполняет роль виртуальной карты для Nexus 5500/7000

Единый конфигурационный файл

Между FEX и Nexus 5500/7000 не используется STP

Cisco FabricPath: ключевые возможности

• Маршрутизация на втором уровне – «лучшее из двух миров»: «надмножество» возможностей IETF TRILL

• Быстрая сходимость, оптимальные пути

• Устранение Spanning-Tree Protocol внутри сети

• Стабильность, сходимость, производительность

• Использование до 16 альтернативных путей (ECMP) – до 256 соединений!

• горизональное масштабирование производительности

• снижение чувствительности к отказам

• Выучивание MAC «по диалогам»

• эффективное использование таблиц

• Совместимость с «классическим» Ethernet

• VPC+ обеспечивает VPC в L2MP сеть

• Поддержка FEX для ещё большей масштабируемости

• Простота настройки

Архитектура Dynamic Fabric Automation

• Анонсирована Cisco в июне 2013

• Возможности:

• Оптимизированный распределённый транспорт: L2+L3, физические и виртуальные узлы

• Виртуальные «сетевые контейнеры» на основе виртуальных сегментов до уровня физических серверов и VM

• Программируемость, автоматизация, открытые API

• Опирается на существующие семейства оборудования: Nexus 6000/7000/7700

• Существующие технологиях Nexus с дополнительными улучшениями и единым управлением с возможностями программирования и автоматизации

Cisco ACI: новое поколение инфраструктуры ЦОД

ACI фабрика

Программируемость, масштабируемость, открытость

App DB Web

Внешняя сеть

передачи

данных

QoS

ACL

QoS

LB

QoS

МСЭ, LB

Application Policy

Infrastructure

Controller

APIC

Подробнее – в выступлении «Сетевая инфраструктура ЦОД,

ориентированная на приложения и Nexus 9000» 21 ноября

Сетевая поддержка виртуализации вычислений

Сетевая поддержка виртуализации вычислений

Проблемы:

Сетевая поддержка виртуализации:

• Расширяет сеть до VM

• Общие с физическими коммутаторами

функции сетевых сервисов

• Скоординированное с VM управление

VMotion • Возможна «миграция» VM на другой

сервер. Политика должна следовать

вслед за VM

• Сеть «не видит» локально

коммутируемый трафик и не может

применить к нему политику

• Сеть не может выделить на порту

трафик конкретной VM

VLAN 101

• Изменение модели эксплуатации

Cisco Nexus 1000V Виртуальный распределенный программный коммутатор

• Nexus 1000V обеспечивает полнофункциональную коммутацию для VMWare ESX и MS Hyper-V (скоро и для KVM, в планах – Xen)

• Ключевые возможности: –Управление VM по политикам

– Функции безопасности, поддержка Netflow, ERSPAN, мультикаста, etherchannel

–Мобильность настроек сети, безопасности и мониторинга

–Сохраняет эксплуатационную модель

• Сохранение политик и связи с сетью при миграции виртуальных машин

VMW ESX

Server 1

VMware vSwitch Nexus 1000V

VMW ESX

VMware vSwitch Nexus 1000V

Server 2

Nexus 1000V

VM

#4

VM

#3

VM

#2

VM

#1

VM

#8

VM

#7

VM

#5

VM

#5

VM

#2

VM

#3

VM

#4

VM

#5

VM

#6

VM

#7

VM

#8

VM

#1

VM

#1

vCenter

Nexus 1000V

VSM

Подробнее – в выступлениях «Коммутация и сервисы в виртуализированной

вычислительной среде» 19 ноября и «Практика внедрения

виртуализированной сетевой инфраструктуры» 21 ноября

vCenter

Cisco

Nexus

1000V

VEM

Cisco

Nexus

1000V

VEM

Cisco

Nexus

1000V

VEM

VM VM VM VM VM VM VM VM VM VM VM VM

Cisco Nexus 1000V VSM

vSphere ESXi vShpere ESXi vSphere ESXi

Server Server Server

Cisco Nexus 1000V для VMware vSphere

40

Cisco

Nexus

1000V

VEM

Cisco

Nexus

1000V

VEM

Cisco

Nexus

1000V

VEM

VM VM VM VM VM VM VM VM VM VM VM VM

Cisco Nexus 1000V VSM

System Center 2012 Virtual Machine Manager

Windows Server Hyper-V Windows Server Hyper-V Windows Server Hyper-V

Server Server Server

Cisco Nexus 1000V для Microsoft Windows 2012 Hyper-V

41

Virtual Appliance Nexus 1100

VSM NAM VSG VSM

VEM VEM vPath vPath

vSphere Hyper-V

VSM: Virtual Supervisor Module

VEM: Virtual Ethernet Module

vPath: Virtual Service Data-path

VSG: Virtual Security Gateway

vWAAS: Virtual WAAS

ASA1000V: Adaptive Security Appliance

CSR1000V: Cloud Services Router

Virtual Blades

Virtual Supervisor Module(VSM)

Network Analysis Module (NAM)

Virtual Security Gateway (VSG)

Datacenter Network Manager (DCNM)

vWAAS VSG ASA1000V

vPath • Перенаправление трафика

• Кэширование политик

Экосистема Cisco Nexus 1000V

Citrix

NetScaler VPX

Imperva

SecureSphere

WAF

CSR1000V

Программируемые сети

43

Разное значение для разных заказчиков

Программный доступ для приложений: аналитика и оптимальный транспорт

Разделение коммутации и управления (пример: OpenFlow): экспериментальные протоколы и функции, «нарезка сетей»

Виртуальные оверлейные сети: гибкость транспорта и сегментация для облачных сред

43

Программно-определяемые сети

Подробнее – в выступлении «Программируемые и программно-

определяемые сети» 21 ноября

Программируемые сети – на всех уровнях

z Уровень коммутации

Уровень управления

Сетевые сервисы

Управление и оркестрирование

Транспорт

Network Elements and Abstraction

Analysis and Monitoring, Performance and Security

OpenFlow/ SDN

Application Developer Environment

Сбор

информации

из сети

Оптимальное программирование

44

a

Самый широкий портфель сетевых решений для ЦОД Hardware + Software Physical + Virtual Network + Compute

Applications

www.cisco.com/go/one

Controllers

and

Agents SDN: - Контроллер (Open Daylight -> XNC)

- Приложения для контроллера

- OpenFlow агенты

2

Virtual

Overlays

Open Clouds with

Nexus 1000V - Multi-hypervisor

- Multi-service

- Multi-cloud

- Поддержка Openstack

3

Network

Platform

APIs

One Platform Kit

(onePK) - Программные APIs к

сетевому

оборудованию (IOS,

IOS-XR, NX-OS)

1

Программируемые и программно-определяемые сети:

стратегия и решения Cisco

Пожалуйста, заполните анкеты.

Ваше мнение очень важно для нас.

Спасибо

Contacts:

Name Александр Скороходов

Phone +7(495)961-1410

E-mail askorokh@cisco.com

CiscoRu Cisco CiscoRussia

#CiscoConnectRu