1 © 2012 Cisco and/or its affiliates. All rights reserved.
Скороходов Александр Системный инженер-консультант
25 октября 2012 г
© 2012 Cisco and/or its affiliates. All rights reserved. 2
Принимайте активное участие в Cisco Expo и получите в подарок Linksys E900.
Как получить подарок:
• внимательно слушать лекции по технологиям Cisco
• посещать демонстрации, включенные в основную программу
• пройти тесты на проверку знаний
Тесты будут открыты:
с 15:00 25 октября по 16:30 26 октября
www.ceq.com.ua
© 2012 Cisco and/or its affiliates. All rights reserved. 3
Мейнфреймы
Phase 1
Консолидация
и управляемость
Эволюция архитектуры приложений
Централизация
Phase 2
Распределенная обработка
Децентрализация
Phase 3
Сервис-ориентированный ЦОД
Виртуализация Облачные вычисления
© 2012 Cisco and/or its affiliates. All rights reserved. 4
Варианты эволюции сетей ЦОД
Сверхнизкая задержка • Алгоритмический трейдинг
• L3 и мультикаст • Без виртуализации • Небольшой масштаб • Подключения: 10G->40G • Nexus 3000 & UCS
MSDC • Layer 3 доступ (iBGP, ISIS) • Сотни и тысячи стоек • Однородная среда • Без виртуализации • Подключения: 1G -> 10G • Nexus 2000,3000,5500,7000 и UCS
slot 1 slot 2 slot 3 slot 4 slot 5 slot 6 slot 7 slot 8
blade1 blade2 blade3 blade4 blade5 blade6 blade7 blade8
slot 1 slot 2 slot 3 slot 4 slot 5 slot 6 slot 7 slot 8
blade1 blade2 blade3 blade4 blade5 blade6 blade7 blade8
slot 1 slot 2 slot 3 slot 4 slot 5 slot 6 slot 7 slot 8
blade1 blade2 blade3 blade4 blade5 blade6 blade7 blade8
slot 1 slot 2 slot 3 slot 4 slot 5 slot 6 slot 7 slot 8
blade1 blade2 blade3 blade4 blade5 blade6 blade7 blade8
slot 1 slot 2 slot 3 slot 4 slot 5 slot 6 slot 7 slot 8
blade1 blade2 blade3 blade4 blade5 blade6 blade7 blade8
slot 1 slot 2 slot 3 slot 4 slot 5 slot 6 slot 7 slot 8
blade1 blade2 blade3 blade4 blade5 blade6 blade7 blade8
slot 1 slot 2 slot 3 slot 4 slot 5 slot 6 slot 7 slot 8
blade1 blade2 blade3 blade4 blade5 blade6 blade7 blade8
slot 1 slot 2 slot 3 slot 4 slot 5 slot 6 slot 7 slot 8
blade1 blade2 blade3 blade4 blade5 blade6 blade7 blade8
slot 1 slot 2 slot 3 slot 4 slot 5 slot 6 slot 7 slot 8
blade1 blade2 blade3 blade4 blade5 blade6 blade7 blade8
slot 1 slot 2 slot 3 slot 4 slot 5 slot 6 slot 7 slot 8
blade1 blade2 blade3 blade4 blade5 blade6 blade7 blade8
slot 1 slot 2 slot 3 slot 4 slot 5 slot 6 slot 7 slot 8
blade1 blade2 blade3 blade4 blade5 blade6 blade7 blade8
slot 1 slot 2 slot 3 slot 4 slot 5 slot 6 slot 7 slot 8
blade1 blade2 blade3 blade4 blade5 blade6 blade7 blade8
Виртуализированный ЦОД • Провайдеры и корпорации • Виртуализация вычислений • Разнородная среда • Подключения: 1G -> 10G • Nexus 1000v,2000,5500,7000 и
UCS
HPC/GRID • L3 и L2 • Без виртуализации • iWARP & RCoE • 10G -> 40G • Nexus 2000, 3000,
5500, 7000 & UCS
© 2012 Cisco and/or its affiliates. All rights reserved. 5
Новые продукты Аппаратные коммутаторы
Nexus SAN коммутаторы MDS Виртуальный коммутатор
Nexus 1000V Унифицированная вычислительная система UCS
Новые подходы и технологии
Высокоскоростной Ethernet Fibre Channel over Ethernet Virtual PortChannel FabricPath/TRILL Сетевая поддержка виртуализации
OTV/LISP
Развитие требований Рост производительности Консолидация ввода-вывода
Простая и масштабируемая архитектура
Виртуализация Объединение ЦОД
От новых потребностей к технологиям, продуктам и архитектурам
© 2012 Cisco and/or its affiliates. All rights reserved. 6
NX-OS 4.1 NX-OS 4.2
1K Cisco Nexus 1000V
2008
x86
Nexus 2000 Fabric Extender
Nexus 4000 Nexus 5500
Nexus 7000 Nexus 1000V Virtual Switch
Nexus 3000
• На рынке с 2008 года
• Единая операционная система NX-OS для всего семейства Nexus и MDS: модульность и высокая доступность
• Лидер рынка коммутации в ЦОД
• Более 17,000,000 портов семейства Nexus
• Более 36,000 заказчиков используют NX-OS
© 2012 Cisco and/or its affiliates. All rights reserved. 7
• Повышение производительности подключения серверов и магистрали
1/10 Gigabit Ethernet до серверов, 40/100GE, TRILL/FabricPath
• Консолидация ввода-вывода серверов Fibre Channel over Ethernet (FCoE/DCB), Adapter-FEX
• Более простая и «плоская» архитектура сети ЦОД без опоры на STP
Virtual Portchannel, FEX, TRILL/FabricPath
• Сетевая поддержка виртуализации Nexus 1000V, VM-FEX
• Надёжная и производительная связь ЦОД OTV, LISP
8 © 2012 Cisco and/or its affiliates. All rights reserved.
© 2012 Cisco and/or its affiliates. All rights reserved. 9
• Причины Рост производительности процессоров
Десятки ядер на сервер, многие десятки «ГГц» Виртуализация:
Десятки VM на один хост – суммирование требований Конвергентный транспорт:
Передача FCoE - производительность не менее 10Гбит/с
• Решения 10 Гбит/с до серверов (с сохранением эффективной поддержки 1Гбит/с!)
Варианты подключения 10G: DAC, AOC, 10GBASE-T 40/100 Гбит/с на магистрали
Требования к СКС Горизонтальное масштабирование производительности
Cisco FabricPath, IETF TRILL
© 2012 Cisco and/or its affiliates. All rights reserved. 10
Кабель Задержка Потребление Расстояние Технология
Twinax ~0 ~0.1W 10m SFP+ CU Copper
MM 62.5µm MM 50µm ~0 1W 82m
300m SFP+ SR short reach
MM OM2 MM OM3 ~0 1W 10m
100m SFP+ USR ultra short reach
Cat6 Cat6a/7 Cat6a/7
2.5µs 2.5µs 1.5µs
~6W ~6W ~4W
55m 100m 30m
10GBASE-T
100Mb 1Gb 10Gb
UTP Cat 5 UTP Cat 5 SFP Fiber
10Mb
UTP Cat 3
Mid 1980’s Mid 1990’s Early 2000’s Late 2000’s
X2 SFP+ Cu (BER better than 10 )
SFP+ Fiber Cat 6/7
-18
© 2012 Cisco and/or its affiliates. All rights reserved. 11
● Спецификация: SFF-8431
● Называют 10GSFP+Cu, CX1, 10G-CR...
● 2 пары твинаксиального кабеля
● Коннекторы установлены и протестированы на заводе
● Взаимозаменяемость с оптическими трансиверами SFP+
● Низкая стоимость, малое энергопотребление, минимальная задержка
● Небольшая длина (до ~10м)
● Оптимально подходит для соединений внутри стойки или группы стоек
● Вариант: активные оптические кабели (меньше диаметр)
● Поддерживаются на всех моделях Nexus: Nexus 2000/3000/4000/5000/7000
Коннекторы SFP+
Кабель
© 2012 Cisco and/or its affiliates. All rights reserved. 12
Оптические аплинки ПодключениеFEXкабелямиSFP+
илипооптоволокнутрансиверамиFET
Оптические аплинки
Оптические аплинки
© 2012 Cisco and/or its affiliates. All rights reserved. 13
• Стандарт: IEEE 802.3an
• Предпочтительный вариант для интегрированных адаптеров в серверах: возможна совместимость с 10/100/1000
• До 100 метров (по СКС категории 6A или 7)
• Высокая сложность обработки -> высокое энергопотребление (до 4-8 Вт на порт)
• Уровень ошибок (BER) до 10-12 - проблема для FCoE
• Решаются в новых поколениях микросхем/оборудования
• Поддерживается Nexus 2000/3000/5500/7000
© 2012 Cisco and/or its affiliates. All rights reserved. 14
• Стандарт IEEE 802.3ba - одобрен в июне 2010 г
• Утвержденные варианты интерфейсов 40G: 40GBASE-KR4: Соединения внутри устройств
40GBASE-CR4: 10 м по твинаксиальному кабелю – 4 x 10G 40GBASE-SR4 : 100 м по кабелю OM3 по 4 парам волокон
40GBASE-LR4 (СWDM): 10 км по одномодовому волокну – 4λ x 10G
• Утвержденные варианты интерфейсов 100G 100GBASE-CR10 : 10 м по твинаксиальному кабелю – 10 x 10G
100GBASE-SR10: 100/125 м по кабелю OM3/OM4 по 10 парам волокон
100GBASE-LR4 (DWDM): 10 км по одномодовому волокну – 4λ x 25G
100GBASE-ER4 (DWDM): 40 км по одномодовому волокну – 4λ x 25G
© 2012 Cisco and/or its affiliates. All rights reserved. 15
40G: 12F MTP коннектор 100G: 24F MTP коннектор
© 2012 Cisco and/or its affiliates. All rights reserved. 16
• 40G (и 100G) – внутри ЦОД, 100G для связи ЦОД • Подготовка СКС ЦОД к требованиям 40G:
• Многомодовое внедрение: 4 параллельных пары
• Коннектор MTP12: 1x 40G = 6 x 10G с точки зрения СКС
• Обратная совместимость с 10G – универсальные QSFP порты
• Расстояние ограничено 100 м для кабеля OM3 – не 300 м (как для 10G-SR)
• Внедрение 100G: • Многомодовое внедрение: 10 параллельных пар (коннектор MTP24)
• Одномодовая оптика 100G: большие и энергоёмкие решения (могут уменьшиться в размерах и мощности в следующих поколениях)
• Обратная совместимость СКС: • Патч-корды и патч-панели MTP <-> LC
• Патч-корды MTP24 – MTP12
• Поддержка на Nexus 3000, 7000
© 2012 Cisco and/or its affiliates. All rights reserved. 17
Spanning-Tree
Активных путей
До 15 Тбит/с
Один
Виртуализация инфраструктуры и производительность
Масштабируемость Layer 2
vPC
До 30 Тбит/с
Два
FabricPath
До 240 Тбит/с
16
16 Switches
Производитель- ность блока
18 © 2012 Cisco and/or its affiliates. All rights reserved.
© 2012 Cisco and/or its affiliates. All rights reserved. 19
• Причины Рост числа подключений к SAN
• Виртуализация с поддержкой мобильности и HA
• Кластерные системы • Защита информации средствами СХД
Большое числе интерфейсов LAN • Требования виртуализированных внедрений
Распространение блейд-систем • Трудно обеспечить много интерфейсов
• Решения FCoE для SAN трафика
• Консолидация и сохранение полной совместимости с моделью FC DCB для обеспечения гарантий для FCoE трафика
• PFC, ETS, DCBX Adapter-FEX/IEEE802.1BR
• Доведение множества логических интерфейсов на уровень ОС/гипервизора
© 2012 Cisco and/or its affiliates. All rights reserved. 20
Используя FCoE/DCB (+Adapter-FEX) • Общий транспорт • Обеспечение совместимости
SAN IPC
Storage RDMA/IPC Internet/ Intranet
Без консолидации • Много портов ввода-вывода • Высокие расходы на оборудование и эксплуатацию
Unified Fabric
LAN SAN
IPC LAN
© 2012 Cisco and/or its affiliates. All rights reserved. 21
• Метод передачи фреймов FC по Ethernet • Выглядит как FC для серверов и сети • Сохраняет текущую инфраструктуру
и управление FC • Фрейм FC остается неизменным
• Стандарт утвержден 3 июня 2009 года (ANSI T11 FC-BB-5)
• Семейство стандартов IEEE DCB для «улучшенного» Ethernet
• Priority Flow Control: отсутствие потерь (аналог BB_Credits в FC)
• Enhanced Transmission Selection: выделение полосы
• DCB Exchange: согласование настроек и логическое состояние
Fibre Channel
Ethernet
Cisco первой представила основанный на стандартах коммутатор FCoE Cisco Nexus 5000
© 2012 Cisco and/or its affiliates. All rights reserved. 22
Nexus 5010
Nexus 5020
Nexus 4000 Nexus 2232
NX-OS & DCNM
Nexus 5548
Nexus 5596 MDS 9500
Nexus 7000
F1 32-port F2 48-port
FCoE 8-port
Директорный класс
Фиксированная конфигурация
© 2012 Cisco and/or its affiliates. All rights reserved. 23
• Первый шаг – «консолидация доступа» («Unified Wire»)
• Существенная экономия при сохранении существующего ядра сетей Ethernet и Fibre Channel
• Лежит в основе Cisco UCS
SAN A SAN B 10GE Backbone
VF порты
VN порты (CNA)
© 2012 Cisco and/or its affiliates. All rights reserved. 24
Ethernet core FCoE Storage
DCB и FCoE
Расширение консолидации ввода-вывода на магистраль
Сохранение изоляции SAN фабрик для отказоустойчивости
Поддержка систем хранения с подключением по DCB/FCoE
Теперь и для Cisco UCS (с релиза 2.1) ! VF
VN
VE порты
VE порты
25 © 2012 Cisco and/or its affiliates. All rights reserved.
© 2012 Cisco and/or its affiliates. All rights reserved. 26
• Причины Рост масштабов ЦОД Масштабирование производительности Управляемость Растягивание подсетей
• Решения Распределённый коммутатор доступа: архитектура FEX-Link
1G или 10G, SFP+ или «витая пара» Продолжение внутрь сервера: Adapter-FEX, VM-FEX
Virtual Portchannel Уход от Spanning Tree с сохранением общей топологии
Cisco FabricPath/IETF TRILL «Маршрутизация на 2 уровне» Горизонтальное масштабирование Полное исключение Spanning Tree на магистрали
© 2012 Cisco and/or its affiliates. All rights reserved. 27
• Nexus 2000 FEX выполняет роль виртуальной карты для Nexus 5500
• Единый конфигурационный файл на Nexus 5500
• Между FEX и Nexus 5500 не используется STP
=
Виртуальное модульное шасси
+ Nexus 5500
Nexus 2000
© 2012 Cisco and/or its affiliates. All rights reserved. 28
Access Layer
Серверы
Agg Layer
Core Layer
L3 L2
VSS/vPC
Nexus 2000 Fabric Extender
Nexus 5500
• Поддержка Nexus 5000/5500, 7000 и UCS 6100 как «материнских устройств»
• Сочетание моделей внедрения EoR, MoR, ToR
• Миграция к 10GE и FCoE подключениям серверов
• Сочетание типов кабелей (оптика и медь)
• Гибкость выбора головных устройств, типов FEX, способа размещения и соединения
Медь/ Twinax
FET/Twinax
© 2012 Cisco and/or its affiliates. All rights reserved. 29
Nexus 2232PP 32 серверных портов 1/10GE SFP/SFP+ 8 uplink портов 10GE SFP+ Поддержка консолидации ввода-вывода (FCoE)
Nexus 2248TP-E 48 серверных портов 100/1000 UTP 4 uplink порта 10GE SFP+
Nexus 2224TP 24 серверных порта 100/1000 UTP 2 uplink порта 10GE SFP+
Nexus 2232TM-E 32 серверных порта 1/10GBASE-T 8 uplink портов 10GE SFP+
FET-10G Экономичное решения для
подключения FEX по оптоволокну
B22HP / B22F Функциональность FEX внутри блейд-
шасси HP / Fujitsu
© 2012 Cisco and/or its affiliates. All rights reserved. 30
10G SFP+ CX1 (Twinax) • Медный кабель с SFP+ модулями
• Для подключений серверов в стойке и соединений между стойками
• Низкая стоимость
• Низкое энергопотребление
• Пассивные кабели: 1, 3, 5 м
• Активные кабели: 7, 10 м
Fabric Extender Transceiver (FET) • Экономичный SFP+ трансивер
(только) для подключения Nexus 2000 к материнской системе
• Длина линии: до 100 м (OM3)/ 25 м (OM2)
• Энергопотребление ~ 1 Вт
• Поставляется вместе с Nexus 2000
• Несовместим с SR трансиверами
© 2012 Cisco and/or its affiliates. All rights reserved. 31
• Возможность организации агрегированного канала (port channel) приходящего на два разных коммутатора
• Уход от опоры на STP
• Использование полосы всех имеющихся соединений
• Быстрая сходимость при отказе устройства или канала
• Обеспечение отказоустойивости и масштабируемости при подключении серверов
• Сокращение CAPEX и OPEX
• Поддерживается на Nexus 2000/3000/5000/7000
Без vPC
С использованием vPC
© 2012 Cisco and/or its affiliates. All rights reserved. 32
• «Ethernet матрица»: Полный уход от Spanning Tree Задействование всех путей Рост производительности путем увеличения числа узлов и связей Принципиальное исключение возможности бесконечных «петель» Быстрая и надежная сходимость
• Стандартизация: IETF TRILL
• Решение Cisco: FabricPath
• Поддерживается на Nexus 5500/7000
© 2012 Cisco and/or its affiliates. All rights reserved. 33
• «Маршрутизация на втором уровне» с использованием до 16 альтернативных путей (ECMP) – до 256 соединений!
• Независимость от Spanning-Tree Protocol (и его устранение): хорошая стабильность и сходимость
• Прямые/оптимальные пути трафика • “VLAN anywhere” – гибкость внедрения и мобильность VM • Выучивание MAC «по диалогам»: эффективное использование таблиц • Совместимость с «классическим» Ethernet
• VPC+ обеспечивает VPC в L2MP сеть
• Простота настройки • Продолжение возможностей IETF TRILL
Балансировка до 16 путей
Cisco FabricPath
© 2012 Cisco and/or its affiliates. All rights reserved. 34
• Существенное повышение производительности • Сокращение числа устройств • Повышение надёжности • Упрощение эксплуатации
меньше устройств
проще настройка
Традиционная сеть со Spanning Tree Сеть на базе FabricPath
Fully Non-B
locking
2, 048 Servers 8 Access Switches 64 Access Switches
2, 048 Servers
Blocked Links
Ove
rsub
scrip
tion
16:
1
8:1
2:1
4 Pods
FabricPath
35 © 2012 Cisco and/or its affiliates. All rights reserved.
© 2012 Cisco and/or its affiliates. All rights reserved. 36
Проблемы:
Сетеваяподдержкавиртуализации:• Расширяет сеть до VM • Общие с физическими коммутаторами функции сетевых сервисов
• Скоординированное с VM управление
VMoFon
• Возможна «миграция» VM на другой сервер. Политика должна следовать вслед за VM
• Сеть «не видит» локально коммутируемый трафик и не может применить к нему политику
• Сеть не может выделить на порту трафик конкретной VM
VLAN101
• Изменение модели эксплуатации
© 2012 Cisco and/or its affiliates. All rights reserved. 37
• Nexus 1000V обеспечивает полнофункциональную коммутацию для VMWare ESX (скоро и для MS Hyper-V, далее - Xen, KVM)
• Ключевые возможности: – Управление VM по политикам – Функции безопасности, поддержка Netflow, ERSPAN, мультикаста, etherchannel
– Мобильность настроек сети, безопасности и мониторинга
– Сохраняет эксплуатационную модель
• Сохранение политик и связи с сетью при миграции виртуальных машин
VMW ESX
Server 1
VMware vSwitch Nexus 1000V VMW ESX
VMware vSwitch Nexus 1000V
Server 2
Nexus 1000V
VM #4
VM #3
VM #2
VM #1
VM #8
VM #7
VM #5
VM #5
VM #2
VM #3
VM #4
VM #5
VM #6
VM #7
VM #8
VM #1
VM #1
Virtual Center
Nexus 1000V
VSM
© 2012 Cisco and/or its affiliates. All rights reserved. 38
*IEEE 802.1BR pre-standard
Fabric Extender Консолидация управления сетью
FEX является частью «родительского коммутатора»
Использует пре-стандартную реализацию IEEE 802.1BR
IEEE 802.1BR*
Приложения, требующие многих интерфейсов
Единое устройство
Legacy
FEX
Nexus 5500 или UCS Fabric Interconnect
© 2012 Cisco and/or its affiliates. All rights reserved. 39
Legacy
IEEE 802.1BR* Adapter FEX Консолидация многих интерфейсов в единое 10GE подключение
Расширение сети внутрь сервера
Использует пре-стандартную реализацию IEEE 802.1BR
*IEEE 802.1BR pre-standard
IEEE 802.1BR*
Adapter FEX
Приложения, требующие многих интерфейсов
FEX
Единое устройство Nexus 5500 или UCS Fabric Interconnect
© 2012 Cisco and/or its affiliates. All rights reserved. 40
Legacy
IEEE 802.1BR*
Adapter FEX
Hypervisor
VM-FEX Консолидация физической и виртуальной сети
Каждая VM получает порт на распределённом коммутаторе
Использует пре-стандартную реализацию IEEE 802.1BR
IEEE 802.1BR* IEEE 802.1BR*
*IEEE 802.1BR pre-standard
VM-FEX
FEX
Nexus 5500 или UCS Fabric Interconnect
© 2012 Cisco and/or its affiliates. All rights reserved. 41
Hypervisor
IEEE 802.1BR*
Fabric Extender Консолидация управления FEX выглядит линейной картой головного коммутатора
Adapter FEX Консолидация многих интерфейсов в единое 10GE подключение
Расширение сети внутрь сервера
VM-FEX Консолидация физической и виртуальной сети
Каждая VM получает порт на распределённом коммутаторе
IEEE 802.1BR* IEEE 802.1BR*
*IEEE 802.1BR pre-standard
Adapter FEX Legacy
Управление сетевыми подключениями до уровня ОС и виртуальной машины
FEX
VM-FEX
Единое устройство • Порты коммутатора • Порты FEX • Виртуальные адаптеры • Виртуальные машины
Nexus 5500 или UCS Fabric Interconnect
42 © 2012 Cisco and/or its affiliates. All rights reserved.
© 2012 Cisco and/or its affiliates. All rights reserved. 43
• Связь сетей передачи данных vPC: Nexus 5000/7000 FabricPath: Nexus 5000/7000 OTV: Nexus 7000/ASR1K VPLS – ASR9K, Cat6500, Nexus 7000 (будущее)
• Связь сетей хранения данных Связь по FC: Cisco MDS 9148/9500 Связь по FCoE: Cisco Nexus 7000 (до 80 км с картами F2) Связь по FCIP: Cisco MDS 9222i/9500
• Оптимальный путь трафика RHI: ACE + инфраструктура DNS: ACE GSS LISP (для мобильности VM) – Nexus 7000
• Подробнее – в следующей презентации!
© 2012 Cisco and/or its affiliates. All rights reserved. 44
Спасибо!