Lenovo Flex System EN4093R 10Gb Ethernet Scalable Switch
Application GuideFor Lenovo Enterprise Network Operating System 8.4
Note: Before using this information and the product it supports, read the general information in the Safety information and Environmental Notices and User Guide documents on the Lenovo Documentation CD and the Warranty Information document that comes with the product.
Fourth Edition (October 2017)
© Copyright Lenovo 2017Portions © Copyright IBM Corporation 2014.
LIMITED AND RESTRICTED RIGHTS NOTICE: If data or software is delivered pursuant a General Services Administration “GSA” contract, use, reproduction, or disclosure is subject to restrictions set forth in Contract No. GS‐35F‐05925.
Lenovo and the Lenovo logo are trademarks of Lenovo in the United States, other countries, or both.
© Copyright Lenovo 2017 3
ContentsPreface . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23Who Should Use This Guide . . . . . . . . . . . . . . . . . . . . . . .23What You’ll Find in This Guide . . . . . . . . . . . . . . . . . . . . . .23
Part 1: Getting Started . . . . . . . . . . . . . . . . . . . . . . . .23Part 2: Securing the Switch . . . . . . . . . . . . . . . . . . . . . .23Part 3: Switch Basics . . . . . . . . . . . . . . . . . . . . . . . . .24Part 4: Advanced Switching Features . . . . . . . . . . . . . . . . .24Part 5: IP Routing . . . . . . . . . . . . . . . . . . . . . . . . . .25Part 6: High Availability Fundamentals . . . . . . . . . . . . . . . .26Part 7: Network Management . . . . . . . . . . . . . . . . . . . . .26Part 8: Monitoring. . . . . . . . . . . . . . . . . . . . . . . . . .26Part 9: Appendices . . . . . . . . . . . . . . . . . . . . . . . . .26
Additional References . . . . . . . . . . . . . . . . . . . . . . . . . .27Typographic Conventions . . . . . . . . . . . . . . . . . . . . . . . .28
Part 1:. Getting Started. . . . . . . . . . . . . . . . . . . . . . 29
Chapter 1. Switch Administration . . . . . . . . . . . . . . . . . 31Administration Interfaces . . . . . . . . . . . . . . . . . . . . . . . .32
Chassis Management Module. . . . . . . . . . . . . . . . . . . . .32Industry Standard Command Line Interface . . . . . . . . . . . . . .32Browser‐Based Interface . . . . . . . . . . . . . . . . . . . . . . .33
Establishing a Connection . . . . . . . . . . . . . . . . . . . . . . . .34Using the Chassis Management Module . . . . . . . . . . . . . . . .34
Factory‐Default vs. CMM‐Assigned IP Addresses . . . . . . . . . .34Using Telnet . . . . . . . . . . . . . . . . . . . . . . . . . . . .35Using Secure Shell. . . . . . . . . . . . . . . . . . . . . . . . . .35
Using SSH with Password Authentication . . . . . . . . . . . . .37Using SSH with Public Key Authentication . . . . . . . . . . . . .37
Using a Web Browser . . . . . . . . . . . . . . . . . . . . . . . .38Configuring HTTP Access to the BBI . . . . . . . . . . . . . . . .38Configuring HTTPS Access to the BBI . . . . . . . . . . . . . . .39BBI Summary . . . . . . . . . . . . . . . . . . . . . . . . . .40
Using Simple Network Management Protocol. . . . . . . . . . . . . .41BOOTP/DHCP Client IP Address Services . . . . . . . . . . . . . . . . .42
Host Name Configuration . . . . . . . . . . . . . . . . . . . . . .42SYSLOG Server . . . . . . . . . . . . . . . . . . . . . . . . . . .43DHCP Snooping . . . . . . . . . . . . . . . . . . . . . . . . . .43
Easy Connect Wizard . . . . . . . . . . . . . . . . . . . . . . . . . .44Configuring the Easy Connect Wizard . . . . . . . . . . . . . . . . .44
Basic System Mode Configuration Example . . . . . . . . . . . . .45Transparent Mode Configuration Example . . . . . . . . . . . . .46Redundant Mode Configuration Example . . . . . . . . . . . . .47
Switch Login Levels . . . . . . . . . . . . . . . . . . . . . . . . . . .49Administrator Password Recovery . . . . . . . . . . . . . . . . . . . .51Secure FTP. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .53
4 EN4093R Application Guide for N/OS 8.4
Boot Strict Mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54Acceptable Cipher Suites . . . . . . . . . . . . . . . . . . . . . . 57Configuring Strict Mode . . . . . . . . . . . . . . . . . . . . . . . 58Limitations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
Configuring No‐Prompt Mode . . . . . . . . . . . . . . . . . . . . . . 59
Chapter 2. Initial Setup . . . . . . . . . . . . . . . . . . . . . 61Information Needed for Setup . . . . . . . . . . . . . . . . . . . . . . 62Default Setup Options . . . . . . . . . . . . . . . . . . . . . . . . . 63
Stopping Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . 63Restarting Setup . . . . . . . . . . . . . . . . . . . . . . . . . . 63
Setup Part 1: Basic System Configuration . . . . . . . . . . . . . . . . . 64Setup Part 2: Port Configuration . . . . . . . . . . . . . . . . . . . . . 66Setup Part 3: VLANs . . . . . . . . . . . . . . . . . . . . . . . . . . 68Setup Part 4: IP Configuration . . . . . . . . . . . . . . . . . . . . . . 69
IP Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69Default Gateways . . . . . . . . . . . . . . . . . . . . . . . . . . 70IP Routing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
Setup Part 5: Final Steps . . . . . . . . . . . . . . . . . . . . . . . . . 72Optional Setup for Telnet Support . . . . . . . . . . . . . . . . . . . . 73
Chapter 3. Switch Software Management . . . . . . . . . . . . . . 75Loading New Software to Your Switch . . . . . . . . . . . . . . . . . . 76
Loading Software via the ISCLI . . . . . . . . . . . . . . . . . . . . 76Loading Software via BBI . . . . . . . . . . . . . . . . . . . . . . 78Updating Software on vLAG Switches . . . . . . . . . . . . . . . . . 79
The Boot Management Menu . . . . . . . . . . . . . . . . . . . . . . 81Boot Recovery Mode . . . . . . . . . . . . . . . . . . . . . . . . 82Recover from a Failed Image Upgrade using TFTP . . . . . . . . . . . 83Recovering from a Failed Image Upgrade using XModem Download . . . 85Physical Presence . . . . . . . . . . . . . . . . . . . . . . . . . . 87
Part 2:. Securing the Switch . . . . . . . . . . . . . . . . . . . 89
Chapter 4. Securing Administration . . . . . . . . . . . . . . . . 91Changing the Switch Passwords . . . . . . . . . . . . . . . . . . . . . 92
Changing the Default Administrator Password . . . . . . . . . . . . . 92Changing the Default User Password . . . . . . . . . . . . . . . . . 92
© Copyright Lenovo 2017 Contents 5
Secure Shell and Secure Copy . . . . . . . . . . . . . . . . . . . . . .93Configuring SSH/SCP Features on the Switch . . . . . . . . . . . . . .94
To Enable or Disable the SSH Feature . . . . . . . . . . . . . . .94To Enable or Disable SCP . . . . . . . . . . . . . . . . . . . . .94
Configuring the SCP Administrator Password . . . . . . . . . . . . .94Using SSH and SCP Client Commands . . . . . . . . . . . . . . . . .94
To Log In to the Switch from the Client . . . . . . . . . . . . . . .94To Copy the Switch Configuration File to the SCP Host . . . . . . . .95To Load a Switch Configuration File from the SCP Host . . . . . . .95To Apply and Save the Configuration . . . . . . . . . . . . . . .95To Copy the Switch Image and Boot Files to the SCP Host . . . . . .96To Load Switch Configuration Files from the SCP Host . . . . . . . .96
SSH and SCP Encryption of Management Messages . . . . . . . . . . .97Generating an RSA Host Key for SSH Access . . . . . . . . . . . . . .97SSH/SCP Integration with RADIUS Authentication . . . . . . . . . . .97SSH/SCP Integration with TACACS+ Authentication . . . . . . . . . .97
End User Access Control. . . . . . . . . . . . . . . . . . . . . . . . .98Considerations for Configuring End User Accounts . . . . . . . . . . .98Strong Passwords . . . . . . . . . . . . . . . . . . . . . . . . . .98User Access Control Menu . . . . . . . . . . . . . . . . . . . . . .99
Setting Up User IDs . . . . . . . . . . . . . . . . . . . . . . .99Defining a User’s Access Level . . . . . . . . . . . . . . . . . .99Validating a User’s Configuration . . . . . . . . . . . . . . . . .99Enabling or Disabling a User . . . . . . . . . . . . . . . . . . .99Locking Accounts . . . . . . . . . . . . . . . . . . . . . . . .99Re‐enabling Locked Accounts . . . . . . . . . . . . . . . . . . 100
Listing Current Users . . . . . . . . . . . . . . . . . . . . . . . 100Logging In to an End User Account . . . . . . . . . . . . . . . . . 100
Protected Mode . . . . . . . . . . . . . . . . . . . . . . . . . . . 101Stacking Mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102Maintenance Mode . . . . . . . . . . . . . . . . . . . . . . . . . . 103
Chapter 5. Authentication & Authorization Protocols . . . . . . . . . 105RADIUS Authentication and Authorization . . . . . . . . . . . . . . . 106
How RADIUS Authentication Works . . . . . . . . . . . . . . . . 106Configuring RADIUS on the Switch . . . . . . . . . . . . . . . . . 107RADIUS Authentication Features in Enterprise NOS. . . . . . . . . . 107Switch User Accounts . . . . . . . . . . . . . . . . . . . . . . . 108RADIUS Attributes for Enterprise NOS User Privileges . . . . . . . . 109
TACACS+ Authentication . . . . . . . . . . . . . . . . . . . . . . . 110How TACACS+ Authentication Works. . . . . . . . . . . . . . . . 110TACACS+ Authentication Features in Enterprise NOS . . . . . . . . . 111
Authorization . . . . . . . . . . . . . . . . . . . . . . . . . 111Local Access . . . . . . . . . . . . . . . . . . . . . . . . . 112Accounting . . . . . . . . . . . . . . . . . . . . . . . . . . 112
Command Authorization and Logging. . . . . . . . . . . . . . . . 113TACACS+ Password Change . . . . . . . . . . . . . . . . . . . . 115Configuring TACACS+ Authentication on the Switch . . . . . . . . . 115
6 EN4093R Application Guide for N/OS 8.4
LDAP Authentication and Authorization . . . . . . . . . . . . . . . . 116Configuring the LDAP Server . . . . . . . . . . . . . . . . . . . 116Configuring LDAP Authentication on the Switch . . . . . . . . . . . 117
Chapter 6. 802.1X Port-Based Network Access Control . . . . . . . . 119Extensible Authentication Protocol over LAN . . . . . . . . . . . . . . 120
EAPoL Authentication Process . . . . . . . . . . . . . . . . . . . 121EAPoL Message Exchange . . . . . . . . . . . . . . . . . . . . . 122EAPoL Port States . . . . . . . . . . . . . . . . . . . . . . . . 122
Guest VLAN. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123Supported RADIUS Attributes . . . . . . . . . . . . . . . . . . . . . 124EAPoL Configuration Guidelines . . . . . . . . . . . . . . . . . . . . 126
Chapter 7. Access Control Lists. . . . . . . . . . . . . . . . . . 127Summary of Packet Classifiers . . . . . . . . . . . . . . . . . . . . . 128Summary of ACL Actions . . . . . . . . . . . . . . . . . . . . . . . 130Assigning Individual ACLs to a Port . . . . . . . . . . . . . . . . . . 130ACL Order of Precedence . . . . . . . . . . . . . . . . . . . . . . . 130ACL Groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
Assigning ACL Groups to a Port . . . . . . . . . . . . . . . . . . 131ACL Metering and Re‐Marking . . . . . . . . . . . . . . . . . . . 132
Metering . . . . . . . . . . . . . . . . . . . . . . . . . . . 132Re‐Marking . . . . . . . . . . . . . . . . . . . . . . . . . 132
ACL Port Mirroring. . . . . . . . . . . . . . . . . . . . . . . . . . 133Viewing ACL Statistics . . . . . . . . . . . . . . . . . . . . . . . . 133ACL Logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
Enabling ACL Logging . . . . . . . . . . . . . . . . . . . . . . 134Logged Information . . . . . . . . . . . . . . . . . . . . . . . . 134Rate Limiting Behavior . . . . . . . . . . . . . . . . . . . . . . 135Log Interval . . . . . . . . . . . . . . . . . . . . . . . . . . . 135ACL Logging Limitations . . . . . . . . . . . . . . . . . . . . . 135
ACL Configuration Examples . . . . . . . . . . . . . . . . . . . . . 136ACL Example 1. . . . . . . . . . . . . . . . . . . . . . . . . . 136ACL Example 2. . . . . . . . . . . . . . . . . . . . . . . . . . 136ACL Example 3. . . . . . . . . . . . . . . . . . . . . . . . . . 137
VLAN Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138VMap Example . . . . . . . . . . . . . . . . . . . . . . . . . . 139
Management ACLs . . . . . . . . . . . . . . . . . . . . . . . . . . 140
Part 3:. Switch Basics . . . . . . . . . . . . . . . . . . . . . . 141
Chapter 8. VLANs. . . . . . . . . . . . . . . . . . . . . . . . 143VLANs Overview . . . . . . . . . . . . . . . . . . . . . . . . . . 144VLANs and Port VLAN ID Numbers . . . . . . . . . . . . . . . . . . 145
VLAN Numbers . . . . . . . . . . . . . . . . . . . . . . . . . 145PVID/Native VLAN Numbers . . . . . . . . . . . . . . . . . . . 146
VLAN Tagging/Trunk Mode . . . . . . . . . . . . . . . . . . . . . . 148Ingress VLAN Tagging . . . . . . . . . . . . . . . . . . . . . . 152
Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . 152
© Copyright Lenovo 2017 Contents 7
VLAN Topologies and Design Considerations . . . . . . . . . . . . . . 153VLAN Configuration Rules. . . . . . . . . . . . . . . . . . . . . 153Example: Multiple VLANs with Tagging Adapters . . . . . . . . . . 154
Protocol‐Based VLANs . . . . . . . . . . . . . . . . . . . . . . . . 156Port‐Based vs. Protocol‐Based VLANs . . . . . . . . . . . . . . . . 156PVLAN Priority Levels . . . . . . . . . . . . . . . . . . . . . . 157PVLAN Tagging . . . . . . . . . . . . . . . . . . . . . . . . . 157PVLAN Configuration Guidelines . . . . . . . . . . . . . . . . . . 157Configuring PVLAN . . . . . . . . . . . . . . . . . . . . . . . 158
Private VLANs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159Private VLAN Ports . . . . . . . . . . . . . . . . . . . . . . . . 159Configuration Guidelines . . . . . . . . . . . . . . . . . . . . . 160Configuration Example . . . . . . . . . . . . . . . . . . . . . . 160
Chapter 9. Ports and Link Aggregation (LAG) . . . . . . . . . . . . 163Configuring Port Modes . . . . . . . . . . . . . . . . . . . . . . . . 164Configuring QSFP+ Ports . . . . . . . . . . . . . . . . . . . . . . . 166Aggregation Overview . . . . . . . . . . . . . . . . . . . . . . . . 167Static LAGs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
Before Configuring Static LAGs . . . . . . . . . . . . . . . . . . . 168Static LAG Configuration Rules . . . . . . . . . . . . . . . . . . . 168Configuring a Static LAG . . . . . . . . . . . . . . . . . . . . . 169
Configurable LAG Hash Algorithm . . . . . . . . . . . . . . . . . . . 171Link Aggregation Control Protocol . . . . . . . . . . . . . . . . . . . 173
LACP Modes . . . . . . . . . . . . . . . . . . . . . . . . . . . 174LACP individual . . . . . . . . . . . . . . . . . . . . . . . . . 175Configuring LACP . . . . . . . . . . . . . . . . . . . . . . . . 176
Chapter 10. Spanning Tree Protocols. . . . . . . . . . . . . . . . 177Spanning Tree Protocol Modes . . . . . . . . . . . . . . . . . . . . . 178
Global STP Control . . . . . . . . . . . . . . . . . . . . . . . . 178PVRST Mode. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
Port States . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179Bridge Protocol Data Units . . . . . . . . . . . . . . . . . . . . . 180
Determining the Path for Forwarding BPDUs . . . . . . . . . . . 180Bridge Priority . . . . . . . . . . . . . . . . . . . . . . . . 180Port Priority . . . . . . . . . . . . . . . . . . . . . . . . . 181Root Guard . . . . . . . . . . . . . . . . . . . . . . . . . . 181Loop Guard. . . . . . . . . . . . . . . . . . . . . . . . . . 181Port Path Cost. . . . . . . . . . . . . . . . . . . . . . . . . 182
Simple STP Configuration . . . . . . . . . . . . . . . . . . . . . 182Per‐VLAN Spanning Tree Groups . . . . . . . . . . . . . . . . . . 184
Using Multiple STGs to Eliminate False Loops. . . . . . . . . . . 184VLAN and STG Assignment . . . . . . . . . . . . . . . . . . 185Manually Assigning STGs . . . . . . . . . . . . . . . . . . . 186Guidelines for Creating VLANs . . . . . . . . . . . . . . . . . 186Rules for VLAN Tagged Ports . . . . . . . . . . . . . . . . . . 186Adding and Removing Ports from STGs . . . . . . . . . . . . . 187Switch‐Centric Configuration . . . . . . . . . . . . . . . . . . 188
Configuring Multiple STGs . . . . . . . . . . . . . . . . . . . . . 189
8 EN4093R Application Guide for N/OS 8.4
Rapid Spanning Tree Protocol . . . . . . . . . . . . . . . . . . . . . 191Port States . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191RSTP Configuration Guidelines. . . . . . . . . . . . . . . . . . . 191RSTP Configuration Example. . . . . . . . . . . . . . . . . . . . 192
Multiple Spanning Tree Protocol . . . . . . . . . . . . . . . . . . . . 193MSTP Region. . . . . . . . . . . . . . . . . . . . . . . . . . . 193Common Internal Spanning Tree . . . . . . . . . . . . . . . . . . 193MSTP Configuration Guidelines . . . . . . . . . . . . . . . . . . 194MSTP Configuration Examples . . . . . . . . . . . . . . . . . . . 194
MSTP Configuration Example 1 . . . . . . . . . . . . . . . . . 194MSTP Configuration Example 2 . . . . . . . . . . . . . . . . . 195
Port Type and Link Type . . . . . . . . . . . . . . . . . . . . . . . 197Edge/Portfast Port . . . . . . . . . . . . . . . . . . . . . . . . 197Link Type . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
Chapter 11. Virtual Link Aggregation Groups . . . . . . . . . . . . 199VLAG Capacities . . . . . . . . . . . . . . . . . . . . . . . . . . . 202VLAGs versus Port LAGs . . . . . . . . . . . . . . . . . . . . . . . 203Configuring VLAGs . . . . . . . . . . . . . . . . . . . . . . . . . 204
Basic VLAG Configuration . . . . . . . . . . . . . . . . . . . . . 205Configure the ISL . . . . . . . . . . . . . . . . . . . . . . . 206Configure the VLAG. . . . . . . . . . . . . . . . . . . . . . 207
VLAG Configuration ‐ VLANs Mapped to MSTI . . . . . . . . . . . 208Configure the ISL . . . . . . . . . . . . . . . . . . . . . . . 208Configure the VLAG. . . . . . . . . . . . . . . . . . . . . . 209
Configuring Health Check . . . . . . . . . . . . . . . . . . . . . 210VLAGs with VRRP . . . . . . . . . . . . . . . . . . . . . . . . 211
Configure VLAG Peer 1 . . . . . . . . . . . . . . . . . . . . 211Configure VLAG Peer 2 . . . . . . . . . . . . . . . . . . . . 214
Two‐tier vLAGs with VRRP . . . . . . . . . . . . . . . . . . . . 217Configuring VLAGs in Multiple Layers . . . . . . . . . . . . . . . 218
Configure Layer 2/3 Border Switches . . . . . . . . . . . . . . 218Configure Switches in the Layer 2 Region . . . . . . . . . . . . 218
Chapter 12. Quality of Service . . . . . . . . . . . . . . . . . . 221QoS Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221Using ACL Filters . . . . . . . . . . . . . . . . . . . . . . . . . . 223
Summary of ACL Actions . . . . . . . . . . . . . . . . . . . . . 223ACL Metering and Re‐Marking . . . . . . . . . . . . . . . . . . . 223
Metering . . . . . . . . . . . . . . . . . . . . . . . . . . . 224Re‐Marking . . . . . . . . . . . . . . . . . . . . . . . . . 224
Using DSCP Values to Provide QoS . . . . . . . . . . . . . . . . . . . 225Differentiated Services Concepts . . . . . . . . . . . . . . . . . . 225Per‐Hop Behavior. . . . . . . . . . . . . . . . . . . . . . . . . 226QoS Levels . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227DSCP Re‐Marking and Mapping . . . . . . . . . . . . . . . . . . 227
DSCP Re‐Marking Configuration Example 1 . . . . . . . . . . . 228DSCP Re‐Marking Configuration Example 2 . . . . . . . . . . . 228
Using 802.1p Priorities to Provide QoS . . . . . . . . . . . . . . . . . 230Queuing and Scheduling . . . . . . . . . . . . . . . . . . . . . . . 231
© Copyright Lenovo 2017 Contents 9
Control Plane Protection . . . . . . . . . . . . . . . . . . . . . . . . 232Packet Drop Logging . . . . . . . . . . . . . . . . . . . . . . . . . 233
Chapter 13. Precision Time Protocol . . . . . . . . . . . . . . . . 235Ordinary Clock Mode . . . . . . . . . . . . . . . . . . . . . . . 236Transparent Clock Mode . . . . . . . . . . . . . . . . . . . . . . 236Tracing PTP Packets . . . . . . . . . . . . . . . . . . . . . . . . 237Viewing PTP Information . . . . . . . . . . . . . . . . . . . . . 237
Part 4:. Advanced Switching Features . . . . . . . . . . . . . . . 239
Chapter 14. OpenFlow . . . . . . . . . . . . . . . . . . . . . . 241OpenFlow Overview . . . . . . . . . . . . . . . . . . . . . . . . . 242
Switch Profiles . . . . . . . . . . . . . . . . . . . . . . . . . . 242OpenFlow Versions . . . . . . . . . . . . . . . . . . . . . . . . 242OpenFlow Instance . . . . . . . . . . . . . . . . . . . . . . . . 243Flow Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
Static Flows . . . . . . . . . . . . . . . . . . . . . . . . . . 245Table‐Miss . . . . . . . . . . . . . . . . . . . . . . . . . . 250
Fail Secure Mode . . . . . . . . . . . . . . . . . . . . . . . . . 251Emergency Mode . . . . . . . . . . . . . . . . . . . . . . . . . 251OpenFlow Ports. . . . . . . . . . . . . . . . . . . . . . . . . . 253
OpenFlow Edge Ports . . . . . . . . . . . . . . . . . . . . . 253Link Aggregation . . . . . . . . . . . . . . . . . . . . . . . 254Data Path ID . . . . . . . . . . . . . . . . . . . . . . . . . 254
sFlow Compatibility . . . . . . . . . . . . . . . . . . . . . . . . 255OpenFlow Groups . . . . . . . . . . . . . . . . . . . . . . . . 255
Configuring OpenFlow . . . . . . . . . . . . . . . . . . . . . . . . 256Configuration Example 1 ‐ OpenFlow Boot Profile . . . . . . . . . . . 257Configuration Example 2 ‐ Default Boot Profile . . . . . . . . . . . . 262Feature Limitations . . . . . . . . . . . . . . . . . . . . . . . . 267
Chapter 15. Stacking . . . . . . . . . . . . . . . . . . . . . . 269Stacking Overview . . . . . . . . . . . . . . . . . . . . . . . . . . 270
Stacking Requirements. . . . . . . . . . . . . . . . . . . . . . . 271Stacking Limitations . . . . . . . . . . . . . . . . . . . . . . . . 271
Stack Membership . . . . . . . . . . . . . . . . . . . . . . . . . . 273The Master Switch . . . . . . . . . . . . . . . . . . . . . . . . 273
Splitting and Merging One Stack . . . . . . . . . . . . . . . . 274Merging Independent Stacks . . . . . . . . . . . . . . . . . . 275
Backup Switch Selection . . . . . . . . . . . . . . . . . . . . . . 276Master Failover . . . . . . . . . . . . . . . . . . . . . . . . 276Secondary Backup . . . . . . . . . . . . . . . . . . . . . . . 276Master Recovery . . . . . . . . . . . . . . . . . . . . . . . 276No Backup . . . . . . . . . . . . . . . . . . . . . . . . . . 277
Stack Member Identification . . . . . . . . . . . . . . . . . . . . 277
10 EN4093R Application Guide for N/OS 8.4
Configuring a Stack. . . . . . . . . . . . . . . . . . . . . . . . . . 278Configuration Overview . . . . . . . . . . . . . . . . . . . . . . 278Best Configuration Practices . . . . . . . . . . . . . . . . . . . . 278
Stacking VLANs . . . . . . . . . . . . . . . . . . . . . . . 279Configuring Each Switch in a Stack . . . . . . . . . . . . . . . . . 279Configuring a Management IP Interface . . . . . . . . . . . . . . . 281Additional Master Configuration . . . . . . . . . . . . . . . . . . 282
Viewing Stack Connections . . . . . . . . . . . . . . . . . . . 282Binding Members to the Stack . . . . . . . . . . . . . . . . . 283Assigning a Stack Backup Switch . . . . . . . . . . . . . . . . 283
Managing a Stack. . . . . . . . . . . . . . . . . . . . . . . . . . . 284Connecting to Stack Switches via the Master . . . . . . . . . . . . . 284Rebooting Stacked Switches via the Master . . . . . . . . . . . . . . 284
Rebooting Stacked Switches using the ISCLI . . . . . . . . . . . 284Rebooting Stacked Switches using the BBI . . . . . . . . . . . . 285
Upgrading Software in an Existing Stack . . . . . . . . . . . . . . . . 286Replacing or Removing Stacked Switches . . . . . . . . . . . . . . . . 288
Removing a Switch from the Stack . . . . . . . . . . . . . . . . . 288Installing the New Switch or Healing the Topology . . . . . . . . . . 288Binding the New Switch to the Stack . . . . . . . . . . . . . . . . 290Performing a Rolling Reload or Upgrade. . . . . . . . . . . . . . . 291
Starting a Rolling Reload . . . . . . . . . . . . . . . . . . . . 291Starting a Rolling Upgrade . . . . . . . . . . . . . . . . . . . 291
Saving Syslog Messages . . . . . . . . . . . . . . . . . . . . . . 293Flexible Port Mapping in Stacking . . . . . . . . . . . . . . . . . . . 295ISCLI Stacking Commands . . . . . . . . . . . . . . . . . . . . . . 297
Chapter 16. Virtualization . . . . . . . . . . . . . . . . . . . . 299
Chapter 17. Virtual NICs . . . . . . . . . . . . . . . . . . . . . 301vNIC IDs on the Switch . . . . . . . . . . . . . . . . . . . . . . . . 302vNIC Interface Names on the Server . . . . . . . . . . . . . . . . . . 303vNIC Uplink Modes . . . . . . . . . . . . . . . . . . . . . . . . . 306vNIC Bandwidth Metering . . . . . . . . . . . . . . . . . . . . . . 308vNIC Groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
vNIC Groups in Dedicated Mode . . . . . . . . . . . . . . . . . . 310vNIC Groups in Shared Mode . . . . . . . . . . . . . . . . . . . 311
vNIC Teaming Failover . . . . . . . . . . . . . . . . . . . . . . . . 312vNIC Configuration Example . . . . . . . . . . . . . . . . . . . . . 314
vNICs for iSCSI on Emulex Virtual Fabric Adapter . . . . . . . . . . 317vNICs for FCoE Using the Emulex VFA . . . . . . . . . . . . . . . 318
Chapter 18. VMready . . . . . . . . . . . . . . . . . . . . . . 319VE Capacity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320
© Copyright Lenovo 2017 Contents 11
VM Group Types . . . . . . . . . . . . . . . . . . . . . . . . . . . 320Local VM Groups . . . . . . . . . . . . . . . . . . . . . . . . . 320
Configuring a Local VM Group . . . . . . . . . . . . . . . . . 321Distributed VM Groups . . . . . . . . . . . . . . . . . . . . . . 322VM Profiles . . . . . . . . . . . . . . . . . . . . . . . . . . . 323Initializing a Distributed VM Group . . . . . . . . . . . . . . . . . 323Assigning Members . . . . . . . . . . . . . . . . . . . . . . . . 324Synchronizing the Configuration . . . . . . . . . . . . . . . . . . 324Removing Member VEs . . . . . . . . . . . . . . . . . . . . . . 324
VMcheck . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325Basic Validation. . . . . . . . . . . . . . . . . . . . . . . . . . 325Advanced Validation . . . . . . . . . . . . . . . . . . . . . . . 326
Virtual Distributed Switch . . . . . . . . . . . . . . . . . . . . . . . 327Prerequisites . . . . . . . . . . . . . . . . . . . . . . . . . . . 327Guidelines . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327Migrating to vDS . . . . . . . . . . . . . . . . . . . . . . . . . 328
Virtualization Management Servers . . . . . . . . . . . . . . . . . . . 329Assigning a vCenter . . . . . . . . . . . . . . . . . . . . . . . . 329vCenter Scans . . . . . . . . . . . . . . . . . . . . . . . . . . 330Deleting the vCenter. . . . . . . . . . . . . . . . . . . . . . . . 330Exporting Profiles . . . . . . . . . . . . . . . . . . . . . . . . . 330VMware Operational Commands . . . . . . . . . . . . . . . . . . 331
Pre‐Provisioning VEs . . . . . . . . . . . . . . . . . . . . . . . . . 331VLAN Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332VM Policy Bandwidth Control . . . . . . . . . . . . . . . . . . . . . 333
VM Policy Bandwidth Control Commands . . . . . . . . . . . . . . 333Bandwidth Policies vs. Bandwidth Shaping. . . . . . . . . . . . . . 334
VMready Information Displays . . . . . . . . . . . . . . . . . . . . . 334Local VE Information . . . . . . . . . . . . . . . . . . . . . . . 334vCenter Hypervisor Hosts . . . . . . . . . . . . . . . . . . . . . 335vCenter VEs . . . . . . . . . . . . . . . . . . . . . . . . . . . 336vCenter VE Details . . . . . . . . . . . . . . . . . . . . . . . . 337
VMready Configuration Example . . . . . . . . . . . . . . . . . . . . 338
Chapter 19. Fibre Channel over Ethernet . . . . . . . . . . . . . . 339The FCoE Topology . . . . . . . . . . . . . . . . . . . . . . . . . . 340FCoE Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . 341Converged Enhanced Ethernet . . . . . . . . . . . . . . . . . . . . . 342
Turning CEE On or Off . . . . . . . . . . . . . . . . . . . . . . 342Effects on Link Layer Discovery Protocol . . . . . . . . . . . . . . . 342Effects on 802.1p Quality of Service . . . . . . . . . . . . . . . . . 343Effects on Flow Control . . . . . . . . . . . . . . . . . . . . . . 344
12 EN4093R Application Guide for N/OS 8.4
FCoE Initialization Protocol Snooping . . . . . . . . . . . . . . . . . . 345FIP Snooping Requirements . . . . . . . . . . . . . . . . . . . . 345Port Aggregation . . . . . . . . . . . . . . . . . . . . . . . . . 346Global FIP Snooping Settings . . . . . . . . . . . . . . . . . . . . 346FIP Snooping for Specific Ports . . . . . . . . . . . . . . . . . . . 347FIPS LAG Support on Server Ports . . . . . . . . . . . . . . . . . 347Port FCF and ENode Detection . . . . . . . . . . . . . . . . . . . 348FCoE Connection Timeout . . . . . . . . . . . . . . . . . . . . . 348FCoE ACL Rules . . . . . . . . . . . . . . . . . . . . . . . . . 348FCoE VLANs. . . . . . . . . . . . . . . . . . . . . . . . . . . 349Viewing FIP Snooping Information . . . . . . . . . . . . . . . . . 350Operational Commands . . . . . . . . . . . . . . . . . . . . . . 350FIP Snooping Configuration . . . . . . . . . . . . . . . . . . . . 351
Priority‐Based Flow Control . . . . . . . . . . . . . . . . . . . . . . 352Global vs. Port‐by‐Port PFC Configuration . . . . . . . . . . . . . . 353PFC Configuration Example . . . . . . . . . . . . . . . . . . . . 354
Enhanced Transmission Selection. . . . . . . . . . . . . . . . . . . . 356802.1p Priority Values . . . . . . . . . . . . . . . . . . . . . . . 356Priority Groups. . . . . . . . . . . . . . . . . . . . . . . . . . 357
PGID . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357Assigning Priority Values to a Priority Group . . . . . . . . . . . 358Deleting a Priority Group . . . . . . . . . . . . . . . . . . . 358Allocating Bandwidth . . . . . . . . . . . . . . . . . . . . . 358
Configuring ETS . . . . . . . . . . . . . . . . . . . . . . . . . 360Data Center Bridging Capability Exchange. . . . . . . . . . . . . . . . 362
DCBX Settings . . . . . . . . . . . . . . . . . . . . . . . . . . 362Enabling and Disabling DCBX . . . . . . . . . . . . . . . . . 363Peer Configuration Negotiation . . . . . . . . . . . . . . . . . 363
Configuring DCBX . . . . . . . . . . . . . . . . . . . . . . . . 364FCoE Example Configuration . . . . . . . . . . . . . . . . . . . . . 366
Chapter 20. Edge Virtual Bridging . . . . . . . . . . . . . . . . . 369EVB Operations Overview. . . . . . . . . . . . . . . . . . . . . . . 370
VSIDB Synchronization . . . . . . . . . . . . . . . . . . . . . . 370VLAN Behavior . . . . . . . . . . . . . . . . . . . . . . . . . 371
Deleting a VLAN . . . . . . . . . . . . . . . . . . . . . . . 371Manual Reflective Relay . . . . . . . . . . . . . . . . . . . . . . 372
EVB Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . 373Configuring EVB in Stacking Mode . . . . . . . . . . . . . . . . . . . 375Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376
Unsupported features . . . . . . . . . . . . . . . . . . . . . . . 376
Chapter 21. Static Multicast ARP . . . . . . . . . . . . . . . . . 377Configuring Static Multicast ARP. . . . . . . . . . . . . . . . . . . . 378
Configuration Example . . . . . . . . . . . . . . . . . . . . . . 378Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380
Chapter 22. Unified Fabric Port . . . . . . . . . . . . . . . . . . 381UFP Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . 382
© Copyright Lenovo 2017 Contents 13
Virtual Ports Modes. . . . . . . . . . . . . . . . . . . . . . . . . . 383vPort‐S‐Tag Mapping . . . . . . . . . . . . . . . . . . . . . . . 383vPort‐VLAN Mapping . . . . . . . . . . . . . . . . . . . . . . . 383UFP vPort Mode . . . . . . . . . . . . . . . . . . . . . . . . . 383
Tunnel Mode . . . . . . . . . . . . . . . . . . . . . . . . . 384802.1Q Trunk Mode . . . . . . . . . . . . . . . . . . . . . . 384Access Mode . . . . . . . . . . . . . . . . . . . . . . . . . 385FCoE Mode . . . . . . . . . . . . . . . . . . . . . . . . . . 385Auto‐VLAN Mode. . . . . . . . . . . . . . . . . . . . . . . 385
UFP Bandwidth Provisioning . . . . . . . . . . . . . . . . . . . . . 386Enhanced Transmission Selection mode . . . . . . . . . . . . . . . 386UFP Strict Bandwidth Provisioning mode . . . . . . . . . . . . . . 387
Using UFP with Other EN4093R 10Gb Ethernet Scalable Switch Features. . . 388Layer 2 Failover. . . . . . . . . . . . . . . . . . . . . . . . . . 388Increased VLAN Limits . . . . . . . . . . . . . . . . . . . . . . 388Private VLANs . . . . . . . . . . . . . . . . . . . . . . . . . . 388VMReady . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389802.1Qbg. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
UFP Configuration Examples. . . . . . . . . . . . . . . . . . . . . . 390Example 1: Access Mode . . . . . . . . . . . . . . . . . . . . . . 390Example 2: Trunk Mode . . . . . . . . . . . . . . . . . . . . . . 391Example 3: Auto‐VLAN Mode with VMready . . . . . . . . . . . . 393Example 4: Auto‐VLAN Mode with Edge Virtual Bridging . . . . . . . 394Example 5: Tunnel Mode. . . . . . . . . . . . . . . . . . . . . . 395Example 6: FCoE Mode . . . . . . . . . . . . . . . . . . . . . . 396Example 7: Private VLAN Configuration . . . . . . . . . . . . . . . 397Example 8: Layer 2 Failover Configuration . . . . . . . . . . . . . . 399Example 9: 8 vPorts with ETS bandwidth provisioning mode . . . . . . 400
Chapter 23. Switch Partition . . . . . . . . . . . . . . . . . . . 403SPAR Processing Modes . . . . . . . . . . . . . . . . . . . . . . . . 404
Local Domain Processing. . . . . . . . . . . . . . . . . . . . . . 404Pass‐Through Domain Processing . . . . . . . . . . . . . . . . . . 405
Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 406Unsupported Features . . . . . . . . . . . . . . . . . . . . . . . 407
SPAR VLAN Management . . . . . . . . . . . . . . . . . . . . . . . 408Example Configurations . . . . . . . . . . . . . . . . . . . . . . . . 409
Pass Through Configuration . . . . . . . . . . . . . . . . . . . . 409Local Domain Configuration . . . . . . . . . . . . . . . . . . . . 409
Part 5:. IP Routing. . . . . . . . . . . . . . . . . . . . . . . .411
Chapter 24. Basic IP Routing . . . . . . . . . . . . . . . . . . . 413IP Routing Benefits . . . . . . . . . . . . . . . . . . . . . . . . . . 413Routing Between IP Subnets . . . . . . . . . . . . . . . . . . . . . . 413
Subnet Routing Example . . . . . . . . . . . . . . . . . . . . . . 415Using VLANs to Segregate Broadcast Domains . . . . . . . . . . . . 417
BOOTP Relay Agent . . . . . . . . . . . . . . . . . . . . . . . . . 419BOOTP Relay Agent Configuration . . . . . . . . . . . . . . . . . 419Domain‐Specific BOOTP Relay Agent Configuration. . . . . . . . . . 420
14 EN4093R Application Guide for N/OS 8.4
Dynamic Host Configuration Protocol. . . . . . . . . . . . . . . . . . 421DHCP Relay Agent . . . . . . . . . . . . . . . . . . . . . . . . 421DHCP Relay Agent Configuration . . . . . . . . . . . . . . . . . 422
Chapter 25. Internet Protocol Version 6 . . . . . . . . . . . . . . 423IPv6 Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . 424IPv6 Address Format . . . . . . . . . . . . . . . . . . . . . . . . . 425IPv6 Address Types . . . . . . . . . . . . . . . . . . . . . . . . . 426
Unicast Address . . . . . . . . . . . . . . . . . . . . . . . . . 426Multicast Address . . . . . . . . . . . . . . . . . . . . . . . . 426Anycast Address . . . . . . . . . . . . . . . . . . . . . . . . . 427
IPv6 Address Auto‐configuration. . . . . . . . . . . . . . . . . . . . 428IPv6 Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429Neighbor Discovery . . . . . . . . . . . . . . . . . . . . . . . . . 430
Host vs. Router . . . . . . . . . . . . . . . . . . . . . . . . . . 431Supported Applications . . . . . . . . . . . . . . . . . . . . . . . . 432IPv6 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . 434
Configuration Guidelines . . . . . . . . . . . . . . . . . .