+ All Categories
Home > Documents > Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

Date post: 28-Jul-2015
Category:
Upload: marcelo-dantas
View: 93 times
Download: 10 times
Share this document with a friend
Popular Tags:
109
Best Practices for Catalyst 4 5 0 0 / 4 0 0 0 , 5 5 0 0 / 5 0 0 0 , an d 6500/6000 S eries S w itch es R u n n in g CatO S Con fig u ration an d M an ag em en t Contents Introduction P re re q uis ite s R e q u i r e m e n t s C o m p o n e n t s U s e d C o n v e n t i o n s B a c k g r o u n d I n f o r m a t i o n B a s ic C onf ig ura tion C a t a l y s t C o n t r o l P l a n e P r o t o c o l s V L A N T r u n k i n g P r o t o c o l E x t e n d e d V L A N a n d M A C A d d r e s s R e d u c t i o n A u t o n e g o t i a t i o n G i g a b i t E t h e r n e t D y n a m i c T r u n k i n g P r o t o c o l S p a n n i n g T r e e P r o t o c o l E t h e r C h a n n e l U n i d i r e c t i o n a l L i n k D e t e c t i o n J u m b o F r a m e M a na g e m e nt C onf ig ura tion N e t w o r k D i a g r a m s I n - B a n d M a n a g e m e n t O u t - o f - B a n d M a n a g e m e n t S y s t e m T e s t s S y s t e m a n d H a r d w a r e E r r o r D e t e c t i o n E t h e r C h a n n e l / L i n k E r r o r s H a n d l i n g C a t a l y s t 650 0 /60 0 0 P a c k e t B u f f e r D i a g n o s t i c s S y s t e m L o g g i n g S i m p l e N e t w o r k M a n a g e m e n t P r o t o c o l R e m o t e M o n i t o r i n g N e t w o r k T i m e P r o t o c o l C i s c o D i s c o v e r y P r o t o c o l S e curity C onf ig ura tion B a s i c S e c u r i t y F e a t u r e s T e r m i n a l A c c e s s C o n t r o l l e r A c c e s s C o n t r o l S y s t e m C onf ig ura tion C h e ck lis t TAC Notice: What's C han g in g o n T A C We b H el p u s h el p y ou . Please rate this d o c u m en t. Excellent G o o d A v er a g e F a i r P o o r T his d o c u m en t so lv ed m y p ro b lem . Y es N o J u s t brow s ing S u g g estio n s f o r im p ro v em en t: ( 2 5 6 ch a r a cter lim i t) Send P a g e 1 o f 10 9 C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r ie s Sw itches ... 11/ 29/ 20 0 7 h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l?convertPaths=1
Transcript
Page 1: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

Best Practices for Catalyst 4 5 0 0 / 4 0 0 0 , 5 5 0 0 / 5 0 0 0 , an d 6 5 0 0 / 6 0 0 0 S eries S w itch es R u n n in g CatO S Con fig u ration an d M an ag em en t

Contents Introduction P re re q uis ite s R e q u i r e m e n t s C o m p o n e n t s U s e d C o n v e n t i o n s B a c k g r o u n d I n f o r m a t i o n B a s ic C onf ig ura tion C a t a l y s t C o n t r o l P l a n e P r o t o c o l s V L A N T r u n k i n g P r o t o c o l E x t e n d e d V L A N a n d M A C A d d r e s s R e d u c t i o n A u t o n e g o t i a t i o n G i g a b i t E t h e r n e t D y n a m i c T r u n k i n g P r o t o c o l S p a n n i n g T r e e P r o t o c o l E t h e r C h a n n e l U n i d i r e c t i o n a l L i n k D e t e c t i o n J u m b o F r a m e M a na g e m e nt C onf ig ura tion N e t w o r k D i a g r a m s I n -B a n d M a n a g e m e n t O u t -o f -B a n d M a n a g e m e n t S y s t e m T e s t s S y s t e m a n d H a r d w a r e E r r o r D e t e c t i o n E t h e r C h a n n e l / L i n k E r r o r s H a n d l i n g C a t a l y s t 650 0 / 60 0 0 P a c k e t B u f f e r D i a g n o s t i c s S y s t e m L o g g i n g S i m p l e N e t w o r k M a n a g e m e n t P r o t o c o l R e m o t e M o n i t o r i n g N e t w o r k T i m e P r o t o c o l C i s c o D i s c o v e r y P r o t o c o l S e curity C onf ig ura tion B a s i c S e c u r i t y F e a t u r e s T e r m i n a l A c c e s s C o n t r o l l e r A c c e s s C o n t r o l S y s t e m C onf ig ura tion C h e ck l is t

TAC Notice: What's C han g i n g o n T A C We b

H el p u s h el p y ou . Please rate this

d o c u m en t.ExcellentG o o dA v er a g eF a i rP o o r

T his d o c u m en t so lv ed m y p ro b lem .

Y esN oJ u s t b r o w s i ng

S u g g estio n s f o r im p ro v em en t:

( 2 5 6 ch a r a cter li m i t)

Send

P a g e 1 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c h e s ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 2: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

N e tP ro D is cus s ion F orum s - F e a ture d C onv e rs a tions R e l a te d Inf orm a tion

I ntr od u c ti on T h i s d o c u m e n t d i s c u s s e s t h e i m p l e m e n t a t i o n o f C i s c o C a t a l y s t s e r i e s s w i t c h e s i n y o u r n e t w o r k , s p e c i f i c a l l y t h e C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 p l a t f o r m s . C o n f i g u r a t i o n s a n d c o m m a n d s a r e d i s c u s s e d u n d e r t h e a s s u m p t i o n t h a t y o u a r e r u n n i n g C a t a l y s t O S ( C a t O S ) G e n e r a l D e p l o y m e n t s o f t w a r e 6.4( 3) o r l a t e r . A l t h o u g h s o m e d e s i g n c o n s i d e r a t i o n s a r e p r e s e n t e d , t h i s d o c u m e n t d o e s n o t c o v e r o v e r a l l c a m p u s d e s i g n .

P r er eq u i si tes Requirements T h i s d o c u m e n t a s s u m e s f a m i l i a r i t y w i t h t h e C a t a l y s t 650 0 S e r i e s C o m m a n d R e f e r e n c e , 7.6. A l t h o u g h r e f e r e n c e s t o p u b l i c o n l i n e m a t e r i a l f o r f u r t h e r r e a d i n g a r e p r o v i d e d t h r o u g h o u t t h e d o c u m e n t , t h e s e a r e o t h e r f o u n d a t i o n a l a n d e d u c a t i o n a l r e f e r e n c e s :

� C i s c o I S P E s s e n t i a l s — E s s e n t i a l I O S F e a t u r e s E v e r y I S P S h o u l d C o n s i d e r . � C i s c o N e t w o r k M o n i t o r i n g a n d E v e n t C o r r e l a t i o n G u i d e l i n e s � G i g a b i t C a m p u s N e t w o r k D e s i g n —P r i n c i p l e s a n d A r c h i t e c t u r e � C i s c o S A F E : A S e c u r i t y B l u e p r i n t f o r E n t e r p r i s e N e t w o r k s

C o mp o nents U sed T h i s d o c u m e n t i s n o t r e s t r i c t e d t o s p e c i f i c s o f t w a r e a n d h a r d w a r e v e r s i o n s .

C o nv entio ns R e f e r t o C i s c o T e c h n i c a l T i p s C o n v e n t i o n s f o r m o r e i n f o r m a t i o n o n d o c u m e n t c o n v e n t i o n s .

B a c k g ro und I nf o rma tio n T h e s e s o l u t i o n s r e p r e s e n t y e a r s o f f i e l d e x p e r i e n c e f r o m C i s c o e n g i n e e r s w o r k i n g w i t h m a n y o f o u r l a r g e s t c u s t o m e r s a n d c o m p l e x n e t w o r k s . C o n s e q u e n t l y , t h i s d o c u m e n t e m p h a s i z e s r e a l -w o r l d c o n f i g u r a t i o n s t h a t m a k e n e t w o r k s s u c c e s s f u l . T h i s p a p e r o f f e r s t h e s e s o l u t i o n s :

� S o l u t i o n s t h a t h a v e s t a t i s t i c a l l y t h e b r o a d e s t f i e l d e x p o s u r e , a n d t h u s t h e l o w e s t r i s k . � S o l u t i o n s t h a t a r e s i m p l e , t r a d i n g s o m e f l e x i b i l i t y f o r d e t e r m i n i s t i c r e s u l t s .

P a g e 2 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c h e s ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 3: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

� S o l u t i o n s t h a t a r e e a s y t o m a n a g e a n d c o n f i g u r e d b y n e t w o r k o p e r a t i o n s t e a m s . � S o l u t i o n s t h a t p r o m o t e h i g h a v a i l a b i l i t y a n d h i g h s t a b i l i t y .

T h i s d o c u m e n t i s d i v i d e d i n t o t h e s e f o u r s e c t i o n s : � B a s i c C o n f i g u r a t i o n — f e a t u r e s u s e d b y a m a j o r i t y o f n e t w o r k s s u c h a s S p a n n i n g T r e e P r o t o c o l ( S T P ) a n d t r u n k i n g .

� M a n a g e m e n t C o n f i g u r a t i o n — d e s i g n c o n s i d e r a t i o n s a l o n g w i t h s y s t e m a n d e v e n t m o n i t o r i n g u s i n g S i m p l e N e t w o r k M a n a g e m e n t P r o t o c o l ( S N M P ) , R e m o t e M o n i t o r i n g ( R M O N ) , S y s l o g , C i s c o D i s c o v e r y P r o t o c o l ( C D P ) , a n d N e t w o r k T i m e P r o t o c o l ( N T P ) .

� S e c u r i t y C o n f i g u r a t i o n — p a s s w o r d s , p o r t s e c u r i t y , p h y s i c a l s e c u r i t y , a n d a u t h e n t i c a t i o n u s i n g T A C A C S + .

� C o n f i g u r a t i o n C h e c k l i s t — s u m m a r y o f s u g g e s t e d c o n f i g u r a t i o n t e m p l a t e s .

B a si c Conf i g u r a ti on F e a t u r e s d e p l o y e d w i t h t h e m a j o r i t y o f C a t a l y s t n e t w o r k s a r e d i s c u s s e d i n t h i s s e c t i o n .

C a ta l y st C o ntro l P l a ne P ro to c o l s T h i s s e c t i o n i n t r o d u c e s t h e p r o t o c o l s t h a t r u n b e t w e e n s w i t c h e s u n d e r n o r m a l o p e r a t i o n . A b a s i c u n d e r s t a n d i n g o f t h e s e p r o t o c o l s i s h e l p f u l i n t a c k l i n g e a c h s e c t i o n . S up e rv is or T ra f f ic M o s t f e a t u r e s e n a b l e d i n a C a t a l y s t n e t w o r k r e q u i r e t w o o r m o r e s w i t c h e s t o c o o p e r a t e , s o t h e r e m u s t b e a c o n t r o l l e d e x c h a n g e o f k e e p a l i v e m e s s a g e s , c o n f i g u r a t i o n p a r a m e t e r s , a n d m a n a g e m e n t c h a n g e s . W h e t h e r t h e s e p r o t o c o l s a r e C i s c o p r o p r i e t a r y , l i k e C D P , o r s t a n d a r d s -b a s e d , l i k e I E E E 80 2.1d ( S T P ) , a l l h a v e c e r t a i n e l e m e n t s i n c o m m o n w h e n i m p l e m e n t e d o n t h e C a t a l y s t s e r i e s . I n b a s i c f r a m e f o r w a r d i n g , u s e r d a t a f r a m e s o r i g i n a t e f r o m e n d s y s t e m s , a n d t h e i r s o u r c e a d d r e s s a n d d e s t i n a t i o n a d d r e s s a r e n o t c h a n g e d t h r o u g h o u t L a y e r 2 ( L 2) s w i t c h e d d o m a i n s . C o n t e n t A d d r e s s a b l e M e m o r y ( C A M ) l o o k u p -t a b l e s o n e a c h s w i t c h S u p e r v i s o r E n g i n e a r e p o p u l a t e d b y a s o u r c e a d d r e s s l e a r n i n g p r o c e s s a n d i n d i c a t e w h i c h e g r e s s p o r t m u s t f o r w a r d e a c h f r a m e r e c e i v e d . I f t h e a d d r e s s l e a r n i n g p r o c e s s i s i n c o m p l e t e ( t h e d e s t i n a t i o n i s u n k n o w n o r t h e f r a m e i s d e s t i n e d t o a b r o a d c a s t o r m u l t i c a s t a d d r e s s ) , i t i s f o r w a r d e d ( f l o o d e d ) o u t a l l p o r t s i n t h a t V L A N . T h e s w i t c h m u s t a l s o r e c o g n i z e w h i c h f r a m e s a r e t o b e s w i t c h e d t h r o u g h t h e s y s t e m a n d w h i c h m u s t b e d i r e c t e d t o t h e s w i t c h C P U i t s e l f ( a l s o k n o w n a s t h e N e t w o r k M a n a g e m e n t P r o c e s s o r [ N M P ] ) . T h e C a t a l y s t c o n t r o l p l a n e i s c r e a t e d u s i n g s p e c i a l e n t r i e s i n t h e C A M t a b l e c a l l e d s y s te m e ntrie s i n o r d e r t o r e c e i v e a n d d i r e c t t r a f f i c t o t h e N M P o n a n i n t e r n a l s w i t c h p o r t . T h u s , b y u s i n g p r o t o c o l s w i t h w e l l -k n o w n d e s t i n a t i o n M A C a d d r e s s e s , c o n t r o l p l a n e t r a f f i c c a n b e s e p a r a t e d f r o m t h e d a t a t r a f f i c . I s s u e s h ow C A M s y s te m c o m m a n d o n a s w i t c h t o c o n f i r m t h i s , a s s h o w n :

P a g e 3 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c h e s ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 4: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

>show cam system * = S t a t i c E n t r y . + = P e r m a n e n t E n t r y . # = S y s t e m E n t r y . R = R o u t e r E n t r y . X = P o r t S e c u r i t y E n t r y V L A N D e s t M A C / R o u t e D e s [ C o S ] D e s t i n a t i o n P o r t s o r V C s / [ P r o t o c o l T y p e ] ---- ------------------ ----- ------------------------------------------- 1 0 0 -d 0 -f f -8 8 -c b -f f # 1/ 3 !--- N M P i n t e r n a l p o r t . 1 0 1-0 0 -0 c -c c -c c -c c # 1/ 3 !--- C D P a n d s o o n . 1 0 1-0 0 -0 c -c c -c c -c d # 1/ 3 !--- C i s c o S T P . 1 0 1-8 0 -c 2-0 0 -0 0 -0 0 # 1/ 3 !--- I E E E S T P . 1 0 1-8 0 -c 2-0 0 -0 0 -0 1 # 1/ 3 !--- I E E E f l o w c o n t r o l . 1 0 0 -0 3-6 b -51-e 1-8 2 R # 15/ 1 !--- M u l t i l a y e r S w i t c h F e a t u r e C a r d ( M S F C ) r o u t e r . . . .

C i s c o h a s a r e s e r v e d r a n g e o f E t h e r n e t M A C a n d p r o t o c o l a d d r e s s e s , a s s h o w n . E a c h o n e i s c o v e r e d l a t e r i n t h i s d o c u m e n t . H o w e v e r , a s u m m a r y i s p r e s e n t e d i n t h i s t a b l e f o r c o n v e n i e n c e .

F e a ture S N A P H D L C P rotocol T y p e

D e s tina tion M ul tica s t M A C

P o r t A g g r e g a t i o n P r o t o c o l ( P A g P ) 0 x 0 10 4 0 1-0 0 -0 c -c c -c c -c c S p a n n i n g T r e e P V S T P + 0 x 0 10 b 0 1-0 0 -0 c -c c -c c -c d

V L A N B r i d g e 0 x 0 10 c 0 1-0 0 -0 c -c d -c d -c e

U n i d i r e c t i o n a l L i n k D e t e c t i o n ( U D L D ) 0 x 0 111 0 1-0 0 -0 c -c c -c c -c c C i s c o D i s c o v e r y P r o t o c o l 0 x 20 0 0 0 1-0 0 -0 c -c c -c c -c c D y n a m i c T r u n k i n g ( D T P ) 0 x 20 0 4 0 1-0 0 -0 c -c c -c c -c c

S T P U p l i n k F a s t 0 x 20 0 a 0 1-0 0 -0 c -c d -c d -c d

P a g e 4 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c h e s ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 5: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

T h e m a j o r i t y o f C i s c o c o n t r o l p r o t o c o l s u s e a n I E E E 80 2.3 S N A P e n c a p s u l a t i o n , i n c l u d i n g L L C 0x A A A A 03 , O U I 0x 00000C , w h i c h c a n b e s e e n o n a L A N a n a l y z e r t r a c e . O t h e r c o m m o n p r o p e r t i e s o f t h e s e p r o t o c o l s i n c l u d e :

� T h e s e p r o t o c o l s a s s u m e p o i n t -t o -p o i n t c o n n e c t i v i t y . N o t e t h a t t h e d e l i b e r a t e u s e o f m u l t i c a s t d e s t i n a t i o n a d d r e s s e s e n a b l e s t w o C a t a l y s t s t o t r a n s p a r e n t l y c o m m u n i c a t e o v e r n o n -C i s c o s w i t c h e s , a s d e v i c e s t h a t d o n o t u n d e r s t a n d a n d i n t e r c e p t t h e f r a m e s s i m p l y f l o o d t h e m . H o w e v e r , p o i n t -t o -m u l t i p o i n t c o n n e c t i o n s t h r o u g h m u l t i -v e n d o r e n v i r o n m e n t s c a n r e s u l t i n i n c o n s i s t e n t b e h a v i o r a n d m u s t g e n e r a l l y b e a v o i d e d .

� T h e s e p r o t o c o l s t e r m i n a t e a t L a y e r 3 ( L 3) r o u t e r s ; t h e y f u n c t i o n o n l y w i t h i n a s w i t c h d o m a i n . � T h e s e p r o t o c o l s r e c e i v e p r i o r i t i z a t i o n o v e r u s e r d a t a b y i n g r e s s a p p l i c a t i o n -s p e c i f i c i n t e g r a t e d c i r c u i t ( A S I C ) p r o c e s s i n g a n d s c h e d u l i n g .

A f t e r t h e i n t r o d u c t i o n o f t h e c o n t r o l p r o t o c o l d e s t i n a t i o n a d d r e s s e s , t h e s o u r c e a d d r e s s m u s t a l s o b e d e s c r i b e d f o r c o m p l e t e n e s s . S w i t c h p r o t o c o l s u s e a M A C a d d r e s s t a k e n f r o m a b a n k o f a v a i l a b l e a d d r e s s e s p r o v i d e d b y a n E P R O M o n t h e c h a s s i s . I s s u e t h e s h ow m odul e c o m m a n d i n o r d e r t o d i s p l a y t h e a d d r e s s r a n g e s a v a i l a b l e t o e a c h m o d u l e w h e n i t s o u r c e s t r a f f i c s u c h a s S T P b r i d g e p r o t o c o l d a t a u n i t s ( B P D U s ) o r I S L f r a m e s .

>show mod u l e . . . M o d M A C -A d d r e s s ( e s ) H w F w S w --- -------------------------------------- ------ ---------- ----------------- 1 0 0 -0 1-c 9 -d a -0 c -1e t o 0 0 -0 1-c 9 -d a -0 c -1f 2. 2 6 . 1( 3) 6 . 1( 1d ) 0 0 -0 1-c 9 -d a -0 c -1c t o 0 0 -0 1-c 9 -d a -0 c -1 0 0 -d 0 -f f -8 8 -c 8 -0 0 t o 0 0 -d 0 -f f -8 8 -c b -f f !--- M A C s f o r s o u r c i n g t r a f f i c . . . . V L A N 1

V L A N 1 V L A N 1 h a s a s p e c i a l s i g n i f i c a n c e i n C a t a l y s t n e t w o r k s . T h e C a t a l y s t S u p e r v i s o r E n g i n e a l w a y s u s e s t h e d e f a u l t V L A N , V L A N 1, t o t a g a n u m b e r o f c o n t r o l a n d m a n a g e m e n t p r o t o c o l s w h e n t r u n k i n g , s u c h a s C D P , V T P a n d P A g P . A l l p o r t s , i n c l u d i n g t h e i n t e r n a l

I E E E S p a n n i n g T r e e 80 2.1d

N / A - D S A P 42 S S A P 42

0 1-80 -c 2-0 0 -0 0 -0 0

I n t e r S w i t c h L i n k ( I S L ) N / A 0 1-0 0 -0 c -0 0 -0 0 -

0 0 V L A N T r u n k i n g ( V T P ) 0 x 20 0 3 0 1-0 0 -0 c -c c -c c -c c

I E E E P a u s e , 80 2.3x N / A - D S A P 81 S S A P 80

0 1-80 -C 2-0 0 -0 0 -0 0 > 0 F

P a g e 5 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c h e s ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 6: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

s c 0 i n t e r f a c e , a r e c o n f i g u r e d b y d e f a u l t t o b e m e m b e r s o f V L A N 1. A l l t r u n k s c a r r y V L A N 1 b y d e f a u l t , a n d i n C a t O S s o f t w a r e v e r s i o n s e a r l i e r t h a n 5.4, i t w a s n o t p o s s i b l e t o b l o c k u s e r d a t a i n V L A N 1. T h e s e d e f i n i t i o n s a r e n e e d e d i n o r d e r t o h e l p c l a r i f y s o m e w e l l -u s e d t e r m s i n C a t a l y s t n e t w o r k i n g :

� T h e m a n a g e m e n t V L A N i s w h e r e s c 0 r e s i d e s ; t h i s V L A N c a n b e c h a n g e d . � T h e n a t i v e V L A N i s d e f i n e d a s t h e V L A N t o w h i c h a p o r t r e t u r n s w h e n n o t t r u n k i n g , a n d i s t h e u n t a g g e d V L A N o n a n 80 2.1Q t r u n k . B y d e f a u l t , V L A N 1 i s t h e n a t i v e V L A N .

� I n o r d e r t o c h a n g e t h e n a t i v e V L A N , i s s u e t h e s e t v l a n vlan-i d m o d / p o r t c o m m a n d . N ote : C r e a t e t h e V L A N b e f o r e y o u s e t i t a s t h e n a t i v e V L A N o f t h e t r u n k .

T h e s e a r e s e v e r a l g o o d r e a s o n s t o t u n e a n e t w o r k a n d a l t e r t h e b e h a v i o r o f p o r t s i n V L A N 1: � W h e n t h e d i a m e t e r o f V L A N 1, l i k e a n y o t h e r V L A N , g e t s l a r g e e n o u g h t o b e a r i s k t o s t a b i l i t y ( p a r t i c u l a r l y f r o m a n S T P p e r s p e c t i v e ) i t n e e d s t o b e p r u n e d b a c k . T h i s i s d i s c u s s e d i n m o r e d e t a i l i n t h e I n -B a n d M a n a g e m e n t s e c t i o n o f t h i s d o c u m e n t .

� C o n t r o l p l a n e d a t a o n V L A N 1 m u s t b e k e p t s e p a r a t e f r o m t h e u s e r d a t a i n o r d e r t o s i m p l i f y t r o u b l e s h o o t i n g a n d m a x i m i z e a v a i l a b l e C P U c y c l e s .

� L 2 l o o p s i n V L A N 1 m u s t b e a v o i d e d w h e n m u l t i l a y e r -c a m p u s n e t w o r k s a r e d e s i g n e d w i t h o u t S T P , a n d t r u n k i n g i s s t i l l r e q u i r e d t o t h e a c c e s s l a y e r i f t h e r e a r e m u l t i p l e V L A N s a n d I P s u b n e t s . T o d o t h i s , m a n u a l l y c l e a r V L A N 1 f r o m t r u n k p o r t s .

I n s u m m a r y , n o t e t h i s i n f o r m a t i o n a b o u t t r u n k s : � C D P , V T P , a nd P A g P u p d a t e s a r e a l w a y s f o r w a r d e d o n t r u n k s w i t h a V L A N 1 t a g . T h i s i s t h e c a s e e v e n i f V L A N 1 i s c l e a r e d f r o m t h e t r u n k s a n d i s n o t t h e n a t i v e V L A N . I f V L A N 1 i s c l e a r e d f o r u s e r d a t a , t h e s e i s n o i m p a c t o n c o n t r o l p l a n e t r a f f i c t h a t i s s t i l l s e n t u s i n g V L A N 1.

� O n a n I S L t r u n k , D T P p a c k e t s a r e s e n t o n V L A N 1. T h i s i s t h e c a s e e v e n i f V L A N 1 i s c l e a r e d f r o m t h e t r u n k a n d i s n o l o n g e r t h e n a t i v e V L A N . O n a n 80 2.1Q t r u n k , D T P p a c k e t s a r e s e n t o n t h e n a t i v e V L A N . T h i s i s t h e c a s e e v e n i f t h e n a t i v e V L A N i s c l e a r e d f r o m t h e t r u n k .

� I n P V S T + , t h e 8 02 . 1Q IE E E B P D U s a r e f o r w a r d e d u n t a g g e d o n t h e c o m m o n S p a n n i n g T r e e V L A N 1 f o r i n t e r o p e r a b i l i t y w i t h o t h e r v e n d o r s , u n l e s s V L A N 1 i s c l e a r e d f r o m t h e t r u n k . T h i s i s t h e c a s e r e g a r d l e s s o f t h e n a t i v e V L A N c o n f i g u r a t i o n . C is co P V S T + B P D U s a r e s e n t a n d t a g g e d f o r a l l o t h e r V L A N s . R e f e r t o t h e S p a n n i n g T r e e P r o t o c o l s e c t i o n i n t h i s d o c u m e n t f o r m o r e d e t a i l s .

� 80 2.1s M u l t i p l e S p a n n i n g T r e e ( M S T ) B P D U s a r e a l w a y s s e n t o n V L A N 1 o n b o t h I S L a n d 80 2.1Q t r u n k s . T h i s a p p l i e s e v e n w h e n V L A N 1 i s c l e a r e d f r o m t h e t r u n k s .

� D o n o t c l e a r o r d i s a b l e V L A N 1 o n t r u n k s b e t w e e n M S T b r i d g e s a n d P V S T + b r i d g e s . B u t , i n t h e c a s e t h a t V L A N 1 i s d i s a b l e d , t h e M S T b r i d g e m u s t b e c o m e r o o t i n o r d e r f o r a l l V L A N s t o a v o i d t h e M S T b r i d g e p u t t i n g i t s b o u n d a r y p o r t s i n t h e r o o t -i n c o n s i s t e n t s t a t e . R e f e r t o U n d e r s t a n d i n g M u l t i p l e S p a n n i n g T r e e P r o t o c o l ( 80 2.1s ) f o r d e t a i l s .

P a g e 6 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c h e s ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 7: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

R e com m e nda tions I n o r d e r t o k e e p a V L A N i n a n up /up s t a t e w i t h n o c l i e n t s o r h o s t s c o n n e c t e d i n t h a t V L A N , y o u n e e d t o h a v e a t l e a s t o n e p h y s i c a l d e v i c e c o n n e c t e d i n t h a t V L A N . O t h e r w i s e , t h e V L A N h a s a n up /dow n s t a t e . C u r r e n t l y , t h e r e i s n o c o m m a n d t o p u t a V L A N i n t e r f a c e up /up w h e n t h e r e a r e n o a c t i v e p o r t s i n t h e s w i t c h f o r t h a t V L A N . I f y o u d o n o t w a n t t o c o n n e c t a d e v i c e , c o n n e c t a l o o p b a c k p l u g i n a n y p o r t f o r t h a t V L A N . A s a n a l t e r n a t i v e , t r y a c r o s s o v e r c a b l e t h a t c o n n e c t s t w o p o r t s i n t h a t V L A N o n t h e s a m e s w i t c h . T h i s m e t h o d f o r c e s t h e p o r t u p . R e f e r t o t h e L o o p b a c k P l u g s e c t i o n o f L o o p b a c k T e s t s f o r T 1/ 56K L i n e s f o r m o r e i n f o r m a t i o n . W h e n a n e t w o r k i s m u l t i h o m e d t o s e r v i c e p r o v i d e r s , t h e n e t w o r k a c t s a s a t r a n s i t n e t w o r k b e t w e e n t w o s e r v i c e p r o v i d e r s . I f t h e V L A N n u m b e r r e c e i v e d i n a p a c k e t n e e d s t o b e t r a n s l a t e d o r c h a n g e d w h e n p a s s e d f r o m o n e s e r v i c e p r o v i d e r t o a n o t h e r s e r v i c e p r o v i d e r , i t i s a d v i s a b l e t o u s e t h e Q i n Q f e a t u r e i n o r d e r t o t r a n s l a t e t h e V L A N n u m b e r .

V L A N T runk ing P ro to c o l B e f o r e y o u c r e a t e V L A N s , d e t e r m i n e t h e V T P m o d e t o b e u s e d i n t h e n e t w o r k . V T P e n a b l e s V L A N c o n f i g u r a t i o n c h a n g e s t o b e m a d e c e n t r a l l y o n o n e o r m o r e s w i t c h e s . T h o s e c h a n g e s a u t o m a t i c a l l y p r o p a g a t e t o a l l o t h e r s w i t c h e s i n t h e d o m a i n . O p e ra tiona l O v e rv ie w V T P i s a L 2 m e s s a g i n g p r o t o c o l t h a t m a i n t a i n s V L A N c o n f i g u r a t i o n c o n s i s t e n c y . V T P m a n a g e s t h e a d d i t i o n , d e l e t i o n , a n d r e n a m i n g o f V L A N s o n a n e t w o r k -w i d e b a s i s . V T P m i n i m i z e s m i s c o n f i g u r a t i o n s a n d c o n f i g u r a t i o n i n c o n s i s t e n c i e s t h a t c a n c a u s e a n u m b e r o f p r o b l e m s , s u c h a s d u p l i c a t e V L A N n a m e s , i n c o r r e c t V L A N -t y p e s p e c i f i c a t i o n s , a n d s e c u r i t y v i o l a t i o n s . T h e V L A N d a t a b a s e i s a b i n a r y f i l e a n d i s s t o r e d i n N V R A M o n V T P s e r v e r s s e p a r a t e l y f r o m t h e c o n f i g u r a t i o n f i l e . T h e V T P p r o t o c o l c o m m u n i c a t e s b e t w e e n s w i t c h e s u s i n g a n E t h e r n e t d e s t i n a t i o n m u l t i c a s t M A C a d d r e s s ( 01-00-0c-cc-cc-cc ) a n d S N A P H D L C p r o t o c o l t y p e O x 20 0 3. I t d o e s n o t w o r k o v e r n o n -t r u n k p o r t s ( V T P i s a p a y l o a d o f I S L o r 80 2.1Q ) , s o m e s s a g e s c a n n o t b e s e n t u n t i l D T P h a s b r o u g h t t h e t r u n k o n l i n e . M e s s a g e t y p e s i n c l u d e s u m m a r y a d v e r t i s e m e n t s e v e r y f i v e m i n u t e s , s u b s e t a d v e r t i s e m e n t s a n d r e q u e s t a d v e r t i s e m e n t s w h e n t h e r e a r e c h a n g e s , a n d j o i n s w h e n V T P p r u n i n g i s e n a b l e d . T h e V T P c o n f i g u r a t i o n r e v i s i o n n u m b e r i s i n c r e m e n t e d b y o n e w i t h e v e r y c h a n g e o n a s e r v e r , w h i c h t h e n p r o p a g a t e s t h e n e w t a b l e a c r o s s t h e d o m a i n . I f a V L A N i s d e l e t e d , p o r t s t h a t w e r e o n c e a m e m b e r o f t h a t V L A N a r e p l a c e d i n a n i n a c t i v e s t a t e . S i m i l a r l y , i f a s w i t c h i n c l i e n t m o d e i s u n a b l e t o r e c e i v e t h e V T P V L A N t a b l e a t b o o t -u p ( e i t h e r f r o m a V T P s e r v e r o r a n o t h e r V T P c l i e n t ) , a l l p o r t s i n V L A N s o t h e r t h a n t h e d e f a u l t V L A N 1 a r e d e a c t i v a t e d . T h i s t a b l e p r o v i d e s a f e a t u r e c o m p a r i s o n s u m m a r y f o r v a r i o u s V T P m o d e s :

F e a ture S e rv e r C l ie nt T ra ns p a re nt O f f 1 S o u r c e V T P

P a g e 7 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c h e s ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 8: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

I n V T P t r a n s p a r e n t m o d e , V T P u p d a t e s a r e i g n o r e d ( t h e V T P m u l t i c a s t M A C a d d r e s s i s r e m o v e d f r o m t h e s y s t e m C A M t h a t i s n o r m a l l y u s e d t o p i c k u p c o n t r o l f r a m e s a n d d i r e c t t h e m t o t h e s u p e r v i s o r e n g i n e ) . A s t h e p r o t o c o l u s e s a m u l t i c a s t a d d r e s s , a s w i t c h i n t r a n s p a r e n t m o d e ( o r a n o t h e r v e n d o r s w i t c h ) s i m p l y f l o o d s t h e f r a m e t o o t h e r C i s c o s w i t c h e s i n t h e d o m a i n . 1 C a t O S s o f t w a r e r e l e a s e 7.1 i n t r o d u c e s t h e o p t i o n t o d i s a b l e V T P w i t h u s e o f t h e o f f m o d e . I n V T P o f f m o d e , t h e s w i t c h b e h a v e s i n a w a y t h a t i s v e r y s i m i l a r t o t h e V T P t r a n s p a r e n t m o d e , e x c e p t t h a t o f f m o d e a l s o s u p p r e s s e s t h e f o r w a r d i n g o f V T P u p d a t e s . T h i s t a b l e p r o v i d e s a s u m m a r y o f t h e i n i t i a l c o n f i g u r a t i o n :

V T P v e r s i o n 2 ( V T P v 2) i n c l u d e s t h i s f u n c t i o n a l f l e x i b i l i t y . H o w e v e r , i t i s n o t i n t e r o p e r a b l e w i t h V T P v e r s i o n 1 ( V T P v 1) :

� T o k e n R i n g s u p p o r t � U n r e c o g n i z e d V T P i n f o r m a t i o n s u p p o r t ; s w i t c h e s n o w p r o p a g a t e v a l u e s t h e y c a n n o t p a r s e . � V e r s i o n -d e p e n d e n t t r a n s p a r e n t m o d e ; t r a n s p a r e n t m o d e n o l o n g e r c h e c k s d o m a i n n a m e . T h i s e n a b l e s s u p p o r t o f m o r e t h a n o n e d o m a i n a c r o s s a t r a n s p a r e n t d o m a i n .

� V e r s i o n n u m b e r p r o p a g a t i o n ; i f V T P v 2 i s p o s s i b l e o n a l l s w i t c h e s , a l l c a n b e e n a b l e d t h r o u g h t h e c o n f i g u r a t i o n o f a s i n g l e s w i t c h .

m e s s a g e s Y e s Y e s N o N o L i s t e n t o V T P m e s s a g e s

Y e s Y e s N o N o

F o r w a r d V T P m e s s a g e s

Y e s Y e s Y e s N o

C r e a t e V L A N s Y e s N o

Y e s ( l o c a l l y s i g n i f i c a n t o n l y )

Y e s ( l o c a l l y s i g n i f i c a n t o n l y )

R e m e m b e r V L A N s Y e s N o

Y e s ( l o c a l l y s i g n i f i c a n t o n l y )

Y e s ( l o c a l l y s i g n i f i c a n t o n l y )

F e a ture D e f a ul t V a l ue V T P D o m a i n N a m e N u l l V T P m o d e S e r v e r V T P v e r s i o n V e r s i o n 1 i s e n a b l e d V T P p a s s w o r d N o n e V T P P r u n i n g D i s a b l e d

P a g e 8 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c h e s ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 9: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

R e f e r t o U n d e r s t a n d i n g a n d C o n f i g u r i n g V L A N T r u n k P r o t o c o l ( V T P ) f o r m o r e i n f o r m a t i o n . V T P V e rs ion 3 C a t O S s o f t w a r e r e l e a s e 8.1 i n t r o d u c e s s u p p o r t f o r V T P v e r s i o n 3 ( V T P v 3) . V T P v 3 p r o v i d e s e n h a n c e m e n t s o v e r t h e e x i s t i n g v e r s i o n s . T h e s e e n h a n c e m e n t s a l l o w f o r :

� S u p p o r t f o r e x t e n d e d V L A N s � S u p p o r t f o r t h e c r e a t i o n a n d a d v e r t i s e m e n t o f p r i v a t e V L A N s � S u p p o r t f o r V L A N i n s t a n c e s a n d M S T m a p p i n g p r o p a g a t i o n i n s t a n c e s ( w h i c h a r e s u p p o r t e d i n C a t O S r e l e a s e 8.3)

� I m p r o v e d s e r v e r a u t h e n t i c a t i o n � P r o t e c t i o n f r o m a c c i d e n t a l i n s e r t i o n o f t h e " w r o n g " d a t a b a s e i n t o a V T P d o m a i n � I n t e r a c t i o n w i t h V T P v 1 a n d V T P v 2 � T h e a b i l i t y t o b e c o n f i g u r e d o n a p e r -p o r t b a s i s

O n e o f t h e m a j o r d i f f e r e n c e s b e t w e e n V T P v 3 i m p l e m e n t a t i o n a n d t h e e a r l i e r v e r s i o n i s t h e i n t r o d u c t i o n o f a V T P p r i m a r y s e r v e r . I d e a l l y , t h e r e m u s t b e o n l y o n e p r i m a r y s e r v e r i n a V T P v 3 d o m a i n , i f t h e d o m a i n i s n o t p a r t i t i o n e d . A n y c h a n g e s t h a t y o u m a k e t o t h e V T P d o m a i n m u s t b e e x e c u t e d o n t h e V T P p r i m a r y s e r v e r i n o r d e r t o b e p r o p a g a t e d t o t h e V T P d o m a i n . T h e r e c a n b e m u l t i p l e s e r v e r s w i t h i n a V T P v 3 d o m a i n , w h i c h a r e a l s o k n o w n a s s e c o n d a r y s e r v e r s . W h e n a s w i t c h i s c o n f i g u r e d t o b e a s e r v e r , t h e s w i t c h b e c o m e s a s e c o n d a r y s e r v e r b y d e f a u l t . T h e s e c o n d a r y s e r v e r c a n s t o r e t h e c o n f i g u r a t i o n o f t h e d o m a i n b u t c a n n o t m o d i f y t h e c o n f i g u r a t i o n . A s e c o n d a r y s e r v e r c a n b e c o m e t h e p r i m a r y s e r v e r w i t h a s u c c e s s f u l t a k e o v e r f r o m t h e s w i t c h . S w i t c h e s t h a t r u n V T P v 3 o n l y a c c e p t a V T P d a t a b a s e w i t h a h i g h e r r e v i s i o n n u m b e r t h a n t h e c u r r e n t p r i m a r y s e r v e r . T h i s p r o c e s s d i f f e r s s i g n i f i c a n t l y f r o m V T P v 1 a n d V T P v 2, i n w h i c h a s w i t c h a l w a y s a c c e p t s a s u p e r i o r c o n f i g u r a t i o n f r o m a n e i g h b o r i n t h e s a m e d o m a i n . T h i s c h a n g e w i t h V T P v 3 p r o v i d e s p r o t e c t i o n . A n e w s w i t c h t h a t i s i n t r o d u c e d i n t o t h e n e t w o r k w i t h a h i g h e r V T P r e v i s i o n n u m b e r c a n n o t o v e r w r i t e t h e V L A N c o n f i g u r a t i o n o f t h e e n t i r e d o m a i n . T h e V T P v 3 a l s o i n t r o d u c e s a n e n h a n c e m e n t t o h o w t h e V T P h a n d l e s p a s s w o r d s . I f y o u u s e t h e h i d d e n p a s s w o r d c o n f i g u r a t i o n o p t i o n i n o r d e r t o c o n f i g u r e a p a s s w o r d a s " h i d d e n " , t h e s e i t e m s o c c u r :

� T h e p a s s w o r d d o e s n o t a p p e a r i n p l a i n t e x t i n t h e c o n f i g u r a t i o n . T h e s e c r e t h e x a d e c i m a l f o r m a t o f t h e p a s s w o r d i s s a v e d i n t h e c o n f i g u r a t i o n .

� I f y o u t r y t o c o n f i g u r e t h e s w i t c h a s a p r i m a r y s e r v e r , y o u a r e p r o m p t e d f o r t h e p a s s w o r d . I f y o u r p a s s w o r d m a t c h e s t h e s e c r e t p a s s w o r d , t h e s w i t c h b e c o m e s a p r i m a r y s e r v e r , w h i c h a l l o w s y o u t o c o n f i g u r e t h e d o m a i n .

N ote : I t i s i m p o r t a n t t o n o t e t h a t t h e p r i m a r y s e r v e r i s o n l y n e c e s s a r y w h e n y o u n e e d t o m o d i f y t h e V T P c o n f i g u r a t i o n f o r a n y i n s t a n c e . A V T P d o m a i n c a n o p e r a t e w i t h n o a c t i v e p r i m a r y s e r v e r b e c a u s e t h e s e c o n d a r y s e r v e r s e n s u r e p e r s i s t e n c e o f t h e c o n f i g u r a t i o n o v e r r e l o a d s . T h e p r i m a r y s e r v e r s t a t e i s e x i t e d

P a g e 9 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c h e s ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 10: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

f o r t h e s e r e a s o n s : � A s w i t c h r e l o a d � A h i g h -a v a i l a b i l i t y s w i t c h o v e r b e t w e e n t h e a c t i v e a n d r e d u n d a n t s u p e r v i s o r e n g i n e s � A t a k e o v e r f r o m a n o t h e r s e r v e r � A c h a n g e i n t h e m o d e c o n f i g u r a t i o n � A n y V T P d o m a i n c o n f i g u r a t i o n c h a n g e , s u c h a s a c h a n g e i n :

� V e r s i o n � D o m a i n n a m e � D o m a i n p a s s w o r d

V T P v 3 a l s o a l l o w s t h e s w i t c h e s t o p a r t i c i p a t e i n m u l t i p l e i n s t a n c e s o f V T P . I n t h i s c a s e , t h e s a m e s w i t c h c a n b e t h e V T P s e r v e r f o r o n e i n s t a n c e a n d a c l i e n t f o r a n o t h e r i n s t a n c e b e c a u s e t h e V T P m o d e s a r e s p e c i f i c t o d i f f e r e n t V T P i n s t a n c e s . F o r e x a m p l e , a s w i t c h c a n o p e r a t e i n t r a n s p a r e n t m o d e f o r a n M S T i n s t a n c e w h i l e t h e s w i t c h i s c o n f i g u r e d i n s e r v e r m o d e f o r a V L A N i n s t a n c e . I n t e r m s o f i n t e r a c t i o n w i t h V T P v 1 a n d V T P v 2, t h e d e f a u l t b e h a v i o r i n a l l v e r s i o n s o f V T P h a s b e e n t h a t t h e e a r l i e r v e r s i o n s o f V T P s i m p l y d r o p t h e n e w v e r s i o n u p d a t e s . U n l e s s t h e V T P v 1 a n d V T P v 2 s w i t c h e s a r e i n t r a n s p a r e n t m o d e , a l l V T P v 3 u p d a t e s a r e d r o p p e d . O n t h e o t h e r h a n d , a f t e r V T P v 3 s w i t c h e s r e c e i v e a l e g a c y V T P v 1 o r V T P v 2 f r a m e o n a t r u n k , t h e s w i t c h e s p a s s a s c a l e d -d o w n v e r s i o n o f t h e i r d a t a b a s e u p d a t e t o t h e V T P v 1 a n d V T P v 2 s w i t c h e s . H o w e v e r , t h i s i n f o r m a t i o n e x c h a n g e i s u n i d i r e c t i o n a l i n t h a t n o u p d a t e s f r o m V T P v 1 a n d V T P v 2 s w i t c h e s a r e a c c e p t e d b y t h e V T P v 3 s w i t c h e s . O n t r u n k c o n n e c t i o n s , V T P v 3 s w i t c h e s c o n t i n u e t o s e n d o u t s c a l e d -d o w n u p d a t e s a s w e l l a s f u l l -f l e d g e d V T P v 3 u p d a t e s i n o r d e r t o c a t e r t o t h e e x i s t e n c e o f V T P v 2 a n d V T P v 3 n e i g h b o r s a c r o s s t h e t r u n k p o r t s . I n o r d e r t o p r o v i d e V T P v 3 s u p p o r t f o r e x t e n d e d V L A N s , t h e f o r m a t o f t h e V L A N d a t a b a s e , i n w h i c h t h e V T P a s s i g n s 70 b y t e s p e r V L A N , i s c h a n g e d . T h e c h a n g e a l l o w s f o r t h e c o d i n g o f n o n -d e f a u l t v a l u e s o n l y , i n s t e a d o f t h e c a r r y i n g o f u n m o d i f i e d f i e l d s f o r t h e l e g a c y p r o t o c o l s . B e c a u s e o f t h i s c h a n g e , 4K V L A N s u p p o r t i s t h e s i z e o f t h e r e s u l t i n g V L A N d a t a b a s e . R e com m e nda tion T h e r e i s n o s p e c i f i c r e c o m m e n d a t i o n o n w h e t h e r t o u s e V T P c l i e n t / s e r v e r m o d e s o r V T P t r a n s p a r e n t m o d e . S o m e c u s t o m e r s p r e f e r t h e e a s e o f m a n a g e m e n t o f V T P c l i e n t / s e r v e r m o d e d e s p i t e s o m e c o n s i d e r a t i o n s n o t e d l a t e r . T h e r e c o m m e n d a t i o n i s t o h a v e t w o s e r v e r m o d e s w i t c h e s i n e a c h d o m a i n f o r r e d u n d a n c y , t y p i c a l l y t h e t w o d i s t r i b u t i o n -l a y e r s w i t c h e s . T h e r e s t o f t h e s w i t c h e s i n t h e d o m a i n m u s t b e s e t t o c l i e n t m o d e . W h e n y o u i m p l e m e n t c l i e n t / s e r v e r m o d e w i t h t h e u s e o f V T P v 2, b e m i n d f u l t h a t a h i g h e r r e v i s i o n n u m b e r i s a l w a y s a c c e p t e d i n t h e s a m e V T P d o m a i n . I f a s w i t c h t h a t i s c o n f i g u r e d i n e i t h e r V T P c l i e n t o r s e r v e r m o d e i s i n t r o d u c e d i n t o t h e V T P d o m a i n a n d h a s a h i g h e r r e v i s i o n n u m b e r t h a n t h e e x i s t i n g V T P s e r v e r s , t h i s o v e r w r i t e s t h e V L A N d a t a b a s e w i t h i n t h e V T P d o m a i n . I f t h e c o n f i g u r a t i o n c h a n g e i s u n i n t e n t i o n a l a n d V L A N s a r e d e l e t e d , t h e o v e r w r i t e c a n c a u s e a m a j o r o u t a g e i n t h e n e t w o r k . I n o r d e r t o e n s u r e t h a t c l i e n t o r s e r v e r s w i t c h e s a l w a y s h a v e a c o n f i g u r a t i o n r e v i s i o n n u m b e r t h a t i s l o w e r t h a n t h a t o f t h e s e r v e r , c h a n g e t h e c l i e n t V T P d o m a i n n a m e

P a g e 10 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 11: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

t o s o m e t h i n g o t h e r t h a n t h e s t a n d a r d n a m e . T h e n r e v e r t b a c k t o t h e s t a n d a r d . T h i s a c t i o n s e t s t h e c o n f i g u r a t i o n r e v i s i o n o n t h e c l i e n t t o 0 . T h e r e a r e p r o s a n d c o n s t o t h e V T P a b i l i t y t o m a k e c h a n g e s e a s i l y o n a n e t w o r k . M a n y e n t e r p r i s e s p r e f e r t h e c a u t i o u s a p p r o a c h o f V T P t r a n s p a r e n t m o d e f o r t h e s e r e a s o n s :

� I t e n c o u r a g e s g o o d c h a n g e c o n t r o l p r a c t i c e , a s t h e r e q u i r e m e n t i n o r d e r t o m o d i f y a V L A N o n a s w i t c h o r t r u n k p o r t h a s t o b e c o n s i d e r e d o n e s w i t c h a t a t i m e .

� I t l i m i t s t h e r i s k o f a n a d m i n i s t r a t o r e r r o r t h a t i m p a c t s t h e e n t i r e d o m a i n , s u c h a s t h e d e l e t i o n o f a V L A N b y a c c i d e n t ..

� T h e r e i s n o r i s k t h a t a n e w s w i t c h i n t r o d u c e d i n t o t h e n e t w o r k w i t h a h i g h e r V T P r e v i s i o n n u m b e r c a n o v e r w r i t e t h e e n t i r e d o m a i n V L A N c o n f i g u r a t i o n .

� I t e n c o u r a g e s V L A N s t o b e p r u n e d f r o m t r u n k s r u n n i n g t o s w i t c h e s t h a t d o n o t h a v e p o r t s i n t h a t V L A N . T h i s m a k e s f r a m e f l o o d i n g m o r e b a n d w i d t h -e f f i c i e n t . M a n u a l p r u n i n g i s a l s o b e n e f i c i a l b e c a u s e i t r e d u c e s t h e s p a n n i n g t r e e d i a m e t e r ( s e e t h e D T P s e c t i o n o f t h i s d o c u m e n t ) . B e f o r e p r u n i n g u n u s e d V L A N s o n p o r t c h a n n e l t r u n k s , e n s u r e t h a t a n y p o r t s c o n n e c t e d t o I P p h o n e s a r e c o n f i g u r e d a s a c c e s s p o r t s w i t h v o i c e V L A N .

� T h e e x t e n d e d V L A N r a n g e i n C a t O S 6.x a n d C a t O S 7.x , n u m b e r s 10 25 t h r o u g h 40 94, c a n o n l y b e c o n f i g u r e d i n t h i s w a y . F o r m o r e i n f o r m a t i o n , s e e t h e E x t e n d e d V L A N a n d M A C A d d r e s s R e d u c t i o n s e c t i o n o f t h i s d o c u m e n t .

� V T P t r a n s p a r e n t m o d e i s s u p p o r t e d i n C a m p u s M a n a g e r 3.1, p a r t o f C i s c o W o r k s 20 0 0 . T h e o l d r e s t r i c t i o n t h a t r e q u i r e d a t l e a s t o n e s e r v e r i n a V T P d o m a i n h a s b e e n r e m o v e d .

S a m p l e V T P C om m a nds C om m e nts

s e t v tp dom a in name p a s s w ord x

C D P c h e c k s n a m e s i n o r d e r t o h e l p c h e c k f o r m i s c a b l i n g b e t w e e n d o m a i n s . A s i m p l e p a s s w o r d i s a h e l p f u l p r e c a u t i o n a g a i n s t u n i n t e n t i o n a l c h a n g e s . B e w a r e o f c a s e -s e n s i t i v e n a m e s o r s p a c e s i f p a s t i n g .

s e t v tp m ode tra ns p a re nt s e t v l a n v l an nu mb er na m e name

P e r s w i t c h t h a t h a s p o r t s i n t h e V L A N .

s e t trunk mo d / p o r t v l an r ang e

E n a b l e s t r u n k s t o c a r r y V L A N s w h e r e n e e d e d - d e f a u l t i s a l l V L A N s .

cl e a r trunk mo d / p o r t v l an r ang e

L i m i t s S T P d i a m e t e r b y m a n u a l p r u n i n g , s u c h a s o n t r u n k s f r o m d i s t r i b u t i o n l a y e r t o a c c e s s l a y e r , w h e r e t h e V L A N d o e s n o t e x i s t .

P a g e 11 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 12: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

N ote : S p e c i f y i n g V L A N s w i t h t h e s e t c o m m a n d o n l y a d d s V L A N s , a n d d o e s n o t c l e a r t h e m . F o r e x a m p l e , t h e s e t trunk x /y 1-10 c o m m a n d d o e s n o t s e t t h e a l l o w e d l i s t t o j u s t V L A N s 1-10 . I s s u e t h e cl e a r trunk x /y 11-1005 c o m m a n d i n o r d e r t o a c h i e v e t h e d e s i r e d r e s u l t . A l t h o u g h t o k e n r i n g s w i t c h i n g i s o u t s i d e t h e s c o p e o f t h i s d o c u m e n t , n o t e t h a t V T P t r a n s p a r e n t m o d e i s n o t r e c o m m e n d e d f o r T R -I S L n e t w o r k s . T h e b a s i s f o r t o k e n r i n g s w i t c h i n g i s t h a t t h e w h o l e d o m a i n f o r m s a s i n g l e d i s t r i b u t e d m u l t i -p o r t b r i d g e , s o e v e r y s w i t c h m u s t h a v e t h e s a m e V L A N i n f o r m a t i o n . O th e r O p tions V T P v 2 i s a r e q u i r e m e n t i n t o k e n r i n g e n v i r o n m e n t s , w h e r e c l i e n t / s e r v e r m o d e i s h i g h l y r e c o m m e n d e d . V T P v 3 p r o v i d e s t h e a b i l i t y t o i m p l e m e n t t i g h t e r a u t h e n t i c a t i o n a n d c o n f i g u r a t i o n r e v i s i o n c o n t r o l . V T P v 3 e s s e n t i a l l y p r o v i d e s t h e s a m e l e v e l o f f u n c t i o n a l i t y , b u t w i t h m o r e e n h a n c e d s e c u r i t y , a s V T P v 1/ V T P v 2 t r a n s p a r e n t m o d e o f f e r s . I n a d d i t i o n , V T P v 3 i s p a r t i a l l y c o m p a t i b l e w i t h t h e l e g a c y V T P v e r s i o n s . T h e b e n e f i t s o f p r u n i n g V L A N s t o r e d u c e u n n e c e s s a r y f r a m e f l o o d i n g a r e a d v o c a t e d i n t h i s d o c u m e n t . T h e s e t v tp p runing e na b l e c o m m a n d p r u n e s V L A N s a u t o m a t i c a l l y , w h i c h s t o p s t h e i n e f f i c i e n t f l o o d i n g o f f r a m e s w h e r e t h e y a r e n o t n e e d e d . U n l i k e m a n u a l V L A N p r u n i n g , a u t o m a t i c p r u n i n g d o e s n o t l i m i t t h e S p a n n i n g T r e e d i a m e t e r . F r o m C a t O S 5.1, t h e C a t a l y s t s w i t c h e s c a n m a p 80 2.1Q V L A N n u m b e r s g r e a t e r t h a n 10 0 0 t o I S L V L A N n u m b e r s . I n C a t O S 6.x , C a t a l y s t 650 0 / 60 0 0 s w i t c h e s s u p p o r t 40 96 V L A N s i n a c c o r d a n c e w i t h t h e I E E E 80 2.1Q s t a n d a r d . T h e s e V L A N s a r e o r g a n i z e d i n t o t h e s e t h r e e r a n g e s , o n l y s o m e o f w h i c h a r e p r o p a g a t e d t o o t h e r s w i t c h e s i n t h e n e t w o r k w i t h V T P :

� n o r m a l -r a n g e V L A N s : 1–10 0 1 � e x t e n d e d -r a n g e V L A N s : 10 25–40 94 ( c a n o n l y b e p r o p a g a t e d b y V T P v 3) � r e s e r v e d -r a n g e V L A N s : 0 , 10 0 2—10 24, 40 95

T h e I E E E h a s p r o d u c e d a s t a n d a r d s -b a s e d a r c h i t e c t u r e i n o r d e r t o a c c o m p l i s h s i m i l a r r e s u l t s a s V T P . A s a m e m b e r o f t h e 80 2.1Q G e n e r i c A t t r i b u t e R e g i s t r a t i o n P r o t o c o l ( G A R P ) , t h e G e n e r i c V L A N R e g i s t r a t i o n P r o t o c o l ( G V R P ) a l l o w s V L A N m a n a g e m e n t i n t e r o p e r a b i l i t y b e t w e e n v e n d o r s , b u t i s o u t s i d e t h e s c o p e o f t h i s d o c u m e n t . N ote : C a t O S 7.x i n t r o d u c e s t h e o p t i o n t o s e t V T P t o o f f m o d e , a m o d e v e r y s i m i l a r t o t r a n s p a r e n t . H o w e v e r , t h e s w i t c h d o e s n o t f o r w a r d V T P f r a m e s . T h i s c a n b e u s e f u l i n s o m e d e s i g n s w h e n t r u n k i n g t o s w i t c h e s o u t s i d e o f y o u r a d m i n i s t r a t i v e c o n t r o l .

E x tend ed V L A N a nd M A C A d d ress Red uc tio n T h e M A C a d d r e s s r e d u c t i o n f e a t u r e e n a b l e s e x t e n d e d -r a n g e V L A N i d e n t i f i c a t i o n . T h e e n a b l e m e n t o f M A C a d d r e s s r e d u c t i o n d i s a b l e s t h e p o o l o f M A C a d d r e s s e s t h a t a r e u s e d f o r t h e V L A N s p a n n i n g t r e e a n d l e a v e s a s i n g l e M A C a d d r e s s . T h i s M A C a d d r e s s i d e n t i f i e s t h e s w i t c h . C a t O S s o f t w a r e r e l e a s e 6.1( 1) i n t r o d u c e s M A C a d d r e s s r e d u c t i o n s u p p o r t f o r C a t a l y s t 650 0 / 60 0 0 a n d C a t a l y s t 450 0 / 40 0 0 s w i t c h e s t o s u p p o r t 40 96 V L A N s i n c o m p l i a n c e w i t h t h e I E E E 80 2.1Q s t a n d a r d .

P a g e 12 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 13: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

O p e ra tion O v e rv ie w S w i t c h p r o t o c o l s u s e a M A C a d d r e s s t h a t i s t a k e n f r o m a b a n k o f a v a i l a b l e a d d r e s s e s t h a t a n E P R O M o n t h e c h a s s i s p r o v i d e s a s p a r t o f t h e b r i d g e i d e n t i f i e r s f o r V L A N s t h a t r u n u n d e r P V S T + . C a t a l y s t 650 0 / 60 0 0 a n d C a t a l y s t 450 0 / 40 0 0 s w i t c h e s s u p p o r t e i t h e r 10 24 o r 64 M A C a d d r e s s e s , w h i c h d e p e n d s o n t h e c h a s s i s t y p e . C a t a l y s t s w i t c h e s w i t h 10 24 M A C a d d r e s s e s d o n o t e n a b l e M A C a d d r e s s r e d u c t i o n b y d e f a u l t . M A C a d d r e s s e s a r e a l l o c a t e d s e q u e n t i a l l y . T h e f i r s t M A C a d d r e s s i n t h e r a n g e i s a s s i g n e d t o V L A N 1. T h e s e c o n d M A C a d d r e s s i n t h e r a n g e i s a s s i g n e d t o V L A N 2, a n d s o o n . T h i s e n a b l e s t h e s w i t c h e s t o s u p p o r t 10 24 V L A N s w i t h e a c h V L A N u s i n g a u n i q u e b r i d g e i d e n t i f i e r .

1 M A C a d d r e s s r e d u c t i o n i s e n a b l e d b y d e f a u l t f o r s w i t c h e s t h a t h a v e 64 M A C a d d r e s s e s , a n d t h e f e a t u r e c a n n o t b e d i s a b l e d . F o r C a t a l y s t s e r i e s s w i t c h e s w i t h 10 24 M A C a d d r e s s e s , a n e n a b l e m e n t o f M A C a d d r e s s r e d u c t i o n a l l o w s s u p p o r t o f 40 96 V L A N s t h a t r u n u n d e r P V S T + o r 16 M u l t i p l e I n s t a n c e S T P ( M I S T P ) i n s t a n c e s t o h a v e u n i q u e i d e n t i f i e r s w i t h o u t a n i n c r e a s e i n t h e n u m b e r o f M A C a d d r e s s e s t h a t a r e r e q u i r e d o n t h e s w i t c h . M A C a d d r e s s r e d u c t i o n r e d u c e s t h e n u m b e r o f M A C a d d r e s s e s t h a t a r e r e q u i r e d b y t h e S T P f r o m o n e p e r V L A N o r M I S T P i n s t a n c e t o o n e p e r s w i t c h . T h i s f i g u r e s h o w s t h a t t h e b r i d g e i d e n t i f i e r M A C a d d r e s s r e d u c t i o n i s n o t e n a b l e d . T h e b r i d g e i d e n t i f i e r c o n s i s t s o f a 2-b y t e b r i d g e p r i o r i t y a n d a 6-b y t e M A C a d d r e s s :

M A C a d d r e s s r e d u c t i o n m o d i f i e s t h e S T P b r i d g e i d e n t i f i e r p o r t i o n o f t h e B P D U . T h e o r i g i n a l 2-b y t e p r i o r i t y f i e l d i s s p l i t i n t o t w o f i e l d s . T h i s s p l i t r e s u l t s i n a 4-b i t b r i d g e p r i o r i t y f i e l d a n d a 12-b i t s y s t e m I D e x t e n s i o n t h a t a l l o w s f o r V L A N n u m b e r i n g o f 0 t h r o u g h 40 95.

C h a s s is T y p e C h a s s is A ddre s s

W S -C 40 0 3-S 1, W S -C 40 0 6-S 2 10 24 W S -C 450 3, W S -C 450 6 641 W S -C 650 9-E ,W S -C 650 9, W S -C 650 9-N E B , W S -C 650 6-E , W S -C 650 6, W S -C 60 0 9, W S -C 60 0 6, O S R -760 9-A C , O S R -760 9-D C

10 24

W S -C 6513, W S -C 650 9-N E B -A , W S -C 650 4-E , W S -C 650 3-E , W S -C 650 3, C I S C O 760 3, C I S C O 760 6, C I S C O 760 9, C I S C O 7613

641

P a g e 13 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 14: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

W h e n y o u h a v e M A C a d d r e s s r e d u c t i o n e n a b l e d o n C a t a l y s t s w i t c h e s i n o r d e r t o l e v e r a g e e x t e n d e d r a n g e V L A N s , e n a b l e M A C a d d r e s s r e d u c t i o n o n a l l s w i t c h e s w i t h i n t h e s a m e S T P d o m a i n . T h i s s t e p i s n e c e s s a r y i n o r d e r t o k e e p t h e S T P r o o t c a l c u l a t i o n s o n a l l s w i t c h e s c o n s i s t e n t . A f t e r y o u e n a b l e M A C a d d r e s s r e d u c t i o n , t h e r o o t b r i d g e p r i o r i t y b e c o m e s a m u l t i p l e o f 40 96 p l u s t h e V L A N I D . T h e s w i t c h e s w i t h o u t M A C a d d r e s s r e d u c t i o n c a n c l a i m r o o t i n a d v e r t e n t l y b e c a u s e t h e s e s w i t c h e s h a v e a f i n e r g r a n u l a r i t y i n t h e s e l e c t i o n o f t h e b r i d g e I D . C onf ig ura tion G uide l ine s Y o u m u s t f o l l o w c e r t a i n g u i d e l i n e s w h e n y o u c o n f i g u r e e x t e n d e d V L A N r a n g e . T h e s w i t c h c a n a l l o c a t e a b l o c k o f V L A N s f r o m t h e e x t e n d e d r a n g e f o r i n t e r n a l p u r p o s e s . F o r e x a m p l e , t h e s w i t c h c a n a l l o c a t e t h e V L A N s f o r t h e r o u t e d p o r t s o r F l e x W A N m o d u l e s . A l l o c a t i o n o f t h e b l o c k o f V L A N s a l w a y s s t a r t s f r o m V L A N 10 0 6 a n d g o e s u p . I f y o u h a v e a n y V L A N s w i t h i n t h e r a n g e t h a t t h e F l e x W A N m o d u l e r e q u i r e s , a l l t h e r e q u i r e d V L A N s a r e n o t a l l o c a t e d b e c a u s e t h e V L A N s a r e n e v e r a l l o c a t e d f r o m t h e u s e r V L A N a r e a . I s s u e t h e s h ow v l a n c o m m a n d o r t h e s h ow v l a n s um m a ry c o m m a n d o n a s w i t c h i n o r d e r t o d i s p l a y b o t h t h e u s e r -a s s i g n e d a n d i n t e r n a l V L A N s .

>show v l an su mmar y C u r r e n t I n t e r n a l V l a n A l l o c a t i o n P o l i c y - A s c e n d i n g V l a n s t a t u s C o u n t V l a n s ------------- ----- ------------------------------------------ V T P A c t i v e 7 1, 17 , 17 4, 10 0 2-10 0 5 I n t e r n a l 7 10 0 6 -10 11, 10 16 !--- T h e s e a r e i n t e r n a l V L A N s . >show v l an ---- -------------------------------- --------- ------- -------- 1 d e f a u l t a c t i v e 7 4/ 1-48 !--- O u t p u t s u p p r e s s e d . 10 0 6 O n l i n e D i a g n o s t i c V l a n 1 a c t i v e 0 i n t e r n a l 10 0 7 O n l i n e D i a g n o s t i c V l a n 2 a c t i v e 0 i n t e r n a l 10 0 8 O n l i n e D i a g n o s t i c V l a n 3 a c t i v e 0 i n t e r n a l 10 0 9 V o i c e I n t e r n a l V l a n a c t i v e 0 i n t e r n a l 10 10 D t p V l a n a c t i v e 0 i n t e r n a l 10 11 P r i v a t e V l a n I n t e r n a l V l a n s u s p e n d 0 i n t e r n a l 10 16 O n l i n e S P -R P P i n g V l a n a c t i v e 0 i n t e r n a l !--- T h e s e a r e i n t e r n a l V L A N s .

A d d i t i o n a l l y , b e f o r e y o u u s e t h e e x t e n d e d -r a n g e V L A N s , y o u m u s t d e l e t e a n y e x i s t i n g 80 2.1Q -t o -I S L m a p p i n g s . A l s o , i n v e r s i o n s e a r l i e r t h a n V T P v 3, y o u m u s t s t a t i c a l l y c o n f i g u r e t h e e x t e n d e d V L A N o n e a c h s w i t c h w i t h t h e u s e o f V T P t r a n s p a r e n t m o d e . R e f e r t o t h e E x t e nd e d -R ang e V L A N C o nf i g u r at i o n G u i d e li ne s s e c t i o n o f C o n f i g u r i n g V L A N s f o r m o r e i n f o r m a t i o n .

P a g e 14 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 15: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

N ote : I n s o f t w a r e t h a t i s e a r l i e r t h a n s o f t w a r e r e l e a s e 8.1( 1) , y o u c a n n o t c o n f i g u r e t h e V L A N n a m e f o r e x t e n d e d -r a n g e V L A N s . T h i s c a p a b i l i t y i s i n d e p e n d e n t o f a n y V T P v e r s i o n o r m o d e . R e com m e nda tion T r y t o m a i n t a i n a c o n s i s t e n t M A C a d d r e s s r e d u c t i o n c o n f i g u r a t i o n w i t h i n t h e s a m e S T P d o m a i n . H o w e v e r , t h e e n f o r c e m e n t o f M A C a d d r e s s r e d u c t i o n o n a l l n e t w o r k d e v i c e s c a n b e i m p r a c t i c a l w h e n n e w c h a s s i s w i t h 64 M A C a d d r e s s e s a r e i n t r o d u c e d t o t h e S T P d o m a i n . M A C a d d r e s s r e d u c t i o n i s e n a b l e d b y d e f a u l t f o r s w i t c h e s t h a t h a v e 64 M A C a d d r e s s e s , a n d t h e f e a t u r e c a n n o t b e d i s a b l e d . U n d e r s t a n d t h a t , w h e n t w o s y s t e m s a r e c o n f i g u r e d w i t h t h e s a m e s p a n n i n g -t r e e p r i o r i t y , t h e s y s t e m w i t h o u t M A C a d d r e s s r e d u c t i o n h a s a b e t t e r s p a n n i n g -t r e e p r i o r i t y . I s s u e t h i s c o m m a n d i n o r d e r t o e n a b l e o r d i s a b l e M A C a d d r e s s r e d u c t i o n :

set sp an tr ee macr ed u cti on en ab l e | d i sab l e

A l l o c a t i o n o f t h e i n t e r n a l V L A N s i s i n a s c e n d i n g o r d e r a n d s t a r t s a t V L A N 10 0 6. A s s i g n t h e u s e r V L A N s a s c l o s e t o V L A N 40 94 a s p o s s i b l e i n o r d e r t o a v o i d c o n f l i c t s b e t w e e n t h e u s e r V L A N s a n d t h e i n t e r n a l V L A N s . W i t h C a t a l y s t 650 0 s w i t c h e s t h a t r u n C i s c o I O S ® s y s t e m s o f t w a r e , y o u c a n c o n f i g u r e t h e i n t e r n a l V L A N a l l o c a t i o n i n d e s c e n d i n g o r d e r . T h e C o m m a n d -L i n e I n t e r f a c e ( C L I ) e q u i v a l e n t f o r C a t O S s o f t w a r e i s n o t o f f i c i a l l y s u p p o r t e d .

A uto neg o tia tio n E th e rne t/F a s t E th e rne t A u t o n e g o t i a t i o n i s a n o p t i o n a l f u n c t i o n o f t h e I E E E F a s t E t h e r n e t ( F E ) s t a n d a r d ( 80 2.3u ) t h a t e n a b l e s d e v i c e s t o a u t o m a t i c a l l y e x c h a n g e i n f o r m a t i o n o v e r a l i n k a b o u t s p e e d a n d dup l e x a b i l i t i e s . A u t o n e g o t i a t i o n o p e r a t e s a t L a y e r 1 ( L 1) , a n d t a r g e t s a c c e s s l a y e r p o r t s w h e r e tra ns ie nt us e rs s u c h a s P C s c o n n e c t t o t h e n e t w o r k . O p e ra tiona l O v e rv ie w T h e m o s t c o m m o n c a u s e o f p e r f o r m a n c e i s s u e s o n 10 / 10 0 M b p s E t h e r n e t l i n k s o c c u r w h e n o n e p o r t o n t h e l i n k o p e r a t e s a t h a l f -d u p l e x w h i l e t h e o t h e r i s a t f u l l -d u p l e x . T h i s o c c a s i o n a l l y h a p p e n s w h e n o n e o r b o t h p o r t s o n a l i n k a r e r e s e t a n d t h e a u t o n e g o t i a t i o n p r o c e s s d o e s n o t c a u s e b o t h l i n k p a r t n e r s t o h a v e t h e s a m e c o n f i g u r a t i o n . I t a l s o h a p p e n s w h e n a d m i n i s t r a t o r s r e c o n f i g u r e o n e s i d e o f a l i n k a n d f o r g e t t o r e c o n f i g u r e t h e o t h e r s i d e . T h e t y p i c a l s y m p t o m s o f t h i s a r e i n c r e a s i n g f r a m e c h e c k s e q u e n c e ( F C S ) , c y c l i c r e d u n d a n c y c h e c k ( C R C ) , a l i g n m e n t , o r r u n t c o u n t e r s o n t h e s w i t c h . A u t o n e g o t i a t i o n i s d i s c u s s e d i n d e t a i l i n t h e s e d o c u m e n t s . T h e s e d o c u m e n t s i n c l u d e e x p l a n a t i o n s o f h o w a u t o n e g o t i a t i o n w o r k s a n d c o n f i g u r a t i o n o p t i o n s .

� C o n f i g u r i n g a n d T r o u b l e s h o o t i n g E t h e r n e t 10 / 10 0 M b H a l f / F u l l D u p l e x A u t o -N e g o t i a t i o n � T r o u b l e s h o o t i n g C i s c o C a t a l y s t S w i t c h e s t o N e t w o r k I n t e r f a c e C a r d ( N I C ) C o m p a t i b i l i t y I s s u e s

A c o m m o n m i s c o n c e p t i o n a b o u t a u t o n e g o t i a t i o n i s t h a t i t i s p o s s i b l e t o m a n u a l l y c o n f i g u r e o n e l i n k p a r t n e r f o r 10 0 M b p s f u l l -d u p l e x a n d a u t o n e g o t i a t e t o f u l l -d u p l e x w i t h t h e o t h e r l i n k p a r t n e r . I n f a c t , a n a t t e m p t t o d o t h i s r e s u l t s i n a d u p l e x m i s m a t c h . T h i s i s a c o n s e q u e n c e o f o n e l i n k p a r t n e r a u t o n e g o t i a t i n g , n o t s e e i n g a n y a u t o n e g o t i a t i o n p a r a m e t e r s f r o m t h e o t h e r l i n k p a r t n e r , a n d d e f a u l t i n g t o

P a g e 15 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 16: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

h a l f -d u p l e x . M o s t C a t a l y s t E t h e r n e t m o d u l e s s u p p o r t 10 / 10 0 M b p s a n d h a l f / f u l l -d u p l e x , b u t t h e s h ow p ort ca p a b il itie s mo d / p o r t c o m m a n d c o n f i r m s t h i s . F E F I F a r e n d f a u l t i n d i c a t i o n ( F E F I ) p r o t e c t s 10 0 B A S E -F X ( f i b e r ) a n d G i g a b i t i n t e r f a c e s , w h i l e a u t o n e g o t i a t i o n p r o t e c t s 10 0 B A S E -T X ( c o p p e r ) a g a i n s t p h y s i c a l -l a y e r / s i g n a l i n g r e l a t e d f a u l t s . A f a r e nd f a ul t i s a n e r r o r i n t h e l i n k t h a t o n e s t a t i o n c a n d e t e c t w h i l e t h e o t h e r c a n n o t , s u c h a s a d i s c o n n e c t e d T X -w i r e . I n t h i s e x a m p l e , t h e s e n d i n g s t a t i o n c o u l d s t i l l r e c e i v e v a l i d d a t a a n d d e t e c t t h a t t h e l i n k i s g o o d t h r o u g h t h e l i n k -i n t e g r i t y -m o n i t o r . I t d o e s n o t d e t e c t t h a t i t s t r a n s m i s s i o n i s n o t b e i n g r e c e i v e d b y t h e o t h e r s t a t i o n . A 10 0 B A S E -F X s t a t i o n t h a t d e t e c t s s u c h a r e m o t e f a u l t c a n m o d i f y i t s t r a n s m i t t e d I D L E s t r e a m t o s e n d a s p e c i a l b i t -p a t t e r n ( r e f e r r e d t o a s t h e F E F I I D L E p a t t e r n ) t o i n f o r m t h e n e i g h b o r o f t h e r e m o t e f a u l t ; t h e F E F I -I D L E p a t t e r n s u b s e q u e n t l y t r i g g e r s a s h u t d o w n o f t h e r e m o t e p o r t ( e r r d i s a b l e ) . R e f e r t o t h e U D L D s e c t i o n o f t h i s d o c u m e n t f o r m o r e i n f o r m a t i o n o n f a u l t p r o t e c t i o n . F E F I i s s u p p o r t e d b y t h i s h a r d w a r e a n d t h e s e m o d u l e s :

� C a t a l y s t 550 0 / 50 0 0 : W S -X 520 1R , W S -X 530 5, W S -X 5236, W S -X 5237, W S -U 5538, a n d W S -U 5539

� C a t a l y s t 650 0 / 60 0 0 a n d 450 0 / 40 0 0 : A l l 10 0 B A S E -F X m o d u l e s a n d G E m o d u l e s R e com m e nda tion W h e t h e r t o c o n f i g u r e a u t o n e g o t i a t i o n o n 10 / 10 0 l i n k s o r t o h a r d c o d e s p e e d a n d d u p l e x u l t i m a t e l y d e p e n d s o n t h e t y p e o f l i n k p a r t n e r o r e n d d e v i c e y o u h a v e c o n n e c t e d t o a C a t a l y s t s w i t c h p o r t . A u t o n e g o t i a t i o n b e t w e e n e n d d e v i c e s a n d C a t a l y s t s w i t c h e s g e n e r a l l y w o r k s w e l l , a n d C a t a l y s t s w i t c h e s a r e c o m p l i a n t w i t h t h e I E E E 80 2.3u s p e c i f i c a t i o n . H o w e v e r , p r o b l e m s c a n r e s u l t w h e n N I C o r v e n d o r s w i t c h e s d o n o t c o n f o r m e x a c t l y . H a r d w a r e i n c o m p a t i b i l i t y a n d o t h e r i s s u e s c a n a l s o e x i s t a s a r e s u l t o f v e n d o r -s p e c i f i c a d v a n c e d f e a t u r e s , s u c h a s a u t o -p o l a r i t y o r c a b l i n g i n t e g r i t y , t h a t a r e n o t d e s c r i b e d i n t h e I E E E 80 2.3u s p e c i f i c a t i o n f o r 10 / 10 0 M b p s a u t o n e g o t i a t i o n . R e f e r t o F i e l d N o t i c e : P e r f o r m a n c e I s s u e w i t h I n t e l P r o / 10 0 0 T N I C s c o n n e c t i n g t o C A T 4K / 6K f o r a n e x a m p l e o f t h i s . A n t i c i p a t e t h a t t h e r e w i l l b e s o m e s i t u a t i o n s t h a t r e q u i r e h o s t , p o r t s p e e d , a n d d u p l e x t o b e s e t . I n g e n e r a l , f o l l o w t h e s e b a s i c t r o u b l e s h o o t i n g s t e p s :

� M a k e s u r e t h a t e i t h e r a u t o n e g o t i a t i o n i s c o n f i g u r e d o n b o t h s i d e s o f t h e l i n k o r h a r d c o d i n g i s c o n f i g u r e d o n b o t h s i d e s .

� C h e c k t h e C a t O S r e l e a s e n o t e s f o r c o m m o n c a v e a t s . � V e r i f y t h e v e r s i o n o f N I C d r i v e r o r o p e r a t i n g s y s t e m y o u a r e r u n n i n g , a s t h e l a t e s t d r i v e r o r p a t c h i s o f t e n r e q u i r e d .

A s a r u l e , t r y t o u s e a u t o n e g o t i a t i o n f i r s t f o r a n y t y p e o f l i n k p a r t n e r . T h e r e a r e o b v i o u s b e n e f i t s t o c o n f i g u r i n g a u t o n e g o t i a t i o n f o r t r a n s i e n t d e v i c e s l i k e l a p t o p s . I d e a l l y , a u t o n e g o t i a t i o n a l s o w o r k s w e l l w i t h n o n -t r a n s i e n t d e v i c e s s u c h a s s e r v e r s a n d f i x e d w o r k s t a t i o n s o r f r o m s w i t c h -t o -s w i t c h a n d s w i t c h -

P a g e 16 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 17: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

t o -r o u t e r . F o r s o m e o f t h e r e a s o n s m e n t i o n e d , n e g o t i a t i o n i s s u e s c a n a r i s e . I n t h e s e c a s e s , f o l l o w t h e b a s i c t r o u b l e s h o o t i n g s t e p s o u t l i n e d i n t h e T A C l i n k s p r o v i d e d . I f t h e p o r t s p e e d i s s e t t o a u t o o n a 10 / 10 0 M b p s E t h e r n e t p o r t , b o t h s p e e d a n d d u p l e x a r e a u t o n e g o t i a t e d . I s s u e t h i s c o m m a n d i n o r d e r t o s e t t h e p o r t t o a u t o :

set p or t sp eed port range au to !--- T h i s i s t h e d e f a u l t .

I f h a r d c o d i n g t h e p o r t , i s s u e t h e s e c o n f i g u r a t i o n c o m m a n d s : set p or t sp eed port range 1 0 | 1 0 0 set p or t d u p l ex port range f u l l | h al f

I n C a t O S 8.3 a n d l a t e r , C i s c o h a s i n t r o d u c e d t h e o p t i o n a l a uto-10-100 k e y w o r d . U s e t h e a uto-10-100 k e y w o r d o n p o r t s t h a t s u p p o r t s p e e d s o f 10 / 10 0 / 10 0 0 M b p s b u t w h e r e a u t o n e g o t i a t i o n t o 10 0 0 M b p s i s u n d e s i r a b l e . U s e o f t h e a uto-10-100 k e y w o r d m a k e s t h e p o r t b e h a v e i n t h e s a m e w a y a s a 10 / 10 0 -M b p s p o r t t h a t h a s t h e s p e e d s e t t o a uto. T h e s p e e d a n d d u p l e x a r e n e g o t i a t e d f o r 10 / 10 0 -M b p s p o r t s o n l y , a n d t h e 10 0 0 -M b p s s p e e d d o e s n o t t a k e p a r t i n t h e n e g o t i a t i o n .

set p or t sp eed port_ range au to-1 0 -1 0 0

O th e r O p tions W h e n n o a u t o n e g o t i a t i o n i s u s e d b e t w e e n s w i t c h e s , L 1 f a u l t i n d i c a t i o n c a n a l s o b e l o s t f o r c e r t a i n p r o b l e m s . I t i s h e l p f u l t o u s e L 2 p r o t o c o l s t o a u g m e n t f a i l u r e d e t e c t i o n , s u c h a s a g g r e s s i v e U D L D .

G ig a b it E th ernet G i g a b i t E t h e r n e t ( G E ) h a s a n a u t o n e g o t i a t i o n p r o c e d u r e ( I E E E 80 2.3z ) t h a t i s m o r e e x t e n s i v e t h a n t h a t f o r 10 / 10 0 M b p s E t h e r n e t a n d i s u s e d t o e x c h a n g e f l o w -c o n t r o l p a r a m e t e r s , r e m o t e f a u l t i n f o r m a t i o n , a n d d u p l e x i n f o r m a t i o n ( e v e n t h o u g h C a t a l y s t s e r i e s G E p o r t s o n l y s u p p o r t f u l l -d u p l e x m o d e ) . N ote : 80 2.3z h a s b e e n s u p e r s e d e d b y I E E E 80 2.3: 20 0 0 s p e c s . R e f e r t o I E E E S t a n d a r d s O n L i n e L A N / M A N S t a n d a r d s S u b s c r i p t i o n : A r c h i v e s f o r m o r e i n f o r m a t i o n . O p e ra tiona l O v e rv ie w G E p o r t n e g o t i a t i o n i s e n a b l e d b y d e f a u l t , a n d t h e p o r t s o n b o t h e n d s o f a G E l i n k m u s t h a v e t h e s a m e s e t t i n g . U n l i k e F E , t h e G E l i n k d o e s n o t c o m e u p i f t h e a u t o n e g o t i a t i o n s e t t i n g d i f f e r s o n t h e p o r t s a t e a c h e n d o f t h e l i n k . H o w e v e r , t h e o n l y c o n d i t i o n t h a t i s r e q u i r e d f o r a n a u t o n e g o t i a t i o n -d i s a b l e d p o r t t o l i n k u p i s a v a l i d G i g a b i t s i g n a l f r o m t h e f a r e n d . T h i s b e h a v i o r i s i n d e p e n d e n t o f t h e a u t o n e g o t i a t i o n c o n f i g u r a t i o n o f t h e f a r e n d . F o r e x a m p l e , a s s u m e t h a t t h e r e a r e t w o d e v i c e s , A a n d B . E a c h d e v i c e c a n h a v e a u t o n e g o t i a t i o n e n a b l e d o r d i s a b l e d . T h i s t a b l e i s a l i s t o f p o s s i b l e c o n f i g u r a t i o n s a n d r e s p e c t i v e l i n k s t a t e s :

N e g otia tion B E na b l e d B D is a b l e d

P a g e 17 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 18: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

I n G E , s y n c h r o n i z a t i o n a n d a u t o n e g o t i a t i o n ( i f t h e y a r e e n a b l e d ) a r e p e r f o r m e d u p o n l i n k s t a r t u p t h r o u g h t h e u s e o f a s p e c i a l s e q u e n c e o f r e s e r v e d l i n k c o d e w o r d s . N ote : T h e r e i s a d i c t i o n a r y o f v a l i d w o r d s a n d n o t a l l p o s s i b l e w o r d s a r e v a l i d i n G E . T h e l i f e o f a G E c o n n e c t i o n c a n b e c h a r a c t e r i z e d i n t h i s w a y :

A l o s s o f s y n c h r o n i z a t i o n m e a n s t h a t t h e M A C d e t e c t s a l i n k d o w n . L o s s o f s y n c h r o n i z a t i o n a p p l i e s w h e t h e r a u t o n e g o t i a t i o n i s e n a b l e d o r d i s a b l e d . S y n c h r o n i z a t i o n i s l o s t u n d e r c e r t a i n f a i l e d c o n d i t i o n s , s u c h a s t h e r e c e i p t o f t h r e e i n v a l i d w o r d s i n s u c c e s s i o n . I f t h i s c o n d i t i o n p e r s i s t s f o r 10 m s , a " s y n c f a i l " c o n d i t i o n i s a s s e r t e d a n d t h e l i n k i s c h a n g e d t o t h e l i n k _ d o w n s t a t e . A f t e r s y n c h r o n i z a t i o n i s l o s t , a n o t h e r t h r e e c o n s e c u t i v e v a l i d i d l e s a r e n e c e s s a r y i n o r d e r t o r e s y n c h r o n i z e . O t h e r c a t a s t r o p h i c e v e n t s , s u c h a s a l o s s o f r e c e i v e ( R x ) s i g n a l , c a u s e s a l i n k -d o w n e v e n t . A u t o n e g o t i a t i o n i s a p a r t o f t h e l i n k u p p r o c e s s . W h e n t h e l i n k i s u p , a u t o n e g o t i a t i o n i s o v e r . H o w e v e r , t h e s w i t c h s t i l l m o n i t o r s t h e s t a t u s o f t h e l i n k . I f a u t o n e g o t i a t i o n i s d i s a b l e d o n a p o r t , t h e " a u t o n e g " p h a s e i s n o l o n g e r a n o p t i o n . T h e G E c o p p e r s p e c i f i c a t i o n ( 10 0 0 B A S E -T ) d o e s s u p p o r t a u t o n e g o t i a t i o n t h r o u g h a N e x t P a g e E x c h a n g e . N e x t P a g e E x c h a n g e a l l o w s a u t o n e g o t i a t i o n f o r 10 / 10 0 / 10 0 0 -M b p s s p e e d s o n c o p p e r p o r t s . N ote : T h e G E f i b e r s p e c i f i c a t i o n o n l y m a k e s p r o v i s i o n s f o r t h e n e g o t i a t i o n o f d u p l e x , f l o w c o n t r o l , a n d r e m o t e f a u l t d e t e c t i o n . G E f i b e r p o r t s d o n o t n e g o t i a t e p o r t s p e e d . R e f e r t o s e c t i o n s 28 a n d 37 o f t h e I E E E 80 2.3-20 0 2 s p e c i f i c a t i o n f o r m o r e i n f o r m a t i o n o n a u t o n e g o t i a t i o n . S y n c h r o n i z a t i o n r e s t a r t d e l a y i s a s o f t w a r e f e a t u r e t h a t c o n t r o l s t h e t o t a l a u t o n e g o t i a t i o n t i m e . I f a u t o n e g o t i a t i o n i s n o t s u c c e s s f u l w i t h i n t h i s t i m e , t h e f i r m w a r e r e s t a r t s a u t o n e g o t i a t i o n i n c a s e t h e r e i s a d e a d l o c k . T h e s e t p ort s y nc-re s ta rt-de l a y c o m m a n d o n l y h a s a n e f f e c t w h e n a u t o n e g o t i a t i o n i s s e t t o e n a b l e . R e com m e nda tion E n a b l i n g a u t o n e g o t i a t i o n i s m u c h m o r e c r i t i c a l i n a G E e n v i r o n m e n t t h a n i n a 10 / 10 0 e n v i r o n m e n t . I n f a c t , a u t o n e g o t i a t i o n m u s t o n l y b e d i s a b l e d o n s w i t c h p o r t s t h a t a t t a c h t o d e v i c e s n o t c a p a b l e o f s u p p o r t i n g n e g o t i a t i o n o r w h e r e c o n n e c t i v i t y i s s u e s a r i s e f r o m i n t e r o p e r a b i l i t y i s s u e s . C i s c o r e c o m m e n d s t h a t G i g a b i t n e g o t i a t i o n b e e n a b l e d ( d e f a u l t ) o n a l l s w i t c h -t o -s w i t c h l i n k s a n d g e n e r a l l y a l l G E d e v i c e s . I s s u e t h i s c o m m a n d i n o r d e r t o e n a b l e a u t o n e g o t i a t i o n :

set p or t n eg oti ati on port range en ab l e

A E na b l e d u p o n b o t h s i d e s A d o w n , B u p A D is a b l e d A u p , B d o w n u p o n b o t h s i d e s

P a g e 18 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 19: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

!--- T h i s i s t h e d e f a u l t .

O n e k n o w n e x c e p t i o n i s w h e n t h e r e i s a c o n n e c t i o n t o a G i g a b i t S w i t c h R o u t e r ( G S R ) r u n n i n g C i s c o I O S S o f t w a r e e a r l i e r t h a n r e l e a s e 12.0 ( 10 ) S , t h e r e l e a s e t h a t a d d e d f l o w c o n t r o l a n d a u t o n e g o t i a t i o n . I n t h i s c a s e , t u r n o f f t h o s e t w o f e a t u r e s , o r t h e s w i t c h p o r t r e p o r t s n o t c o n n e c t e d , a n d t h e G S R r e p o r t s e r r o r s . T h i s i s a s a m p l e c o m m a n d s e q u e n c e :

set p or t f l owcon tr ol r ecei v e port range of f set p or t f l owcon tr ol sen d port range of f set p or t n eg oti ati on port range d i sab l e

S w i t c h -t o -s e r v e r c o n n e c t i o n s m u s t b e l o o k e d a t o n a c a s e -b y -c a s e b a s i s . C i s c o c u s t o m e r s h a v e e n c o u n t e r e d i s s u e s w i t h G i g a b i t n e g o t i a t i o n o n S u n , H P , a n d I B M s e r v e r s . O th e r O p tions F l o w c o n t r o l i s a n o p t i o n a l p a r t o f t h e 80 2.3x s p e c i f i c a t i o n a n d m u s t b e n e g o t i a t e d i f u s e d . D e v i c e s c a n o r c a n n o t b e c a p a b l e o f s e n d i n g a n d / o r r e s p o n d i n g t o a P A U S E f r a m e ( w e l l k now n M A C 01-8 0-C 2 -00-00-00 0F ) . A l s o , t h e y c a n n o t a g r e e t o t h e f l o w -c o n t r o l r e q u e s t o f t h e f a r -e n d n e i g h b o r . A p o r t w i t h a n i n p u t b u f f e r t h a t i s f i l l i n g u p s e n d s a P A U S E f r a m e t o i t s l i n k p a r t n e r , w h i c h s t o p s t h e t r a n s m i s s i o n , a n d h o l d s a n y a d d i t i o n a l f r a m e s i n t h e l i n k p a r t n e r o u t p u t b u f f e r s . T h i s d o e s n o t s o l v e a n y s t e a d y -s t a t e o v e r -s u b s c r i p t i o n p r o b l e m , b u t e f f e c t i v e l y m a k e s t h e i n p u t b u f f e r l a r g e r b y s o m e f r a c t i o n o f t h e p a r t n e r o u t p u t b u f f e r d u r i n g b u r s t s . T h i s f e a t u r e i s b e s t u s e d o n l i n k s b e t w e e n a c c e s s -p o r t s a n d e n d h o s t s , w h e r e t h e h o s t o u t p u t b u f f e r i s p o t e n t i a l l y a s l a r g e a s t h e i r v i r t u a l m e m o r y . S w i t c h -t o -s w i t c h u s e h a s l i m i t e d b e n e f i t s . I s s u e t h e s e c o m m a n d s i n o r d e r t o c o n t r o l t h i s o n t h e s w i t c h p o r t s :

set p or t f l owcon tr ol m od / port rec ei v e | s end of f | on | d es i red >show p or t f l owcon tr ol P o r t S e n d F l o w C o n t r o l R e c e i v e F l o w C o n t r o l R x P a u s e T x P a u s e a d m i n o p e r a d m i n o p e r ----- -------- -------- -------- -------- ------- ------- 6 / 1 o f f o f f o n o n 0 0 6 / 2 o f f o f f o n o n 0 0 6 / 3 o f f o f f o n o n 0 0

N ote : A l l C a t a l y s t m o d u l e s r e s p o n d t o a P A U S E f r a m e i f n e g o t i a t e d . S o m e m o d u l e s ( f o r e x a m p l e , W S -X 5410 , W S -X 430 6) n e v e r s e n d P A U S E f r a m e s e v e n i f t h e y n e g o t i a t e t o d o s o , a s t h e y a r e n o n -b l o c k i n g .

D y na mic T runk ing P ro to c o l E nca p s ul a tion T y p e T r u n k s e x t e n d V L A N s b e t w e e n d e v i c e s b y t e m p o r a r i l y i d e n t i f y i n g a n d t a g g i n g ( l i n k -l o c a l ) t h e o r i g i n a l

P a g e 19 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 20: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

E t h e r n e t f r a m e s , t h u s t h e y e n a b l e t h e m t o b e m u l t i p l e x e d o v e r a s i n g l e l i n k . T h i s a l s o e n s u r e s t h e s e p a r a t e V L A N b r o a d c a s t a n d s e c u r i t y d o m a i n s a r e m a i n t a i n e d b e t w e e n s w i t c h e s . C A M t a b l e s m a i n t a i n t h e f r a m e -t o -V L A N m a p p i n g i n s i d e t h e s w i t c h e s . T r u n k i n g i s s u p p o r t e d o n s e v e r a l t y p e s o f L 2 m e d i a , i n c l u d i n g A T M L A N E , F D D I 80 2.10 , a n d E t h e r n e t , a l t h o u g h o n l y t h e l a t t e r i s b e p r e s e n t e d h e r e . IS L O p e ra tiona l O v e rv ie w C i s c o p r o p r i e t a r y i d e n t i f i c a t i o n o r t a g g i n g s c h e m e , I S L , h a s b e e n i n u s e f o r m a n y y e a r s . T h e 80 2.1Q I E E E s t a n d a r d i s a l s o a v a i l a b l e . B y t o t a l l y e n c a p s u l a t i n g t h e o r i g i n a l f r a m e i n a t w o -l e v e l t a g g i n g s c h e m e , I S L i s e f f e c t i v e l y a t u n n e l i n g p r o t o c o l a n d h a s t h e a d d i t i o n a l b e n e f i t o f c a r r y i n g n o n -E t h e r n e t f r a m e s . I t a d d s a 26-b y t e h e a d e r a n d 4-b y t e F C S t o t h e s t a n d a r d E t h e r n e t f r a m e - t h e l a r g e r E t h e r n e t f r a m e s a r e e x p e c t e d a n d h a n d l e d b y p o r t s c o n f i g u r e d t o b e t r u n k s . I S L s u p p o r t s 10 24 V L A N s . IS L F ra m e F orm a t

R e f e r t o I n t e r S w i t c h L i n k a n d I E E E 80 2.1Q F r a m e F o r m a t f o r m o r e i n f o r m a t i o n . 8 02 . 1Q O p e ra tiona l O v e rv ie w T h e I E E E 80 2.1Q s t a n d a r d s p e c i f i e s m u c h m o r e t h a n e n c a p s u l a t i o n t y p e s , i n c l u d i n g S p a n n i n g T r e e e n h a n c e m e n t s , G A R P ( s e e t h e V T P s e c t i o n o f t h i s d o c u m e n t ) , a n d 80 2.1p Q u a l i t y o f S e r v i c e ( Q o S ) t a g g i n g . T h e 80 2.1Q f r a m e f o r m a t p r e s e r v e s t h e o r i g i n a l E t h e r n e t s o u r c e a d d r e s s a n d d e s t i n a t i o n a d d r e s s , y e t s w i t c h e s m u s t n o w e x p e c t b a b y -g i a n t f r a m e s t o b e r e c e i v e d , e v e n o n a c c e s s p o r t s w h e r e h o s t s c a n u s e t a g g i n g i n o r d e r t o e x p r e s s 80 2.1p u s e r p r i o r i t y f o r Q o S s i g n a l i n g . T h e t a g i s 4 b y t e s , s o 80 2.1Q E t h e r n e t v 2 f r a m e s a r e 1522 b y t e s , a n I E E E 80 2.3a c w o r k i n g g r o u p a c h i e v e m e n t . 80 2.1Q a l s o s u p p o r t s n u m b e r i n g s p a c e f o r 40 96 V L A N s . A l l d a t a f r a m e s t r a n s m i t t e d a n d r e c e i v e d a r e 80 2.1Q -t a g g e d e x c e p t f o r t h o s e o n t h e n a t i v e V L A N ( t h e r e i s a n i m p l i c i t t a g b a s e d o n t h e i n g r e s s s w i t c h p o r t c o n f i g u r a t i o n ) . F r a m e s o n t h e n a t i v e V L A N a r e a l w a y s t r a n s m i t t e d u n t a g g e d a n d n o r m a l l y r e c e i v e d u n t a g g e d . H o w e v e r , t h e y c a n a l s o b e r e c e i v e d t a g g e d .

4 0 B its

4 B its 4 B its

4 8 B its

16 B its 2 4 B its 2 4 B its 15

B its B it 16 B its 16 B its V a ria b l e l e ng th

3 2 B its

D e s t . A d d r T y p e U S E R S A L E N S N A P L L C H S A V L A N B P D U I N D E X R e s e r v e E n c a p s u l a t e d F r a m e F C S0 1-0 0 -0 c -0 0 -0 0

A A A A 0 3 0 0 0 0 0 C

P a g e 20 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 21: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

R e f e r t o V L A N S t a n d a r d i z a t i o n v i a I E E E 80 2.10 a n d G e t I E E E 80 2 f o r m o r e d e t a i l s . 8 02 . 1Q /8 01. 1p F ra m e F orm a t

R e com m e nda tion A s a l l n e w e r h a r d w a r e s u p p o r t s 80 2.1Q ( a n d s o m e o n l y s u p p o r t s 80 2.1Q , s u c h a s t h e C a t a l y s t 450 0 / 40 0 0 s e r i e s a n d C S S 110 0 0 ) , C i s c o r e c o m m e n d s t h a t a l l n e w i m p l e m e n t a t i o n s f o l l o w t h e I E E E 80 2.1Q s t a n d a r d a n d o l d e r n e t w o r k s g r a d u a l l y m i g r a t e f r o m I S L . T h e I E E E s t a n d a r d a l l o w s v e n d o r i n t e r o p e r a b i l i t y . T h i s i s a d v a n t a g e o u s i n a l l C i s c o e n v i r o n m e n t s a s n e w h o s t 80 2.1p c a p a b l e N I C s a n d d e v i c e s b e c o m e a v a i l a b l e . A l t h o u g h b o t h I S L a n d 80 2.1Q i m p l e m e n t a t i o n s a r e m a t u r e , t h e I E E E s t a n d a r d w i l l u l t i m a t e l y h a v e g r e a t e r f i e l d e x p o s u r e a n d g r e a t e r t h i r d p a r t y s u p p o r t , s u c h a s n e t w o r k a n a l y z e r s u p p o r t . T h e l o w e r e n c a p s u l a t i o n o v e r h e a d o f 80 2.1Q c o m p a r e d t o I S L i s a m i n o r p o i n t i n f a v o r o f 80 2.1Q a s w e l l . A s t h e e n c a p s u l a t i o n t y p e i s n e g o t i a t e d b e t w e e n s w i t c h e s u s i n g D T P , w i t h I S L c h o s e n a s t h e w i n n e r b y d e f a u l t i f b o t h e n d s s u p p o r t i t , i t i s n e c e s s a r y t o i s s u e t h i s c o m m a n d i n o r d e r t o s p e c i f y d o t 1q :

set tr u n k m od / port m od e d ot1 q

I f V L A N 1 i s c l e a r e d f r o m a t r u n k , a s d i s c u s s e d i n t h e I n -B a n d M a n a g e m e n t s e c t i o n o f t h i s d o c u m e n t , a l t h o u g h n o u s e r d a t a i s t r a n s m i t t e d o r r e c e i v e d , t h e N M P c o n t i n u e s t o p a s s c o n t r o l p r o t o c o l s s u c h a s C D P a n d V T P o n V L A N 1. A l s o , a s d i s c u s s e d i n t h e V L A N 1 s e c t i o n o f t h i s d o c u m e n t , C D P , V T P , a n d P A g P p a c k e t s a r e a l w a y s s e n t o n V L A N 1 w h e n t r u n k i n g . W h e n u s i n g d o t 1q e n c a p s u l a t i o n , t h e s e c o n t r o l f r a m e s a r e t a g g e d w i t h V L A N 1 i f t h e n a t i v e V L A N o f t h e s w i t c h i s c h a n g e d . I f d o t 1q t r u n k i n g t o a r o u t e r i s e n a b l e d a n d t h e n a t i v e V L A N i s c h a n g e d o n t h e s w i t c h , a s u b -i n t e r f a c e i n V L A N 1 i s n e e d e d t o r e c e i v e t h e t a g g e d C D P f r a m e s a n d p r o v i d e C D P n e i g h b o r v i s i b i l i t y o n t h e r o u t e r . N ote : T h e r e i s a p o t e n t i a l s e c u r i t y c o n s i d e r a t i o n w i t h d o t 1q c a u s e d b y t h e i m p l i c i t t a g g i n g o f t h e n a t i v e V L A N , a s i t c a n b e p o s s i b l e t o s e n d f r a m e s f r o m o n e V L A N t o a n o t h e r w i t h o u t a r o u t e r . R e f e r t o A r e t h e r e V u l n e r a b i l i t i e s i n V L A N I m p l e m e n t a t i o n s ? f o r f u r t h e r d e t a i l s . T h e w o r k a r o u n d i s t o u s e a V L A N I D f o r t h e n a t i v e V L A N o f t h e t r u n k t h a t i s n o t u s e d f o r e n d u s e r a c c e s s . T h e m a j o r i t y o f C i s c o c u s t o m e r s l e a v e V L A N 1 a s t h e n a t i v e V L A N o n a t r u n k a n d a s s i g n a c c e s s p o r t s t o V L A N s o t h e r t h a n V L A N 1 i n o r d e r t o a c h i e v e t h i s s i m p l y .

T a g H e a de r T P ID T C I 48 b i t s

48 b i t s 16 b its 3 b its

1 b it 12 b its 16 b i t s

V a r i a b l e l e n g t h

32 b i t s

D A S A T P ID P riority C F I V L A N ID L e n g t h / T y p e

D a t a w i t h P A D

F C S

0x 8 100 0 - 7 0-1 0-4 09 5

P a g e 21 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 22: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

T runk ing M ode D T P i s t h e s e c o n d g e n e r a t i o n o f D y n a m i c I S L ( D I S L ) , a n d e x i s t s i n o r d e r t o e n s u r e t h a t t h e d i f f e r e n t p a r a m e t e r s i n v o l v e d i n s e n d i n g I S L o r 80 2.1Q f r a m e s , s u c h a s t h e c o n f i g u r e d e n c a p s u l a t i o n t y p e , n a t i v e V L A N , a n d h a r d w a r e c a p a b i l i t y , a r e a g r e e d u p o n b y t h e s w i t c h e s a t e i t h e r e n d o f a t r u n k . T h i s a l s o h e l p s p r o t e c t a g a i n s t n o n -t r u n k p o r t s f l o o d i n g t a g g e d f r a m e s , a p o t e n t i a l l y s e r i o u s s e c u r i t y r i s k , b y e n s u r i n g t h a t p o r t s a n d t h e i r n e i g h b o r s a r e i n c o n s i s t e n t s t a t e s . O p e ra tiona l O v e rv ie w D T P i s a L 2 p r o t o c o l t h a t n e g o t i a t e s c o n f i g u r a t i o n p a r a m e t e r s b e t w e e n a s w i t c h p o r t a n d i t s n e i g h b o r . I t u s e s a n o t h e r m u l t i c a s t M A C a d d r e s s ( 01-00-0c-cc-cc-cc ) a n d a S N A P p r o t o c o l t y p e o f 0 x 20 0 4. T h i s t a b l e i s a s u m m a r y o f t h e c o n f i g u r a t i o n m o d e s :

M ode F unction D T P F ra m e s

T ra ns m itte d F ina l S ta te ( L oca l P ort)

A u t o ( d e f a u l t )

M a k e s t h e p o r t w i l l i n g t o c o n v e r t t h e l i n k t o a t r u n k . T h e p o r t b e c o m e s a t r u n k p o r t i f t h e n e i g h b o r i n g p o r t i s s e t t o o n o r d e s i r a b l e m o d e .

Y e s , p e r i o d i c . T r u n k i n g

O n

P u t s t h e p o r t i n t o p e r m a n e n t t r u n k i n g m o d e a n d n e g o t i a t e s t o c o n v e r t t h e l i n k i n t o a t r u n k . T h e p o r t b e c o m e s a t r u n k p o r t e v e n i f t h e n e i g h b o r i n g p o r t d o e s n o t a g r e e t o t h e c h a n g e .

Y e s , p e r i o d i c .

T r u n k i n g , unconditiona l l y .

P a g e 22 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 23: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

N o n e g o t i a t e

P u t s t h e p o r t i n t o p e r m a n e n t t r u n k i n g m o d e b u t p r e v e n t s t h e p o r t f r o m g e n e r a t i n g D T P f r a m e s . Y o u m u s t c o n f i g u r e t h e n e i g h b o r i n g p o r t m a n u a l l y a s a t r u n k p o r t t o e s t a b l i s h a t r u n k l i n k . T h i s i s u s e f u l f o r d e v i c e s t h a t d o n o t s u p p o r t D T P .

N o T r u n k i n g , unconditiona l l y .

D e s i r a b l e

M a k e s t h e p o r t a c t i v e l y a t t e m p t t o c o n v e r t t h e l i n k t o a t r u n k l i n k . T h e p o r t b e c o m e s a t r u n k p o r t i f t h e n e i g h b o r i n g p o r t i s s e t t o o n , d e s i r a b l e , o r a u t o m o d e .

Y e s , p e r i o d i c .

I t e n d s u p i n t r u n k i n g s t a t e o n l y i f t h e r e m o t e m o d e i s o n , a u t o , o r d e s i r a b l e .

P u t s t h e p o r t i n t o p e r m a n e n t n o n -t r u n k i n g m o d e a n d n e g o t i a t e s

N o i n s t e a d y s t a t e , b u t

P a g e 23 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 24: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

T h e s e a r e s o m e h i g h l i g h t s o f t h e p r o t o c o l : � D T P a s s u m e s a p o i n t -t o -p o i n t c o n n e c t i o n , a n d C i s c o d e v i c e s o n l y s u p p o r t 80 2.1Q t r u n k p o r t s t h a t a r e p o i n t -t o -p o i n t .

� D u r i n g D T P n e g o t i a t i o n , t h e p o r t s d o n o t p a r t i c i p a t e i n S T P . O n l y a f t e r t h e p o r t b e c o m e s o n e o f t h e t h r e e D T P t y p e s ( a c c e s s , I S L , o r 80 2.1Q ) d o e s t h e p o r t b e a d d e d t o S T P . O t h e r w i s e P A g P , i f c o n f i g u r e d , i s t h e n e x t p r o c e s s t o r u n b e f o r e t h e p o r t p a r t i c i p a t e s i n S T P .

� I f t h e p o r t i s t r u n k i n g i n I S L m o d e , D T P p a c k e t s a r e s e n t o u t o n V L A N 1, o t h e r w i s e ( f o r 80 2.1Q t r u n k i n g o r n o n -t r u n k i n g p o r t s ) t h e y a r e s e n t o u t o n t h e n a t i v e V L A N .

� I n d e s i r a b l e m o d e , D T P p a c k e t s t r a n s f e r t h e V T P dom a in na m e ( w h i c h m u s t m a t c h f o r a n e g o t i a t e d t r u n k t o c o m e u p ) , p l u s t r u n k c o n f i g u r a t i o n a n d a dm in s ta tus .

� M e s s a g e s a r e s e n t e v e r y s e c o n d d u r i n g n e g o t i a t i o n , a n d e v e r y 30 s e c o n d s a f t e r t h a t . � B e s u r e t o u n d e r s t a n d t h a t m o d e s o n , n o n e g o t i a t e , a n d o f f e x p l i c i t l y s p e c i f y i n w h i c h s t a t e t h e p o r t e n d s u p . A b a d c o n f i g u r a t i o n c a n l e a d t o a d a n g e r o u s / i n c o n s i s t e n t s t a t e w h e r e o n e s i d e i s t r u n k i n g a n d t h e o t h e r i s n o t .

� A p o r t i n o n , a u t o , o r d e s i r a b l e m o d e s e n d s D T P f r a m e s p e r i o d i c a l l y . I f a p o r t i n a u t o o r d e s i r a b l e m o d e d o e s n o t s e e a D T P p a c k e t i n f i v e m i n u t e s , i t i s s e t t o n o n -t r u n k .

R e f e r t o C o n f i g u r i n g I S L T r u n k i n g o n C a t a l y s t 550 0 / 50 0 0 a n d 650 0 / 60 0 0 F a m i l y S w i t c h e s f o r m o r e I S L d e t a i l s . R e f e r t o T r u n k i n g B e t w e e n C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c h e s U s i n g 80 2.1Q E n c a p s u l a t i o n w i t h C i s c o C a t O S S y s t e m S o f t w a r e f o r m o r e 80 2.1Q d e t a i l s . R e com m e nda tion C i s c o r e c o m m e n d s a n e x p l i c i t t r u n k c o n f i g u r a t i o n o f d e s i r a b l e a t b o t h e n d s . I n t h i s m o d e , n e t w o r k o p e r a t o r s c a n t r u s t s y s l o g a n d c o m m a n d l i n e s t a t u s m e s s a g e s t h a t a p o r t i s u p a n d t r u n k i n g , u n l i k e o n m o d e , w h i c h c a n m a k e a p o r t a p p e a r u p e v e n t h o u g h t h e n e i g h b o r i s m i s c o n f i g u r e d . I n a d d i t i o n , d e s i r a b l e m o d e t r u n k p r o v i d e s s t a b i l i t y i n s i t u a t i o n s w h e r e o n e s i d e o f t h e l i n k c a n n o t b e c o m e a t r u n k o r d r o p s t r u n k s t a t e . I s s u e t h i s c o m m a n d i n o r d e r t o s e t d e s i r a b l e m o d e :

O f f

t o c o n v e r t t h e l i n k i n t o a n o n -t r u n k l i n k . T h e p o r t b e c o m e s a n o n -t r u n k p o r t e v e n i f t h e n e i g h b o r i n g p o r t d o e s n o t a g r e e t o t h e c h a n g e .

t r a n s m i t s i n f o r m s t o s p e e d u p r e m o t e e n d d e t e c t i o n a f t e r t h e c h a n g e f r o m o n .

N o n -t r u n k i n g

P a g e 24 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 25: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

set tr u n k m od / port d esi r ab l e I S L | d ot1 q

N ote : S e t t r u n k t o o f f o n a l l n o n -t r u n k p o r t s . T h i s h e l p s e l i m i n a t e w a s t e d n e g o t i a t i o n t i m e w h e n b r i n g i n g h o s t p o r t s u p . T h i s c o m m a n d i s a l s o e x e c u t e d w h e n t h e s e t p ort h os t c o m m a n d i s u s e d ; r e f e r t o t h e S T P s e c t i o n f o r m o r e i n f o r m a t i o n . I s s u e t h i s c o m m a n d i n o r d e r t o d i s a b l e a t r u n k o n a r a n g e o f p o r t s :

set tr u n k port range of f !--- P o r t s a r e n o t t r u n k i n g ; p a r t o f t h e s e t p o r t h o s t c o m m a n d .

O th e r O p tions A n o t h e r c o m m o n c u s t o m e r c o n f i g u r a t i o n u s e s d e s i r a b l e m o d e o n l y a t t h e d i s t r i b u t i o n l a y e r a n d t h e s i m p l e s t d e f a u l t c o n f i g u r a t i o n ( a u t o m o d e ) a t t h e a c c e s s l a y e r . S o m e s w i t c h e s , s u c h a s a C a t a l y s t 290 0 X L , C i s c o I O S r o u t e r s , o r o t h e r v e n d o r d e v i c e s , d o n o t c u r r e n t l y s u p p o r t t r u n k n e g o t i a t i o n t h r o u g h D T P . Y o u c a n u s e n o n e g o t i a t e m o d e o n C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 s w i t c h e s i n o r d e r t o s e t a p o r t t o t r u n k u n c o n d i t i o n a l l y w i t h t h e s e d e v i c e s , w h i c h c a n h e l p s t a n d a r d i z e o n a c o m m o n s e t t i n g a c r o s s t h e c a m p u s . A l s o , y o u c a n i m p l e m e n t n o n e g o t i a t e m o d e i n o r d e r t o r e d u c e t h e " o v e r a l l " l i n k i n i t i a l i z a t i o n t i m e . N ote : F a c t o r s s u c h a s t h e c h a n n e l m o d e a n d S T P c o n f i g u r a t i o n c a n a l s o a f f e c t t h e i n i t i a l i z a t i o n t i m e . I s s u e t h i s c o m m a n d i n o r d e r t o s e t n o n e g o t i a t e m o d e :

set tr u n k m od / port n on eg oti ate I S L | d ot1 q

C i s c o r e c o m m e n d s n o n e g o t i a t e w h e n t h e r e i a a c o n n e c t i o n t o a C i s c o I O S r o u t e r b e c a u s e w h e n b r i d g i n g i s p e r f o r m e d , s o m e D T P f r a m e s r e c e i v e d f r o m on m o d e c a n g e t b a c k i n t o t h e t r u n k p o r t . U p o n r e c e p t i o n o f t h e D T P f r a m e , t h e s w i t c h p o r t t r i e s t o r e n e g o t i a t e ( o r b r i n g t h e t r u n k d o w n a n d u p ) u n n e c e s s a r i l y . I f n o n e g o t i a t e i s e n a b l e d , t h e s w i t c h d o e s n o t s e n d D T P f r a m e s .

S p a nning T ree P ro to c o l B a s ic C ons ide ra tions S p a n n i n g T r e e P r o t o c o l ( S T P ) m a i n t a i n s a l o o p -f r e e L 2 e n v i r o n m e n t i n r e d u n d a n t s w i t c h e d a n d b r i d g e d n e t w o r k s . W i t h o u t S T P , f r a m e s l o o p a n d / o r m u l t i p l y i n d e f i n i t e l y , w h i c h c a u s e s a n e t w o r k m e l t d o w n a s a l l d e v i c e s i n t h e b r o a d c a s t d o m a i n a r e i n t e r r u p t e d c o n t i n u o u s l y b y h i g h t r a f f i c . A l t h o u g h i n s o m e r e s p e c t s S T P i s a m a t u r e p r o t o c o l i n i t i a l l y d e v e l o p e d f o r s l o w s o f t w a r e -b a s e d b r i d g e s p e c i f i c a t i o n s ( I E E E 80 2.1d ) , i t c a n b e c o m p l e x t o i m p l e m e n t w e l l i n l a r g e s w i t c h e d n e t w o r k s w i t h m a n y V L A N s , m a n y s w i t c h e s i n a d o m a i n , m u l t i -v e n d o r s u p p o r t , a n d n e w e r I E E E e n h a n c e m e n t s . F o r f u t u r e r e f e r e n c e , C a t O S 6.x c o n t i n u e s t o t a k e o n n e w S T P d e v e l o p m e n t , s u c h a s M I S T P , l o o p -

P a g e 25 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 26: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

g u a r d , r o o t -g u a r d s , a n d B P D U a r r i v a l t i m e s k e w d e t e c t i o n . I n a d d i t i o n , f u r t h e r s t a n d a r d i z e d p r o t o c o l s a r e a v a i l a b l e i n C a t O S 7.x , s u c h a s I E E E 80 2.1s s h a r e d S p a n n i n g T r e e a n d I E E E 80 2.1w r a p i d c o n v e r g e n c e S p a n n i n g T r e e . O p e ra tiona l O v e rv ie w T h e r o o t b r i d g e e l e c t i o n p e r V L A N i s w o n b y t h e s w i t c h w i t h t h e l o w e s t r o o t B r i d g e I d e n t i f i e r ( B I D ) . T h e B I D i s t h e b r i d g e p r i o r i t y c o m b i n e d w i t h t h e s w i t c h M A C a d d r e s s . I n i t i a l l y , B P D U s a r e s e n t f r o m a l l s w i t c h e s , c o n t a i n i n g t h e B I D o f e a c h s w i t c h a n d t h e p a t h c o s t t o r e a c h t h a t s w i t c h . T h i s e n a b l e s t h e r o o t b r i d g e a n d t h e l o w e s t -c o s t p a t h t o t h e r o o t t o b e d e t e r m i n e d . A d d i t i o n a l c o n f i g u r a t i o n p a r a m e t e r s c a r r i e d i n B P D U s f r o m t h e r o o t o v e r r i d e t h o s e t h a t a r e l o c a l l y c o n f i g u r e d s o t h a t t h e w h o l e n e t w o r k u s e s c o n s i s t e n t t i m e r s . T h e t o p o l o g y t h e n c o n v e r g e s t h r o u g h t h e s e s t e p s : 1. A s i n g l e r o o t b r i d g e i s e l e c t e d f o r t h e e n t i r e S p a n n i n g T r e e d o m a i n . 2. O n e r o o t p o r t ( f a c i n g t h e r o o t b r i d g e ) i s e l e c t e d o n e v e r y n o n -r o o t b r i d g e . 3. A d e s i g n a t e d p o r t i s e l e c t e d f o r B P D U f o r w a r d i n g o n e v e r y s e g m e n t . 4. N o n -d e s i g n a t e d p o r t s b e c o m e b l o c k i n g .

R e f e r t o C o n f i g u r i n g S p a n n i n g T r e e f o r m o r e i n f o r m a t i o n .

B a s ic T im e r D e f a ul ts ( s e conds )

N a m e F unction

2 H e l l o C o n t r o l s s e n d i n g o f B P D U s .

15 F o r w a r d D e l a y ( F w d d e l a y )

C o n t r o l s h o w l o n g a p o r t s p e n d s i n l i s t e n i n g a n d l e a r n i n g s t a t e a n d i n f l u e n c e s t h e t o p o l o g y c h a n g e p r o c e s s ( s e e n e x t s e c t i o n ) .

20 M a x a g e

C o n t r o l s h o w l o n g t h e s w i t c h m a i n t a i n s t h e c u r r e n t t o p o l o g y b e f o r e i t l o o k s f o r a n a l t e r n a t i v e p a t h . A f t e r t h e M a x a g e s e c o n d s , a B P D U i s c o n s i d e r e d s t a l e a n d t h e s w i t c h l o o k s f o r a n e w r o o t p o r t f r o m t h e p o o l o f b l o c k i n g p o r t s . I f n o b l o c k e d p o r t i s a v a i l a b l e , i t c l a i m s t o b e t h e r o o t i t s e l f o n t h e d e s i g n a t e d p o r t s .

P a g e 26 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 27: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

T h e t w o t y p e s o f B P D U s i n S T P a r e c o n f i g u r a t i o n B P D U s a n d T o p o l o g y C h a n g e N o t i f i c a t i o n ( T C N ) B P D U s . C onf ig ura tion B P D U F l ow C o n f i g u r a t i o n B P D U s a r e s o u r c e d e v e r y h e l l o -i n t e r v a l f r o m e v e r y p o r t o n t h e r o o t b r i d g e a n d s u b s e q u e n t l y f l o w t o a l l l e a f s w i t c h e s i n o r d e r t o m a i n t a i n t h e s t a t e o f t h e S p a n n i n g T r e e . I n s t e a d y s t a t e , t h e B P D U f l o w i s u n i d i r e c t i o n a l : r o o t p o r t s a n d b l o c k i n g p o r t s o n l y r e c e i v e c o n f i g u r a t i o n B P D U s , w h i l e d e s i g n a t e d p o r t s o n l y s e n d c o n f i g u r a t i o n B P D U s . F o r e v e r y B P D U r e c e i v e d b y a s w i t c h f r o m t h e r o o t , a n e w o n e i s p r o c e s s e d b y t h e C a t a l y s t c e n t r a l N M P a n d s e n t o u t c o n t a i n i n g t h e r o o t i n f o r m a t i o n . I n o t h e r w o r d s , i f t h e r o o t b r i d g e i s l o s t o r a l l p a t h s t o t h e r o o t b r i d g e a r e l o s t , B P D U s s t o p b e i n g r e c e i v e d ( u n t i l t h e m a x a g e t i m e r s t a r t s r e -e l e c t i o n ) . T C N B P D U F l ow T C N B P D U s a r e s o u r c e d f r o m l e a f s w i t c h e s a n d f l o w t o w a r d s t h e r o o t b r i d g e w h e n a t o p o l o g y c h a n g e i s d e t e c t e d i n t h e s p a n n i n g t r e e . R o o t p o r t s o n l y s e n d T C N s , a n d d e s i g n a t e d p o r t s o n l y r e c e i v e T C N s . T h e T C N B P D U t r a v e l s t o w a r d t h e r o o t r i d g e a n d i s a c k n o w l e d g e d a t e a c h s t e p , s o t h i s i s a r e l i a b l e m e c h a n i s m . O n c e i t a r r i v e s a t t h e r o o t b r i d g e , t h e r o o t b r i d g e a l e r t s t h e e n t i r e d o m a i n t h a t a c h a n g e h a s

P ort S ta te s M e a ning D e f a ul t tim ing to ne x t s ta te

D i s a b l e d A d m i n i s t r a t i v e l y d o w n . N / A

B l o c k i n g R e c e i v i n g B P D U s a n d s t o p p i n g u s e r d a t a .

M o n i t o r r e c e p t i o n o f B P D U s . W a i t 20 s e c o n d s f o r M a x a g e e x p i r a t i o n o r i m m e d i a t e c h a n g e i f d i r e c t / l o c a l l i n k f a i l u r e d e t e c t e d .

L i s t e n i n g S e n d i n g o r r e c e i v i n g B P D U s t o c h e c k w h e t h e r r e t u r n t o b l o c k i n g n e e d e d .

F w d d e l a y t i m e r ( w a i t 15 s e c o n d s )

L e a r n i n g B u i l d i n g t o p o l o g y / C A M t a b l e .

F w d d e l a y t i m e r ( w a i t 15 s e c o n d s )

F o r w a r d i n g S e n d i n g / r e c e i v i n g d a t a .

T ota l b a s ic top ol og y ch a ng e :

2 0 + 2 ( 15 ) = 5 0 s e conds if w a iting f or M a x a g e to e x p ire , or 3 0 s e conds f or dire ct l ink f a il ure

P a g e 27 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 28: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

o c c u r r e d b y s o u r c i n g C o n f i g u r a t i o n B P D U s w i t h t h e T C N f l a g s e t f o r max ag e + f wd d el ay t i m e ( 35 s e c o n d s b y d e f a u l t ) . T h i s c a u s e s a l l s w i t c h e s t o c h a n g e t h e i r n o r m a l C A M a g i n g t i m e f r o m f i v e m i n u t e s ( b y d e f a u l t ) t o t h e i n t e r v a l s p e c i f i e d b y f wd d el ay ( 15 s e c o n d s b y d e f a u l t ) . R e f e r t o U n d e r s t a n d i n g S p a n n i n g T r e e P r o t o c o l T o p o l o g y C h a n g e s f o r m o r e d e t a i l s . S p a nning T re e M ode s T h e r e a r e t h r e e d i f f e r e n t w a y s t o c o r r e l a t e V L A N s w i t h S p a n n i n g T r e e :

� A s i n g l e S p a n n i n g T r e e f o r a l l V L A N s , o r m o n o S p a n n i n g T r e e P r o t o c o l , s u c h a s I E E E 80 2.1Q � A S p a n n i n g T r e e p e r V L A N , o r s h a r e d S p a n n i n g T r e e , s u c h a s C i s c o P V S T � A S p a n n i n g T r e e p e r s e t o f V L A N s , o r m u l t i p l e S p a n n i n g T r e e , s u c h a s C i s c o M I S T P a n d I E E E 80 2.1s

A m o n o S p a n n i n g T r e e f o r a l l V L A N s a l l o w s o n l y o n e a c t i v e t o p o l o g y a n d t h e r e f o r e n o l o a d b a l a n c i n g . A n S T P b l o c k e d p o r t b l o c k s f o r a l l V L A N s a n d c a r r i e s n o d a t a . O n e S p a n n i n g T r e e p e r V L A N a l l o w s l o a d b a l a n c i n g b u t r e q u i r e s m o r e B P D U C P U p r o c e s s i n g a s t h e n u m b e r o f V L A N s i n c r e a s e s . T h e C a t O S r e l e a s e n o t e s p r o v i d e g u i d a n c e o n t h e n u m b e r o f l o g i c a l p o r t s r e c o m m e n d e d i n t h e S p a n n i n g T r e e p e r s w i t c h . F o r e x a m p l e , t h e C a t a l y s t 650 0 / 60 0 0 S u p e r v i s o r E n g i n e 1 f o r m u l a i s a s s u c h : n u m b e r o f p o r t s + ( n u m b e r o f t r u n k s * n u m b e r o f V L A N s o n t r u n k s ) < 40 0 0 C i s c o M I S T P a n d t h e n e w 80 2.1s s t a n d a r d a l l o w t h e d e f i n i t i o n o f o n l y t w o a c t i v e S T P i n s t a n c e s / t o p o l o g i e s , a n d t h e m a p p i n g o f a l l V L A N s t o e i t h e r o f t h e s e t w o t r e e s . T h i s t e c h n i q u e a l l o w s S T P t o s c a l e t o m a n y t h o u s a n d s o f V L A N s w h i l e l o a d b a l a n c i n g i s e n a b l e d . B P D U F orm a ts I n o r d e r t o s u p p o r t t h e I E E E 80 2.1Q s t a n d a r d , t h e e x i s t i n g C i s c o S T P i m p l e m e n t a t i o n w a s e x t e n d e d t o b e c o m e P V S T + b y a d d i n g s u p p o r t f o r t u n n e l i n g a c r o s s a n I E E E 80 2.1Q m o n o S p a n n i n g T r e e r e g i o n . P V S T + i s t h e r e f o r e c o m p a t i b l e w i t h b o t h I E E E 80 2.1Q M S T a n d C i s c o P V S T p r o t o c o l s a n d d o e s n o t r e q u i r e e x t r a c o m m a n d s o r c o n f i g u r a t i o n . I n a d d i t i o n , P V S T + a d d s v e r i f i c a t i o n m e c h a n i s m s i n o r d e r t o e n s u r e t h a t t h e r e i s n o c o n f i g u r a t i o n i n c o n s i s t e n c y o f p o r t t r u n k i n g a n d V L A N I D s a c r o s s s w i t c h e s . T h e s e a r e s o m e o p e r a t i o n a l h i g h l i g h t s o f t h e P V S T + p r o t o c o l :

� P V S T + i n t e r o p e r a t e s w i t h 80 2.1Q m o n o S p a n n i n g T r e e t h r o u g h t h e s o -c a l l e d C o m m o n S p a n n i n g T r e e ( C S T ) o v e r a n 80 2.1Q t r u n k . T h e C S T i s a l w a y s o n V L A N 1, s o t h i s V L A N n e e d s t o b e e n a b l e d o n t h e t r u n k t o i n t e r o p e r a t e w i t h o t h e r v e n d o r s . C S T B P D U s a r e t r a n s m i t t e d , a l w a y s u n t a g g e d , t o t h e I E E E S t a n d a r d B r i d g e -G r o u p ( M A C A d d r e s s 0 1-80 -c 2-0 0 -0 0 -0 0 , D S A P 42, S S A P 42) . F o r c o m p l e t e n e s s o f d e s c r i p t i o n , a p a r a l l e l s e t o f B P D U s a r e a l s o t r a n s m i t t e d t o t h e C i s c o s h a r e d S p a n n i n g T r e e M A C a d d r e s s f o r V L A N 1.

� P V S T + t u n n e l s P V S T B P D U s a c r o s s 80 2.1Q V L A N r e g i o n s a s m u l t i c a s t d a t a . C i s c o s h a r e d S p a n n i n g T r e e B P D U s a r e t r a n s m i t t e d t o M A C a d d r e s s 0 1-0 0 -0 c -c c -c c -c d ( S N A P H D L C p r o t o c o l t y p e 0 x 0 10 b ) f o r e a c h V L A N o n a t r u n k . B P D U s a r e u n t a g g e d o n t h e n a t i v e V L A N a n d t a g g e d

P a g e 28 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 29: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

f o r a l l o t h e r V L A N s . � P V S T + c h e c k s p o r t a n d V L A N i n c o n s i s t e n c i e s . P V S T + b l o c k s t h o s e p o r t s t h a t r e c e i v e i n c o n s i s t e n t B P D U s i n o r d e r t o p r e v e n t f o r w a r d i n g l o o p s . I t a l s o n o t i f i e s u s e r s t h r o u g h s y s l o g m e s s a g e s a b o u t a n y c o n f i g u r a t i o n m i s m a t c h .

� P V S T + i s b a c k w a r d -c o m p a t i b l e w i t h e x i s t i n g C i s c o s w i t c h e s r u n n i n g P V S T o n I S L t r u n k s . I S L -e n c a p s u l a t e d B P D U s a r e s t i l l t r a n s m i t t e d o r r e c e i v e d u s i n g t h e I E E E M A C a d d r e s s . I n o t h e r w o r d s , e a c h B P D U t y p e i s l i n k -l o c a l ; t h e r e a r e n o t r a n s l a t i o n i s s u e s .

R e com m e nda tion A l l C a t a l y s t s w i t c h e s h a v e S T P e n a b l e d b y d e f a u l t . T h i s i s r e c o m m e n d e d e v e n i f a d e s i g n i s c h o s e n t h a t d o e s n o t i n c l u d e L 2 l o o p s s o t h a t S T P i s n o t e n a b l e d i n t h e s e n s e t h a t i t i s a c t i v e l y m a i n t a i n i n g a b l o c k e d p o r t .

set sp an tr ee en ab l e al l !--- T h i s i s t h e d e f a u l t .

C i s c o r e c o m m e n d s t h a t S T P i s l e f t e n a b l e d f o r t h e s e r e a s o n s : � I f t h e r e i s a l o o p ( i n d u c e d b y m i s p a t c h i n g , b a d c a b l e , a n d s o o n .) , S T P p r e v e n t s d e t r i m e n t a l e f f e c t s t o t h e n e t w o r k c a u s e d b y m u l t i c a s t a n d b r o a d c a s t d a t a .

� P r o t e c t i o n a g a i n s t a n E t h e r C h a n n e l b r e a k i n g d o w n . � M o s t n e t w o r k s a r e c o n f i g u r e d w i t h S T P , w h i c h g i v e s i t m a x i m u m f i e l d e x p o s u r e . M o r e e x p o s u r e g e n e r a l l y e q u a t e s t o s t a b l e c o d e .

� P r o t e c t i o n a g a i n s t d u a l a t t a c h e d N I C s m i s b e h a v i n g ( o r b r i d g i n g e n a b l e d o n s e r v e r s ) . � T h e s o f t w a r e f o r m a n y p r o t o c o l s ( s u c h a s P A g P , I G M P s n o o p i n g , a n d t r u n k i n g ) i s c l o s e l y r e l a t e d t o S T P . R u n n i n g w i t h o u t S T P c a n l e a d t o u n d e s i r a b l e r e s u l t s .

D o not ch a ng e tim e rs , a s th is ca n a dv e rs e l y a f f e ct s ta b il ity . T h e m a j o r i t y o f n e t w o r k s d e p l o y e d a r e n o t t u n e d . T h e s i m p l e S T P t i m e r s a c c e s s i b l e t h r o u g h t h e c o m m a n d l i n e , s u c h a s h e l l o -i n t e r v a l a n d M a x a g e , a r e t h e m s e l v e s c o m p r i s e d o f a c o m p l e x s e t o f o t h e r a s s u m e d a n d i n t r i n s i c t i m e r s , s o i t i s d i f f i c u l t t o t u n e t i m e r s a n d c o n s i d e r a l l t h e r a m i f i c a t i o n s . M o r e o v e r , t h e r e i s t h e d a n g e r o f u n d e r m i n i n g U D L D p r o t e c t i o n . Ide a l l y , k e e p us e r tra f f ic of f th e m a na g e m e nt V L A N . E s p e c i a l l y w i t h o l d e r C a t a l y s t s w i t c h p r o c e s s o r s , i t i s b e s t t o a v o i d p r o b l e m s w i t h S T P b y k e e p i n g t h e m a n a g e m e n t V L A N s e p a r a t e f r o m u s e r d a t a . O n e e n d s t a t i o n t h a t m i s b e h a v e s c o u l d p o t e n t i a l l y k e e p t h e s u p e r v i s o r e n g i n e p r o c e s s o r s o b u s y w i t h b r o a d c a s t p a c k e t s t h a t i t c a n m i s s o n e o r m o r e B P D U s . H o w e v e r , n e w e r s w i t c h e s w i t h m o r e p o w e r f u l C P U s a n d t h r o t t l i n g c o n t r o l s r e l i e v e t h i s c o n s i d e r a t i o n .. S e e t h e I n -B a n d M a n a g e m e n t s e c t i o n o f t h i s d o c u m e n t f o r m o r e d e t a i l s . D o not ov e r-de s ig n re dunda ncy . T h i s c a n l e a d t o a t r o u b l e s h o o t i n g n i g h t m a r e - t o o m a n y b l o c k i n g p o r t s a d v e r s e l y a f f e c t l o n g -t e r m s t a b i l i t y . K e e p th e tota l S P T dia m e te r unde r s e v e n h op s . T r y t o

P a g e 29 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 30: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

d e s i g n t o t h e C i s c o m u l t i l a y e r m o d e l , w i t h i t s s m a l l e r s w i t c h e d d o m a i n s , S T P t r i a n g l e s , a n d d e t e r m i n i s t i c b l o c k e d p o r t s ( a s e x p l a i n e d i n G i g a b i t C a m p u s N e t w o r k D e s i g n —P r i n c i p l e s a n d A r c h i t e c t u r e ) w h e r e v e r p o s s i b l e . Inf l ue nce a nd k now w h e re R oot f unctiona l ity a nd b l ock e d p orts re s ide , a nd docum e nt th e m on th e top ol og y dia g ra m . T h e b l o c k e d p o r t s a r e w h e r e S T P t r o u b l e s h o o t i n g b e g i n s - w h a t m a d e t h e m c h a n g e f r o m b l o c k i n g t o f o r w a r d i n g i s o f t e n t h e k e y p a r t o f r o o t c a u s e a n a l y s i s . C h oos e th e dis trib ution a nd core l a y e rs a s th e l oca tion of root/s e conda ry R oot, s i n c e t h e s e a r e c o n s i d e r e d t h e m o s t s t a b l e p a r t s o f t h e n e t w o r k . C h e c k f o r o p t i m a l L 3 a n d H S R P o v e r l a y w i t h L 2 d a t a -f o r w a r d i n g p a t h s . T h i s c o m m a n d i s a m a c r o t h a t c o n f i g u r e s t h e b r i d g e p r i o r i t y ; r o o t s e t s i t m u c h l o w e r t h a n t h e d e f a u l t ( 32768) , w h i l e r o o t s e c o n d a r y s e t s i t r e a s o n a b l y l o w e r t h a n t h e d e f a u l t :

set sp an tr ee r oot secon d ar y v l an r an g e

N ote : T h i s m a c r o s e t s t h e r o o t p r i o r i t y t o b e e i t h e r 8192 ( b y d e f a u l t ) , t h e c u r r e n t r o o t p r i o r i t y m i n u s 1 ( i f a n o t h e r r o o t b r i d g e i s k n o w n ) , o r t h e c u r r e n t r o o t p r i o r i t y ( i f i t s M A C a d d r e s s i s l o w e r t h e n t h e c u r r e n t r o o t ) . P rune unne ce s s a ry V L A N s of f trunk -p orts ( a b i d i r e c t i o n a l e x e r c i s e ) . T h i s l i m i t s t h e d i a m e t e r o f S T P a n d N M P p r o c e s s i n g o v e r h e a d o n p o r t i o n s o f t h e n e t w o r k w h e r e c e r t a i n V L A N s a r e n o t r e q u i r e d . V T P a u t o m a t i c p r u n i n g d o e s n o t r e m o v e S T P f r o m a t r u n k . R e f e r t o t h e V T P s e c t i o n o f t h i s d o c u m e n t f o r m o r e i n f o r m a t i o n . T h e d e f a u l t V L A N 1 c a n a l s o b e r e m o v e d f r o m t r u n k s u s i n g C a t O S 5.4 a n d l a t e r . R e f e r t o S p a n n i n g T r e e P r o t o c o l P r o b l e m s a n d R e l a t e d D e s i g n C o n s i d e r a t i o n s f o r a d d i t i o n a l i n f o r m a t i o n . O th e r O p tions C i s c o h a s a n o t h e r S T P k n o w n a s V L A N -b ridg e . T h i s p r o t o c o l o p e r a t e s u s i n g a d e s t i n a t i o n M A C a d d r e s s o f 01-00-0c-cd-cd-ce a n d p r o t o c o l t y p e o f 0 x 0 10 c . T h i s i s m o s t u s e f u l i f t h e r e i s a n e e d t o b r i d g e n o n -r o u t a b l e o r l e g a c y p r o t o c o l s b e t w e e n V L A N s w i t h o u t i n t e r f e r i n g w i t h t h e I E E E S p a n n i n g T r e e i n s t a n c e ( s ) r u n n i n g o n t h o s e V L A N s . I f V L A N i n t e r f a c e s f o r n o n -b r i d g e d t r a f f i c b e c o m e b l o c k e d f o r L 2 t r a f f i c ( a n d t h i s c o u l d e a s i l y h a p p e n i f t h e y p a r t i c i p a t e d i n t h e s a m e S T P a s I P V L A N s ) , t h e o v e r l a y i n g L 3 t r a f f i c g e t s i n a d v e r t e n t l y p r u n e d o f f a s w e l l - a n u n w a n t e d s i d e -e f f e c t . V L A N -b r i d g e i s t h e r e f o r e a s e p a r a t e i n s t a n c e o f S T P f o r b r i d g e d p r o t o c o l s , w h i c h p r o v i d e s a s e p a r a t e t o p o l o g y t h a t c a n b e m a n i p u l a t e d w i t h o u t a f f e c t i n g I P t r a f f i c . T h e C i s c o r e c o m m e n d a t i o n i s t o r u n V L A N -b r i d g e i f b r i d g i n g i s r e q u i r e d b e t w e e n V L A N s o n C i s c o r o u t e r s s u c h a s t h e M S F C . P ortF a s t P o r t F a s t i s u s e d t o b y p a s s n o r m a l S p a n n i n g T r e e o p e r a t i o n o n a c c e s s p o r t s t o s p e e d u p c o n n e c t i v i t y b e t w e e n e n d -s t a t i o n s a n d t h e s e r v i c e s t h e y n e e d t o c o n n e c t t o a f t e r l i n k i n i t i a l i z a t i o n . O n s o m e p r o t o c o l s , s u c h a s I P X / S P X , i t i s i m p o r t a n t t o s e e t h e a c c e s s p o r t i n f o r w a r d i n g m o d e i m m e d i a t e l y a f t e r t h e l i n k s t a t e h a s g o n e u p i n o r d e r t o a v o i d G N S p r o b l e m s . R e f e r t o U s i n g P o r t f a s t a n d O t h e r C o m m a n d s t o F i x W o r k s t a t i o n S t a r t u p C o n n e c t i v i t y D e l a y s f o r m o r e i n f o r m a t i o n .

P a g e 30 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 31: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

O p e ra tiona l O v e rv ie w P o r t F a s t s k i p s t h e n o r m a l l i s t e n i n g a n d l e a r n i n g s t a t e s o f S T P b y m o v i n g a p o r t d i r e c t l y f r o m b l o c k i n g t o f o r w a r d i n g m o d e a f t e r t h e l i n k i s k n o w n t o b e r u n n i n g . I f t h i s f e a t u r e i s n o t e n a b l e d , S T P d i s c a r d s a l l u s e r d a t a u n t i l i t d e c i d e s t h a t t h e p o r t i s r e a d y t o b e m o v e d t o f o r w a r d i n g m o d e . T h i s c o u l d t a k e u p t o t w i c e t h e F o r w a r d D e l a y t i m e ( a t o t a l o f 30 s e c o n d s b y d e f a u l t ) . P o r t F a s t m o d e a l s o p r e v e n t s a n S T P T C N f r o m b e i n g g e n e r a t e d e a c h t i m e a p o r t s t a t e c h a n g e s f r o m l e a r n i n g t o f o r w a r d i n g . T C N s a r e n o t a p r o b l e m b y t h e m s e l v e s , b u t i f a w a v e o f T C N s h i t t h e r o o t b r i d g e ( t y p i c a l l y i n t h e m o r n i n g w h e n p e o p l e t u r n o n t h e i r P C s ) , i t c o u l d e x t e n d c o n v e r g e n c e t i m e u n n e c e s s a r i l y . S T P P o r t F a s t i s p a r t i c u l a r l y i m p o r t a n t i n b o t h m u l t i c a s t C G M P a n d C a t a l y s t 550 0 / 50 0 0 M L S n e t w o r k s . T C N s i n t h e s e e n v i r o n m e n t s c a n c a u s e t h e s t a t i c C G M P C A M t a b l e e n t r i e s t o b e a g e d o u t , w h i c h r e s u l t s i n m u l t i c a s t p a c k e t l o s s u n t i l t h e n e x t I G M P r e p o r t , a n d / o r f l u s h M L S c a c h e e n t r i e s t h a t t h e n n e e d t o b e r e b u i l t a n d c o u l d r e s u l t i n a r o u t e r C P U s p i k e , d e p e n d i n g o n t h e s i z e o f t h e c a c h e . ( C a t a l y s t 650 0 / 60 0 0 M L S i m p l e m e n t a t i o n s a n d m u l t i c a s t e n t r i e s l e a r n e d f r o m I G M P s n o o p i n g a r e n o t a f f e c t e d .) R e com m e nda tion C i s c o r e c o m m e n d s t h a t S T P P o r t F a s t b e e n a b l e d f o r a l l a c t i v e h o s t p o r t s a n d d i s a b l e d f o r s w i t c h -s w i t c h l i n k s a n d p o r t s n o t i n u s e . T r u n k i n g a n d c h a n n e l i n g m u s t a l s o b e d i s a b l e d f o r a l l h o s t p o r t s . E a c h a c c e s s p o r t i s e n a b l e d b y d e f a u l t f o r t r u n k i n g a n d c h a n n e l i n g , y e t s w i t c h n e i g h b o r s a r e n o t e x p e c t e d b y d e s i g n o n h o s t p o r t s . I f t h e s e p r o t o c o l s a r e l e f t t o n e g o t i a t e , t h e s u b s e q u e n t d e l a y i n p o r t a c t i v a t i o n c a n l e a d t o u n d e s i r a b l e s i t u a t i o n s i n w h i c h i n i t i a l p a c k e t s f r o m w o r k s t a t i o n s , s u c h a s D H C P r e q u e s t s , a r e n o t f o r w a r d e d . C a t O S 5.2 i n t r o d u c e d a m a c r o c o m m a n d , s e t p ort h os t p o r t r ang e t h a t i m p l e m e n t s t h i s c o n f i g u r a t i o n f o r a c c e s s p o r t s a n d h e l p s a u t o n e g o t i a t i o n a n d c o n n e c t i o n p e r f o r m a n c e s i g n i f i c a n t l y :

set p or t host port range !--- M a c r o c o m m a n d f o r t h e s e c o m m a n d s : set sp an tr ee p or tf ast port range en ab l e set tr u n k port range of f set p or t chan n el port range mod e of f

N ote : P o r t F a s t d o e s n o t m e a n t h a t S p a n n i n g T r e e i s n o t r u n a t a l l o n t h o s e p o r t s . B P D U s a r e s t i l l s e n t , r e c e i v e d , a n d p r o c e s s e d . O th e r O p tions P o r t F a s t B P D U -g u a r d p r o v i d e s a w a y t o p r e v e n t l o o p s b y m o v i n g a n o n -t r u n k i n g p o r t i n t o a n e r r d i s a b l e s t a t e w h e n a B P D U i s r e c e i v e d o n t h a t p o r t . A B P D U p a c k e t m u s t n e v e r b e r e c e i v e d o n a n a c c e s s p o r t c o n f i g u r e d f o r P o r t F a s t , s i n c e h o s t p o r t s m u s t n o t b e a t t a c h e d t o s w i t c h e s . I f a B P D U i s o b s e r v e d , i t i n d i c a t e s a n i n v a l i d a n d p o s s i b l y d a n g e r o u s c o n f i g u r a t i o n t h a t n e e d s a d m i n i s t r a t i v e a c t i o n . W h e n t h e B P D U -g u a r d f e a t u r e i s e n a b l e d , S p a n n i n g T r e e

P a g e 31 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 32: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

s h u t s d o w n P o r t F a s t -c o n f i g u r e d i n t e r f a c e s t h a t r e c e i v e B P D U s i n s t e a d o f p u t t i n g t h e m i n t o t h e S T P b l o c k i n g s t a t e . T h e c o m m a n d w o r k s o n a p e r -s w i t c h b a s i s , n o t p e r -p o r t , a s s h o w n :

set sp an tr ee p or tf ast b p d u -g u ar d en ab l e

T h e n e t w o r k m a n a g e r i s n o t i f i e d b y a n S N M P t r a p o r s y s l o g m e s s a g e i f t h e p o r t g o e s d o w n . I t i s a l s o p o s s i b l e t o c o n f i g u r e a n a u t o m a t i c r e c o v e r y t i m e f o r e r r d i s a b l e d p o r t s . R e f e r t o t h e U D L D s e c t i o n o f t h i s d o c u m e n t f o r m o r e d e t a i l s . F o r m o r e i n f o r m a t i o n , r e f e r t o S p a n n i n g T r e e P o r t f a s t B P D U G u a r d E n h a n c e m e n t . N ote : P o r t F a s t f o r t r u n k p o r t s w a s i n t r o d u c e d i n C a t O S 7.x a n d h a s n o e f f e c t o n t r u n k p o r t s i n e a r l i e r r e l e a s e s . P o r t F a s t f o r t r u n k p o r t s i s d e s i g n e d t o i n c r e a s e c o n v e r g e n c e t i m e s f o r L 3 n e t w o r k s . T o c o m p l e m e n t t h i s f e a t u r e , C a t O S 7.x a l s o i n t r o d u c e d t h e p o s s i b i l i t y o f t h e c o n f i g u r a t i o n o f P o r t F a s t B P D U -g u a r d o n a p e r -p o r t b a s i s . U p l ink F a s t U p l i n k F a s t p r o v i d e s f a s t S T P c o n v e r g e n c e a f t e r a d i r e c t l i n k f a i l u r e i n t h e n e t w o r k a c c e s s l a y e r . I t d o e s n o t m o d i f y S T P , a n d i t s p u r p o s e i s t o s p e e d u p c o n v e r g e n c e t i m e i n a s p e c i f i c c i r c u m s t a n c e t o l e s s t h a n t h r e e s e c o n d s , r a t h e r t h a n t h e t y p i c a l 30 -s e c o n d d e l a y . R e f e r t o U n d e r s t a n d i n g a n d C o n f i g u r i n g t h e C i s c o U p l i n k F a s t F e a t u r e f o r m o r e i n f o r m a t i o n . O p e ra tiona l O v e rv ie w U s i n g t h e C i s c o m u l t i l a y e r d e s i g n m o d e l a t t h e a c c e s s l a y e r , i f t h e f o r w a r d i n g u p l i n k i s l o s t , t h e b l o c k i n g u p l i n k i s i m m e d i a t e l y m o v e d t o a f o r w a r d i n g s t a t e w i t h o u t w a i t i n g f o r l i s t e n i n g a n d l e a r n i n g s t a t e s . A n u p l i n k g r o u p i s a s e t o f p o r t s p e r V L A N t h a t c a n b e t h o u g h t o f a s a r o o t p o r t a n d b a c k u p r o o t p o r t . U n d e r n o r m a l c o n d i t i o n s , t h e r o o t p o r t ( s ) a r e a s s u r i n g c o n n e c t i v i t y f r o m t h e a c c e s s t o w a r d t h e r o o t . I f t h i s p r i m a r y r o o t -c o n n e c t i o n f a i l s f o r a n y r e a s o n , t h e b a c k u p r o o t l i n k k i c k s i n i m m e d i a t e l y w i t h o u t h a v i n g t o g o t h r o u g h t y p i c a l 30 s e c o n d s o f c o n v e r g e n c e d e l a y . B e c a u s e t h i s e f f e c t i v e l y b y p a s s e s t h e n o r m a l S T P t o p o l o g y c h a n g e -h a n d l i n g p r o c e s s ( l i s t e n i n g a n d l e a r n i n g ) , a n a l t e r n a t e t o p o l o g y c o r r e c t i o n m e c h a n i s m i s n e e d e d i n o r d e r t o u p d a t e s w i t c h e s i n t h e d o m a i n t h a t l o c a l e n d s t a t i o n s a r e r e a c h a b l e t h r o u g h a n a l t e r n a t e p a t h . T h e a c c e s s l a y e r s w i t c h r u n n i n g U p l i n k F a s t a l s o g e n e r a t e s f r a m e s f o r e a c h M A C a d d r e s s i n i t s C A M t o a m u l t i c a s t M A C a d d r e s s ( 0 1-0 0 -0 c -c d -c d -c d , H D L C p r o t o c o l 0 x 20 0 a ) t o u p d a t e t h e C A M t a b l e i n a l l s w i t c h e s i n t h e d o m a i n w i t h t h e n e w t o p o l o g y . R e com m e nda tion C i s c o r e c o m m e n d s t h a t U p l i n k F a s t b e e n a b l e d f o r s w i t c h e s w i t h b l o c k e d p o r t s , t y p i c a l l y a t t h e a c c e s s l a y e r . D o n o t u s e o n s w i t c h e s w i t h o u t t h e i m p l i e d t o p o l o g y k n o w l e d g e o f a b a c k u p r o o t l i n k - t y p i c a l l y d i s t r i b u t i o n a n d c o r e s w i t c h e s i n t h e C i s c o m u l t i l a y e r d e s i g n . I t c a n b e a d d e d w i t h o u t d i s r u p t i o n t o a p r o d u c t i o n n e t w o r k . I s s u e t h i s c o m m a n d i n o r d e r t o e n a b l e U p l i n k F a s t :

set sp an tr ee u p l i n k f ast en ab l e

P a g e 32 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 33: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

T h i s c o m m a n d a l s o s e t s t h e b ridg e p riority h i g h i n o r d e r t o m i n i m i z e t h e r i s k o f t h i s b e c o m i n g a r o o t b r i d g e a n d t h e p ort p riority h i g h t o m i n i m i z e b e c o m i n g a d e s i g n a t e d p o r t , w h i c h b r e a k s t h e f u n c t i o n a l i t y . W h e n y o u r e s t o r e a s w i t c h t h a t h a d U p l i n k F a s t e n a b l e d , t h e f e a t u r e h a s t o b e d i s a b l e d , t h e u p l i n k d a t a b a s e c l e a r e d w i t h " c l e a r u p l i n k ," a n d t h e b r i d g e p r i o r i t i e s r e s t o r e d m a n u a l l y . N ote : T h e a l l p rotocol s k e y w o r d f o r t h e U p l i n k F a s t c o m m a n d i s n e e d e d w h e n t h e p r o t o c o l f i l t e r i n g f e a t u r e i s e n a b l e d . A s t h e C A M r e c o r d s t h e p r o t o c o l t y p e a s w e l l a s M A C a n d V L A N i n f o r m a t i o n w h e n p r o t o c o l f i l t e r i n g i s e n a b l e d , a n U p l i n k F a s t f r a m e n e e d s t o b e g e n e r a t e d f o r e a c h p r o t o c o l o n e a c h M A C a d d r e s s . T h e ra te k e y w o r d i n d i c a t e s t h e p a c k e t s p e r s e c o n d o f t h e u p l i n k f a s t t o p o l o g y u p d a t e f r a m e s . T h e d e f a u l t i s r e c o m m e n d e d . Y o u d o n o t n e e d t o c o n f i g u r e B a c k b o n e F a s t w i t h R a p i d S T P ( R S T P ) o r I E E E 80 2.1w b e c a u s e t h e m e c h a n i s m i s n a t i v e l y i n c l u d e d a n d a u t o m a t i c a l l y e n a b l e d i n R S T P . B a ck b one F a s t B a c k b o n e F a s t p r o v i d e s r a p i d c o n v e r g e n c e f r o m i n d i r e c t l i n k f a i l u r e s . W i t h t h e a d d e d f u n c t i o n a l i t y t o S T P , c o n v e r g e n c e t i m e s c a n t y p i c a l l y b e r e d u c e d f r o m t h e d e f a u l t o f 50 s e c o n d s t o 30 s e c o n d s . O p e ra tiona l O v e rv ie w T h e m e c h a n i s m i s i n i t i a t e d w h e n a r o o t p o r t o r b l o c k e d p o r t o n a s w i t c h r e c e i v e s i n f e r i o r B P D U s f r o m i t s d e s i g n a t e d b r i d g e . T h i s c a n h a p p e n w h e n a d o w n s t r e a m s w i t c h h a s l o s t i t s c o n n e c t i o n t o t h e r o o t a n d s t a r t s t o s e n d i t s o w n B P D U s i n o r d e r t o e l e c t a n e w r o o t . A n inf e rior B P D U i d e n t i f i e s a s w i t c h a s b o t h t h e r o o t b r i d g e a n d t h e d e s i g n a t e d b r i d g e . U n d e r n o r m a l S p a n n i n g T r e e r u l e s , t h e r e c e i v i n g s w i t c h i g n o r e s i n f e r i o r B P D U s f o r t h e c o n f i g u r e d m a x i m u m a g i n g t i m e , 20 s e c o n d s b y d e f a u l t . H o w e v e r , w i t h B a c k b o n e F a s t , t h e s w i t c h s e e s t h e i n f e r i o r B P D U a s a s i g n a l t h a t t h e t o p o l o g y c o u l d h a v e c h a n g e d , a n d t r i e s t o d e t e r m i n e w h e t h e r i t h a s a n a l t e r n a t e p a t h t o t h e r o o t b r i d g e u s i n g R o o t L i n k Q u e r y ( R L Q ) B P D U s . T h i s p r o t o c o l a d d i t i o n a l l o w s a s w i t c h t o c h e c k w h e t h e r t h e r o o t i s s t i l l a v a i l a b l e , m o v e s a b l o c k e d p o r t t o f o r w a r d i n g i n l e s s t i m e , a n d n o t i f i e s t h e i s o l a t e d s w i t c h t h a t s e n t t h e i n f e r i o r B P D U t h a t t h e r o o t i s s t i l l t h e r e . T h e s e a r e s o m e h i g h l i g h t s o f t h e p r o t o c o l o p e r a t i o n :

� A s w i t c h t r a n s m i t s t h e R L Q p a c k e t o u t t h e r o o t p o r t o n l y ( t h a t i s , t o w a r d s t h e r o o t b r i d g e ) . � A s w i t c h t h a t r e c e i v e s a R L Q c a n r e p l y e i t h e r i f i t i s t h e r o o t s w i t c h , o r i f i t k n o w s i t h a s l o s t c o n n e c t i o n w i t h t h e r o o t . I f i t d o e s n o t k n o w t h e s e f a c t s , i t m u s t f o r w a r d t h e q u e r y o u t i t s r o o t p o r t .

� I f a s w i t c h h a s l o s t c o n n e c t i o n t o t h e r o o t , i t m u s t r e p l y i n t h e n e g a t i v e t o t h i s q u e r y . � T h e r e p l y m u s t b e s e n t o u t o n l y t h e p o r t f r o m w h i c h t h e q u e r y c a m e . � T h e r o o t s w i t c h m u s t a l w a y s r e s p o n d t o t h i s q u e r y w i t h a p o s i t i v e r e p l y . � I f t h e r e p l y i s r e c e i v e d o n a n o n -r o o t p o r t , i t i s d i s c a r d e d .

S T P c o n v e r g e n c e t i m e s c a n t h e r e f o r e b e r e d u c e d b y u p t o 20 s e c o n d s , a s m a x a g e d o e s n o t n e e d t o e x p i r e .

P a g e 33 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 34: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

R e f e r t o U n d e r s t a n d i n g a n d C o n f i g u r i n g B a c k b o n e F a s t o n C a t a l y s t S w i t c h e s f o r m o r e i n f o r m a t i o n . R e com m e nda tion T h e C i s c o r e c o m m e n d a t i o n i s t o e n a b l e B a c k b o n e F a s t o n a l l s w i t c h e s r u n n i n g S T P . I t c a n b e a d d e d w i t h o u t d i s r u p t i o n t o a p r o d u c t i o n n e t w o r k . I s s u e t h i s c o m m a n d i n o r d e r t o e n a b l e B a c k b o n e F a s t :

set sp an tr ee b ack b on ef ast en ab l e

N ote : T h i s g l o b a l l e v e l c o m m a n d n e e d s t o b e c o n f i g u r e d o n a l l s w i t c h e s i n a d o m a i n a s i t a d d s f u n c t i o n a l i t y t o t h e S T P p r o t o c o l t h a t a l l s w i t c h e s n e e d t o u n d e r s t a n d . O th e r O p tions B a c k b o n e F a s t i s n o t s u p p o r t e d o n 290 0 X L s a n d 350 0 s . I t m u s t n o t b e e n a b l e d i f t h e s w i t c h d o m a i n c o n t a i n s t h e s e s w i t c h e s i n a d d i t i o n t o C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 s w i t c h e s . Y o u d o n o t n e e d t o c o n f i g u r e B a c k b o n e F a s t w i t h R S T P o r I E E E 80 2.1w b e c a u s e t h e m e c h a n i s m i s n a t i v e l y i n c l u d e d a n d a u t o m a t i c a l l y e n a b l e d i n R S T P . S p a nning T re e L oop G ua rd L o o p g u a r d i s a C i s c o p r o p r i e t a r y o p t i m i z a t i o n f o r S T P . L o o p g u a r d p r o t e c t s L 2 n e t w o r k s f r o m l o o p s t h a t a r e c a u s e d b y :

� N e t w o r k i n t e r f a c e s t h a t m a l f u n c t i o n � B u s y C P U s � A n y t h i n g t h a t p r e v e n t s t h e n o r m a l f o r w a r d i n g o f B P D U s

A n S T P l o o p o c c u r s w h e n a b l o c k i n g p o r t i n a r e d u n d a n t t o p o l o g y e r r o n e o u s l y t r a n s i t i o n s t o t h e f o r w a r d i n g s t a t e . T h i s t r a n s i t i o n u s u a l l y h a p p e n s b e c a u s e o n e o f t h e p o r t s i n a p h y s i c a l l y r e d u n d a n t t o p o l o g y ( n o t n e c e s s a r i l y t h e b l o c k i n g p o r t ) c e a s e s t o r e c e i v e B P D U s . L o o p g u a r d i s o n l y u s e f u l i n s w i t c h e d n e t w o r k s w h e r e s w i t c h e s a r e c o n n e c t e d b y p o i n t -t o -p o i n t l i n k s . M o s t m o d e r n c a m p u s a n d d a t a c e n t e r n e t w o r k s a r e t h e s e t y p e s o f n e t w o r k s . O n a p o i n t -t o -p o i n t l i n k , a d e s i g n a t e d b r i d g e c a n n o t d i s a p p e a r u n l e s s i t s e n d s a n i n f e r i o r B P D U o r b r i n g s t h e l i n k d o w n . T h e S T P l o o p g u a r d f e a t u r e w a s i n t r o d u c e d i n C a t O S v e r s i o n 6.2( 1) f o r C a t a l y s t 40 0 0 a n d C a t a l y s t 50 0 0 p l a t f o r m s , a n d i n v e r s i o n 6.2( 2) f o r t h e C a t a l y s t 60 0 0 p l a t f o r m . R e f e r t o S p a n n i n g -T r e e P r o t o c o l E n h a n c e m e n t s u s i n g L o o p G u a r d a n d B P D U S k e w D e t e c t i o n F e a t u r e s f o r m o r e i n f o r m a t i o n o n l o o p g u a r d . O p e ra tiona l O v e rv ie w L o o p g u a r d c h e c k s t o d e t e r m i n e i f a r o o t p o r t o r a n a l t e r n a t e / b a c k u p r o o t p o r t r e c e i v e s B P D U s . I f t h e p o r t d o e s n o t r e c e i v e B P D U s , l o o p g u a r d p u t s t h e p o r t i n t o a n i n c o n s i s t e n t s t a t e ( b l o c k i n g ) u n t i l t h e p o r t s t a r t s t o r e c e i v e B P D U s a g a i n . A p o r t i n t h e i n c o n s i s t e n t s t a t e d o e s n o t t r a n s m i t B P D U s . I f s u c h a p o r t r e c e i v e s B P D U s a g a i n , t h e p o r t ( a n d l i n k ) i s d e e m e d v i a b l e a g a i n . T h e l o o p -i n c o n s i s t e n t c o n d i t i o n i s

P a g e 34 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 35: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

r e m o v e d f r o m t h e p o r t , a n d t h e S T P d e t e r m i n e s t h e p o r t s t a t e b e c a u s e s u c h r e c o v e r y i s a u t o m a t i c . L o o p g u a r d i s o l a t e s t h e f a i l u r e a n d l e t s s p a n n i n g t r e e c o n v e r g e t o a s t a b l e t o p o l o g y w i t h o u t t h e f a i l e d l i n k o r b r i d g e . L o o p g u a r d p r e v e n t s S T P l o o p s w i t h t h e s p e e d o f t h e S T P v e r s i o n i n u s e . T h e r e i s n o d e p e n d e n c y o n S T P i t s e l f ( 80 2.1d o r 80 2.1w ) o r w h e n t h e S T P t i m e r s a r e t u n e d . F o r t h e s e r e a s o n s , i m p l e m e n t l o o p g u a r d i n c o n j u n c t i o n w i t h U D L D i n t o p o l o g i e s t h a t r e l y o n S T P a n d w h e r e t h e s o f t w a r e s u p p o r t s t h e f e a t u r e s . W h e n t h e l o o p g u a r d b l o c k s a n i n c o n s i s t e n t p o r t , t h i s m e s s a g e i s l o g g e d :

% S P A N T R E E -2-R O O T G U A R D B L O C K : P o r t 1/ 1 t r i e d t o b e c o m e n o n -d e s i g n a t e d i n V L A N 7 7 . M o v e d t o r o o t -i n c o n s i s t e n t s t a t e .

W h e n t h e B P D U i s r e c e i v e d o n a p o r t i n a l o o p -i n c o n s i s t e n t S T P s t a t e , t h e p o r t t r a n s i t i o n s i n t o a n o t h e r S T P s t a t e . I n a c c o r d a n c e w i t h t h e r e c e i v e d B P D U , t h e r e c o v e r y i s a u t o m a t i c , a n d n o i n t e r v e n t i o n i s n e c e s s a r y . A f t e r t h e r e c o v e r y , t h i s m e s s a g e i s l o g g e d .

S P A N T R E E -2-L O O P G U A R D U N B L O C K : p o r t 3/ 2 r e s t o r e d i n v l a n 3.

Inte ra ction w ith O th e r S T P F e a ture s � R oot g ua rd R o o t g u a r d f o r c e s a p o r t t o b e d e s i g n a t e d a l w a y s . L o o p g u a r d i s e f f e c t i v e o n l y i f t h e p o r t i s t h e r o o t p o r t o r a n a l t e r n a t e p o r t . T h e s e f u n c t i o n s a r e m u t u a l l y e x c l u s i v e . L o o p g u a r d a n d r o o t g u a r d c a n n o t b e e n a b l e d o n a p o r t a t t h e s a m e t i m e .

� U p l ink F a s t L o o p g u a r d i s c o m p a t i b l e w i t h U p l i n k F a s t . I f l o o p g u a r d p u t s a r o o t p o r t i n t o a b l o c k i n g s t a t e , U p l i n k F a s t p u t s a n e w r o o t p o r t i n t o f o r w a r d i n g s t a t e . A l s o , U p l i n k F a s t d o e s n o t s e l e c t a l o o p -i n c o n s i s t e n t p o r t a s a r o o t p o r t .

� B a ck b one F a s t L o o p g u a r d i s c o m p a t i b l e w i t h B a c k b o n e F a s t . T h e r e c e p t i o n o f a n i n f e r i o r B P D U t h a t c o m e s f r o m a d e s i g n a t e d b r i d g e t r i g g e r s B a c k b o n e F a s t . B e c a u s e B P D U s a r e r e c e i v e d f r o m t h i s l i n k , l o o p g u a r d i s n o t a c t i v a t e d , s o B a c k b o n e F a s t a n d l o o p g u a r d a r e c o m p a t i b l e .

� P ortF a s t P o r t F a s t t r a n s i t i o n s a p o r t i n t o t h e f o r w a r d i n g d e s i g n a t e d s t a t e i m m e d i a t e l y u p o n l i n k u p . B e c a u s e a P o r t F a s t -e n a b l e d p o r t c a n n o t b e a r o o t o r a l t e r n a t e p o r t , l o o p g u a r d a n d P o r t F a s t a r e m u t u a l l y e x c l u s i v e .

� P A g P L o o p g u a r d u s e s t h e p o r t s t h a t a r e k n o w n t o S T P . T h e r e f o r e , l o o p g u a r d c a n t a k e a d v a n t a g e o f t h e a b s t r a c t i o n o f l o g i c a l p o r t s t h a t P A g P p r o v i d e s . H o w e v e r , i n o r d e r t o f o r m a c h a n n e l , a l l t h e p h y s i c a l p o r t s t h a t a r e g r o u p e d i n t h e c h a n n e l m u s t h a v e c o m p a t i b l e c o n f i g u r a t i o n s . P A g P

P a g e 35 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 36: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

e n f o r c e s t h e u n i f o r m c o n f i g u r a t i o n o f l o o p g u a r d o n a l l t h e p h y s i c a l p o r t s t o f o r m a c h a n n e l . N ote : T h e s e a r e c a v e a t s w h e n y o u c o n f i g u r e l o o p g u a r d o n a n E t h e r C h a n n e l :

� S T P a l w a y s p i c k s t h e f i r s t o p e r a t i o n a l p o r t i n t h e c h a n n e l i n o r d e r t o s e n d t h e B P D U s . I f t h a t l i n k b e c o m e s u n i d i r e c t i o n a l , l o o p g u a r d b l o c k s t h e c h a n n e l , e v e n i f o t h e r l i n k s i n t h e c h a n n e l f u n c t i o n p r o p e r l y .

� I f p o r t s w h i c h a r e a l r e a d y b l o c k e d b y l o o p g u a r d a r e g r o u p e d t o g e t h e r i n o r d e r t o f o r m a c h a n n e l , S T P l o s e s a l l t h e s t a t e i n f o r m a t i o n f o r t h o s e p o r t s . T h e n e w c h a n n e l p o r t c a n a t t a i n t h e f o r w a r d i n g s t a t e w i t h a d e s i g n a t e d r o l e .

� I f a c h a n n e l i s b l o c k e d b y l o o p g u a r d a n d t h e c h a n n e l b r e a k s , S T P l o s e s a l l t h e s t a t e i n f o r m a t i o n . T h e i n d i v i d u a l p h y s i c a l p o r t s c a n a t t a i n t h e f o r w a r d i n g s t a t e w i t h d e s i g n a t e d r o l e , e v e n i f o n e o r m o r e o f t h e l i n k s t h a t f o r m e d t h e c h a n n e l a r e u n i d i r e c t i o n a l .

I n t h e l a s t t w o c a s e s i n t h i s l i s t , t h e r e i s a p o s s i b i l i t y o f a l o o p u n t i l U D L D d e t e c t s t h e f a i l u r e . B u t l o o p g u a r d i s n o t a b l e t o d e t e c t t h e l o o p .

L oop G ua rd a nd U D L D F e a ture C om p a ris on L o o p g u a r d f u n c t i o n a l i t y a n d U D L D f u n c t i o n a l i t y p a r t i a l l y o v e r l a p . B o t h p r o t e c t a g a i n s t S T P f a i l u r e s t h a t u n i d i r e c t i o n a l l i n k s c a u s e . B u t t h e s e t w o f e a t u r e s a r e d i f f e r e n t i n t h e a p p r o a c h t o t h e p r o b l e m a n d a l s o i n f u n c t i o n a l i t y . S p e c i f i c a l l y , t h e r e a r e c e r t a i n u n i d i r e c t i o n a l f a i l u r e s t h a t U D L D c a n n o t d e t e c t , s u c h a s f a i l u r e s t h a t a r e c a u s e d b y a C P U t h a t d o e s n o t s e n d B P D U s . A d d i t i o n a l l y , t h e u s e o f a g g r e s s i v e S T P t i m e r s a n d R S T P m o d e c a n r e s u l t i n l o o p s b e f o r e U D L D c a n d e t e c t t h e f a i l u r e s . L o o p g u a r d d o e s n o t w o r k o n s h a r e d l i n k s o r i n s i t u a t i o n s i n w h i c h t h e l i n k h a s b e e n u n i d i r e c t i o n a l s i n c e t h e l i n k u p . I n t h e c a s e t h a t t h e l i n k h a s b e e n u n i d i r e c t i o n a l s i n c e t h e l i n k u p , t h e p o r t n e v e r r e c e i v e s B P D U s a n d b e c o m e s d e s i g n a t e d . T h i s b e h a v i o r c a n b e n o r m a l , s o l o o p g u a r d d o e s n o t c o v e r t h i s p a r t i c u l a r c a s e . U D L D d o e s p r o v i d e p r o t e c t i o n a g a i n s t s u c h a s c e n a r i o . E n a b l e b o t h U D L D a n d l o o p g u a r d i n o r d e r t o p r o v i d e t h e h i g h e s t l e v e l o f p r o t e c t i o n . R e f e r t o t h e L o o p G u ar d vs . U ni d i r e c t i o nal L i nk D e t e c t i o n s e c t i o n o f S p a n n i n g -T r e e P r o t o c o l E n h a n c e m e n t s u s i n g L o o p G u a r d a n d B P D U S k e w D e t e c t i o n F e a t u r e s f o r a l o o p g u a r d a n d U D L D f e a t u r e c o m p a r i s o n ,. R e com m e nda tion C i s c o r e c o m m e n d s t h a t y o u e n a b l e l o o p g u a r d g l o b a l l y o n a s w i t c h n e t w o r k w i t h p h y s i c a l l o o p s . I n v e r s i o n 7.1( 1) o f t h e C a t a l y s t s o f t w a r e a n d l a t e r , y o u c a n e n a b l e l o o p g u a r d g l o b a l l y o n a l l p o r t s . E f f e c t i v e l y , t h e f e a t u r e i s e n a b l e d o n a l l p o i n t -t o -p o i n t l i n k s . T h e d u p l e x s t a t u s o f t h e l i n k d e t e c t s t h e p o i n t -t o -p o i n t l i n k . I f d u p l e x i s f u l l , t h e l i n k i s c o n s i d e r e d p o i n t -t o -p o i n t . I s s u e t h i s c o m m a n d i n o r d e r t o e n a b l e g l o b a l l o o p g u a r d :

set sp an tr ee g l ob al -d ef au l t l oop g u ar d en ab l e

O th e r O p tions F o r s w i t c h e s t h a t d o n o t s u p p o r t g l o b a l l o o p g u a r d c o n f i g u r a t i o n , e n a b l e t h e f e a t u r e o n a l l i n d i v i d u a l p o r t s , w h i c h i n c l u d e s p o r t c h a n n e l p o r t s . A l t h o u g h t h e r e a r e n o b e n e f i t s t o e n a b l e m e n t o f l o o p g u a r d o n

P a g e 36 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 37: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

a d e s i g n a t e d p o r t , t h i s e n a b l e m e n t i s n o t a n i s s u e . I n a d d i t i o n , a v a l i d s p a n n i n g t r e e r e c o n v e r g e n c e c a n a c t u a l l y t u r n a d e s i g n a t e d p o r t i n t o a r o o t p o r t , w h i c h r e n d e r s t h e f e a t u r e u s e f u l o n t h i s p o r t . I s s u e t h i s c o m m a n d i n o r d e r t o e n a b l e l o o p g u a r d :

set sp an tr ee g u ar d l oop m od /port

N e t w o r k s w i t h l o o p -f r e e t o p o l o g i e s c a n s t i l l b e n e f i t f r o m l o o p g u a r d i n t h e c a s e t h a t l o o p s a r e i n t r o d u c e d a c c i d e n t a l l y . H o w e v e r , e n a b l e m e n t o f l o o p g u a r d i n t h i s t y p e o f t o p o l o g y c a n l e a d t o n e t w o r k i s o l a t i o n p r o b l e m s . I n o r d e r t o b u i l d l o o p -f r e e t o p o l o g i e s a n d a v o i d n e t w o r k i s o l a t i o n p r o b l e m s , i s s u e t h e s e c o m m a n d s t o d i s a b l e l o o p g u a r d g l o b a l l y o r i n d i v i d u a l l y . D o n o t e n a b l e l o o p g u a r d o n s h a r e d l i n k s .

� set sp an tr ee g l ob al -d ef au l t l oop g u ar d d i sab l e !--- T h i s i s t h e g l o b a l d e f a u l t .

o r � set sp an tr ee g u ar d n on e m od /port

!--- T h i s i s t h e d e f a u l t p o r t c o n f i g u r a t i o n .

S p a nning T re e R oot G ua rd T h e r o o t g u a r d f e a t u r e p r o v i d e s a w a y t o e n f o r c e t h e r o o t b r i d g e p l a c e m e n t i n t h e n e t w o r k . R o o t g u a r d e n s u r e s t h a t t h e p o r t o n w h i c h r o o t g u a r d i s e n a b l e d i s t h e d e s i g n a t e d p o r t . N o r m a l l y , r o o t b r i d g e p o r t s a r e a l l d e s i g n a t e d p o r t s , u n l e s s t w o o r m o r e p o r t s o f t h e r o o t b r i d g e a r e c o n n e c t e d t o g e t h e r . I f t h e b r i d g e r e c e i v e s s u p e r i o r S T P B P D U s o n a r o o t g u a r d -e n a b l e d p o r t , t h e b r i d g e m o v e s t h i s p o r t t o a r o o t -i n c o n s i s t e n t S T P s t a t e . T h i s r o o t -i n c o n s i s t e n t s t a t e i s e f f e c t i v e l y e q u a l t o a l i s t e n i n g s t a t e . N o t r a f f i c i s f o r w a r d e d a c r o s s t h i s p o r t . I n t h i s w a y , r o o t g u a r d e n f o r c e s t h e p o s i t i o n o f t h e r o o t b r i d g e . R o o t g u a r d i s a v a i l a b l e i n C a t O S f o r C a t a l y s t 29x x , 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 i n s o f t w a r e v e r s i o n 6.1.1 a n d l a t e r . O p e ra tiona l O v e rv ie w R o o t g u a r d i s a n S T P b u i l t -i n m e c h a n i s m . R o o t g u a r d d o e s n o t h a v e a t i m e r o f i t s o w n , a n d i t r e l i e s o n t h e r e c e p t i o n o f B P D U o n l y . W h e n r o o t g u a r d i s a p p l i e d t o a p o r t , r o o t g u a r d d o e s n o t a l l o w a p o r t t o b e c o m e a r o o t p o r t . I f r e c e p t i o n o f a B P D U t r i g g e r s a s p a n n i n g t r e e c o n v e r g e n c e t h a t m a k e s a d e s i g n a t e d p o r t b e c o m e a r o o t p o r t , t h e p o r t i s p u t i n t o a r o o t -i n c o n s i s t e n t s t a t e . T h i s s y s l o g m e s s a g e s h o w s t h e a c t i o n :

% S P A N T R E E -2-R O O T G U A R D B L O C K : P o r t 1/ 1 t r i e d t o b e c o m e n o n -d e s i g n a t e d i n V L A N 7 7 . M o v e d t o r o o t -i n c o n s i s t e n t s t a t e

A f t e r t h e p o r t c e a s e s t o s e n d s u p e r i o r B P D U s , t h e p o r t i s u n b l o c k e d a g a i n . T h r o u g h S T P , t h e p o r t g o e s f r o m t h e l i s t e n i n g s t a t e t o t h e l e a r n i n g s t a t e , a n d e v e n t u a l l y t r a n s i t i o n s t o t h e f o r w a r d i n g s t a t e . R e c o v e r y i s a u t o m a t i c , a n d n o h u m a n i n t e r v e n t i o n i s n e c e s s a r y . T h i s s y s l o g m e s s a g e p r o v i d e s a n e x a m p l e :

P a g e 37 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 38: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

% S P A N T R E E -2-R O O T G U A R D U N B L O C K : P o r t 1/ 1 r e s t o r e d i n V L A N 7 7

R o o t g u a r d f o r c e s a p o r t t o b e d e s i g n a t e d a n d l o o p g u a r d i s e f f e c t i v e o n l y i f t h e p o r t i s t h e r o o t p o r t o r a n a l t e r n a t e p o r t . T h e r e f o r e , t h e t w o f u n c t i o n s a r e m u t u a l l y e x c l u s i v e . L o o p g u a r d a n d r o o t g u a r d c a n n o t b e e n a b l e d o n a p o r t a t t h e s a m e t i m e . R e f e r t o S p a n n i n g T r e e P r o t o c o l R o o t G u a r d E n h a n c e m e n t f o r m o r e i n f o r m a t i o n . R e com m e nda tion C i s c o r e c o m m e n d s t h a t y o u e n a b l e t h e r o o t g u a r d f e a t u r e o n p o r t s t h a t c o n n e c t t o n e t w o r k d e v i c e s t h a t a r e n o t u n d e r d i r e c t a d m i n i s t r a t i v e c o n t r o l . I n o r d e r t o c o n f i g u r e r o o t g u a r d , i s s u e t h i s c o m m a n d :

set sp an tr ee g u ar d r oot m od /port

E th erC h a nnel E t h e r C h a n n e l t e c h n o l o g i e s a l l o w t h e i n v e r s e m u l t i p l e x i n g o f m u l t i p l e c h a n n e l s ( u p t o e i g h t o n C a t a l y s t 650 0 / 60 0 0 ) i n t o a s i n g l e l o g i c a l l i n k . A l t h o u g h e a c h p l a t f o r m d i f f e r s f r o m t h e n e x t i n i m p l e m e n t a t i o n , i t i s i m p o r t a n t t o u n d e r s t a n d t h e c o m m o n r e q u i r e m e n t s :

� A n a l g o r i t h m t o s t a t i s t i c a l l y m u l t i p l e x f r a m e s o v e r m u l t i p l e c h a n n e l s � C r e a t i o n o f a l o g i c a l p o r t s o t h a t a s i n g l e i n s t a n c e o f S T P c a n b e r u n � A c h a n n e l m a n a g e m e n t p r o t o c o l s u c h a s P A g P o r L i n k A g g r e g a t i o n C o n t r o l P r o t o c o l ( L A C P )

F ra m e M ul tip l e x ing E t h e r C h a n n e l e n c o m p a s s e s a f r a m e d i s t r i b u t i o n a l g o r i t h m t h a t e f f i c i e n t l y m u l t i p l e x e s f r a m e s a c r o s s t h e c o m p o n e n t 10 / 10 0 o r g i g a b i t l i n k s . D i f f e r e n c e s i n a l g o r i t h m s p e r p l a t f o r m a r i s e f r o m t h e c a p a b i l i t y o f e a c h t y p e o f h a r d w a r e t o e x t r a c t f r a m e h e a d e r i n f o r m a t i o n i n o r d e r t o m a k e t h e d i s t r i b u t i o n d e c i s i o n . T h e l o a d d i s t r i b u t i o n a l g o r i t h m i s a g l o b a l o p t i o n f o r b o t h c h a n n e l -c o n t r o l p r o t o c o l s . P A g P a n d L A C P u s e t h e f r a m e d i s t r i b u t i o n a l g o r i t h m b e c a u s e t h e I E E E s t a n d a r d d o e s n o t m a n d a t e a n y p a r t i c u l a r d i s t r i b u t i o n a l g o r i t h m s . H o w e v e r , a n y d i s t r i b u t i o n a l g o r i t h m e n s u r e s t h a t , w h e n f r a m e s a r e r e c e i v e d , t h e a l g o r i t h m d o e s n o t c a u s e t h e m i s o r d e r i n g o f f r a m e s t h a t a r e p a r t o f a n y g i v e n c o n v e r s a t i o n o r d u p l i c a t i o n o f f r a m e s . N ote : T h i s i n f o r m a t i o n m u s t b e c o n s i d e r e d :

� T h e C a t a l y s t 650 0 / 60 0 0 h a s m o r e r e c e n t s w i t c h i n g h a r d w a r e t h a n t h e C a t a l y s t 550 0 / 50 0 0 a n d c a n r e a d I P L a y e r 4 ( L 4) i n f o r m a t i o n a t w i r e r a t e i n o r d e r t o m a k e a m o r e i n t e l l i g e n t m u l t i p l e x i n g d e c i s i o n t h a n s i m p l e M A C L 2 i n f o r m a t i o n .

� T h e C a t a l y s t 550 0 / 50 0 0 c a p a b i l i t i e s d e p e n d o n t h e p r e s e n c e o f a n E t h e r n e t B u n d l i n g C h i p ( E B C ) o n t h e m o d u l e . T h e s h ow p ort ca p a b il itie s mo d / p o r t c o m m a n d c o n f i r m s w h a t i s p o s s i b l e f o r e a c h p o r t .

P a g e 38 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 39: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

R e f e r t o t h i s t a b l e , w h i c h i l l u s t r a t e s t h e f r a m e d i s t r i b u t i o n a l g o r i t h m i n d e t a i l f o r e a c h l i s t e d p l a t f o r m :

1 F E C = F a s t E t h e r C h a n n e l

P l a tf orm C h a nne l L oa d B a l a ncing A l g orith m

C a t a l y s t 550 0 / 50 0 0 S e r i e s

A C a t a l y s t 550 0 / 50 0 0 w i t h t h e n e c e s s a r y m o d u l e s a l l o w s t w o t o f o u r l i n k s t o b e p r e s e n t p e r F E C 1, t h o u g h t h e y m u s t b e o n t h e s a m e m o d u l e . S o u r c e a n d d e s t i n a t i o n M A C a d d r e s s p a i r s d e t e r m i n e t h e l i n k c h o s e n f o r f r a m e f o r w a r d i n g . A n X -O R o p e r a t i o n i s p e r f o r m e d o n t h e l e a s t s i g n i f i c a n t t w o b i t s o f t h e s o u r c e M A C a d d r e s s a n d t h e d e s t i n a t i o n M A C a d d r e s s . T h i s o p e r a t i o n y i e l d s o n e o f f o u r r e s u l t s : ( 0 0 ) , ( 0 1) , ( 1 0 ) , o r ( 1 1) . E a c h o f t h e s e v a l u e s p o i n t s t o a l i n k i n t h e F E C b u n d l e . I n t h e c a s e o f a t w o -p o r t F a s t E t h e r C h a n n e l , o n l y a s i n g l e b i t i s u s e d i n t h e X -O R o p e r a t i o n . C i r c u m s t a n c e s c a n o c c u r w h e r e o n e a d d r e s s i n t h e s o u r c e / d e s t i n a t i o n p a i r i s a c o n s t a n t . F o r e x a m p l e , t h e d e s t i n a t i o n c a n b e a s e r v e r o r , e v e n m o r e l i k e l y , a r o u t e r . I n t h a t c a s e , s t a t i s t i c a l l o a d b a l a n c i n g i s s e e n b e c a u s e t h e s o u r c e a d d r e s s i s a l w a y s d i f f e r e n t .

C a t a l y s t 450 0 / 40 0 0 S e r i e s

C a t a l y s t 450 0 / 40 0 0 E t h e r C h a n n e l d i s t r i b u t e s f r a m e s a c r o s s t h e l i n k s i n a c h a n n e l ( o n a s i n g l e m o d u l e ) b a s e d o n t h e l o w -o r d e r b i t s o f t h e s o u r c e a n d d e s t i n a t i o n M A C a d d r e s s e s o f e a c h f r a m e . I n c o m p a r i s o n w i t h t h e C a t a l y s t 550 0 / 50 0 0 , t h e a l g o r i t h m i s m o r e i n v o l v e d a n d u s e s a d e t e r m i n i s t i c h a s h o f t h e s e f i e l d s o f t h e M A C D A ( b y t e s 3, 5, 6) , S A ( b y t e s 3, 5, 6) , i n g r e s s p o r t , a n d V L A N I D . T h e f r a m e d i s t r i b u t i o n m e t h o d i s n o t c o n f i g u r a b l e .

C a t a l y s t 650 0 / 60 0 0 S e r i e s

T h e r e a r e t w o p o s s i b l e h a s h i n g a l g o r i t h m s , d e p e n d i n g o n t h e S u p e r v i s o r E n g i n e h a r d w a r e . T h e h a s h i s a s e v e n t e e n t h d e g r e e p o l y n o m i a l i m p l e m e n t e d i n h a r d w a r e t h a t , i n a l l c a s e s , t a k e s t h e M A C a d d r e s s , I P a d d r e s s , o r I P T C P / U D P 2 p o r t n u m b e r a n d a p p l i e s t h e a l g o r i t h m t o g e n e r a t e a t h r e e b i t v a l u e . T h i s i s d o n e s e p a r a t e l y f o r b o t h s o u r c e a n d d e s t i n a t i o n a d d r e s s e s . T h e r e s u l t s a r e t h e n X O R d t o g e n e r a t e a n o t h e r t h r e e -b i t v a l u e t h a t i s u s e d t o d e t e r m i n e w h i c h p o r t i n t h e c h a n n e l i s u s e d t o f o r w a r d t h e p a c k e t . C h a n n e l s o n t h e C a t a l y s t 650 0 / 60 0 0 c a n b e f o r m e d b e t w e e n p o r t s o n a n y m o d u l e a n d c a n b e u p t o 8 p o r t s .

P a g e 39 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 40: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

2 U D P = U s e r D a t a g r a m P r o t o c o l

T h i s t a b l e i n d i c a t e s t h e d i s t r i b u t i o n m e t h o d s s u p p o r t e d o n t h e v a r i o u s C a t a l y s t 650 0 / 60 0 0 S u p e r v i s o r E n g i n e m o d e l s a n d t h e i r d e f a u l t b e h a v i o r .

N ote : W i t h L 4 d i s t r i b u t i o n , t h e f i r s t f r a g m e n t e d p a c k e t u s e s L 4 d i s t r i b u t i o n . A l l s u b s e q u e n t p a c k e t s u s e L 3 d i s t r i b u t i o n . M o r e d e t a i l s o f E t h e r C h a n n e l s u p p o r t o n o t h e r p l a t f o r m s a n d h o w t o c o n f i g u r e a n d t r o u b l e s h o o t t h e m c a n b e f o u n d i n t h e s e d o c u m e n t s :

� U n d e r s t a n d i n g E t h e r C h a n n e l L o a d B a l a n c i n g a n d R e d u n d a n c y o n C a t a l y s t S w i t c h e s

H a rdw a re D e s crip tion D is trib ution M e th ods W S -F 60 20 ( L 2 E n g i n e )

E a r l y S u p e r v i s o r E n g i n e 1

L 2 M A C : S A ; D A ; S A & D A

W S -F 60 20 A ( L 2 E n g i n e ) W S -F 6K -P F C ( L 3 E n g i n e )

L a t e r S u p e r v i s o r E n g i n e 1 a n d S u p e r v i s o r E n g i n e 1A / P F C 1

L 2 M A C : S A ; D A ; S A & D A L 3 I P : S A ; D A ; S A a n d D A ( d e f a u l t )

W S -F 6K -P F C 2

S u p e r v i s o r E n g i n e 2/ P F C 2 ( n e e d s C a t O S 6.x )

L 2 M A C : S A ; D A ; S A & D A L 3 I P : S A ; D A ; S A & D A ( d e f a u l t ) L 4 s e s s i o n : S p o r t ; D p o r t ; S & D p o r t ( d e f a u l t )

W S -F 6K -P F C 3B X L W S -F 6K -P F C 3B W S -F 6K -P F C 3A

S u p e r v i s o r E n g i n e 720 / P F C 3A ( n e e d s C a t O S 8.1.x ) S u p e r v i s o r E n g i n e 720 / S u p e r v i s o r E n g i n e 32/ P F C 3B ( n e e d s C a t O S 8.4.x ) S u p e r v i s o r E n g i n e 720 / P F C 3B X L ( n e e d s C a t O S 8.3.x )

L 2 M A C : S A ; D A ; S A & D A L 3 I P : S A ; D A ; S A & D A ( d e f a u l t ) L 4 s e s s i o n : S p o r t ; D p o r t ; S & D p o r t I P -V L A N -L 4 s e s s i o n : S A & V L A N & S p o r t ; D A & V L A N & D p o r t ; S A & D A & V L A N & S p o r t & D p o r t

P a g e 40 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 41: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

� C o n f i g u r e E t h e r C h a n n e l B e t w e e n C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S w i t c h e s T h a t R u n C a t O S S y s t e m S o f t w a r e

� C o n f i g u r i n g L A C P ( 80 2.3a d ) B e t w e e n a C a t a l y s t 650 0 / 60 0 0 a n d a C a t a l y s t 450 0 / 40 0 0 � C o n f i g u r i n g L a y e r 3 a n d L a y e r 2 E t h e r C h a n n e l

R e com m e nda tion C a t a l y s t 650 0 / 60 0 0 s e r i e s s w i t c h e s p e r f o r m l o a d b a l a n c i n g b y I P a d d r e s s b y d e f a u l t . T h i s i s r e c o m m e n d e d i n C a t O S 5.5, a s s u m i n g t h a t I P i s t h e d o m i n a n t p r o t o c o l . I s s u e t h i s c o m m a n d i n o r d e r t o s e t l o a d b a l a n c i n g :

set p or t chan n el al l d i str i b u ti on i p b oth !--- T h i s i s t h e d e f a u l t .

C a t a l y s t 450 0 / 40 0 0 a n d 550 0 / 50 0 0 s e r i e s f r a m e d i s t r i b u t i o n b y L 2 M A C a d d r e s s i s a c c e p t a b l e i n m o s t n e t w o r k s . H o w e v e r , t h e s a m e l i n k i s u s e d f o r a l l t r a f f i c i f t h e r e a r e o n l y t w o m a i n d e v i c e s t h a t t a l k o v e r a c h a n n e l ( a s S M A C a n d D M A C a r e c o n s t a n t ) . T h i s c a n t y p i c a l l y b e a n i s s u e f o r s e r v e r b a c k u p a n d o t h e r l a r g e f i l e t r a n s f e r s o r f o r a t r a n s i t s e g m e n t b e t w e e n t w o r o u t e r s . A l t h o u g h t h e l o g i c a l a g g r e g a t e p o r t ( a g p o r t ) c a n b e m a n a g e d b y S N M P a s a s e p a r a t e i n s t a n c e a n d a g g r e g a t e t h r o u g h p u t s t a t i s t i c s g a t h e r e d , C i s c o s t i l l r e c o m m e n d s t h a t y o u m a n a g e e a c h o f t h e p h y s i c a l i n t e r f a c e s s e p a r a t e l y i n o r d e r t o c h e c k h o w t h e f r a m e d i s t r i b u t i o n m e c h a n i s m s a r e w o r k i n g a n d w h e t h e r s t a t i s t i c a l l o a d b a l a n c i n g i s b e i n g a c h i e v e d . A n e w c o m m a n d , t h e s h ow ch a nne l tra f f ic c o m m a n d , i n C a t O S 6.x c a n d i s p l a y p e r c e n t a g e d i s t r i b u t i o n s t a t i s t i c s m o r e e a s i l y t h a n i f y o u c h e c k i n d i v i d u a l p o r t c o u n t e r s w i t h t h e s h ow counte rs mo d / p o r t c o m m a n d o r t h e s h ow m a c mo d / p o r t c o m m a n d i n C a t O S 5.x . A n o t h e r n e w c o m m a n d , t h e s h ow ch a nne l h a s h c o m m a n d , i n C a t O S 6.x a l l o w s y o u t o c h e c k , b a s e d o n t h e d i s t r i b u t i o n m o d e , w h i c h p o r t w o u l d b e s e l e c t e d a s t h e o u t g o i n g p o r t f o r c e r t a i n a d d r e s s e s a n d / o r p o r t n u m b e r s . T h e e q u i v a l e n t c o m m a n d s f o r L A C P c h a n n e l s a r e t h e s h ow l a cp -ch a nne l tra f f ic c o m m a n d a n d t h e s h ow l a cp -ch a nne l h a s h c o m m a n d . O th e r O p tions T h e s e a r e p o s s i b l e s t e p s t o t a k e i f t h e r e l a t i v e l i m i t a t i o n s o f C a t a l y s t 450 0 / 40 0 0 o r C a t a l y s t 550 0 / 50 0 0 M A C -b a s e d a l g o r i t h m s a r e a n i s s u e , a n d g o o d s t a t i s t i c a l l o a d b a l a n c i n g i s n o t a c h i e v e d :

� P o i n t -d e p l o y C a t a l y s t 650 0 / 60 0 0 s w i t c h e s � I n c r e a s e t h e b a n d w i d t h w i t h o u t c h a n n e l i n g b y s w i t c h i n g , f o r e x a m p l e , f r o m s e v e r a l F E p o r t s t o o n e G E p o r t , o r f r o m s e v e r a l G E p o r t s t o o n e 10 G E p o r t

� R e -a d d r e s s p a i r s o f e n d s t a t i o n s w i t h l a r g e v o l u m e f l o w s � P r o v i s i o n d e d i c a t e d l i n k s / V L A N s f o r h i g h b a n d w i d t h d e v i c e s

P a g e 41 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 42: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

E th e rC h a nne l C onf ig ura tion G uide l ine s a nd R e s trictions E t h e r C h a n n e l v e r i f i e s p o r t p r o p e r t i e s o n a l l p h y s i c a l p o r t s b e f o r e i t a g g r e g a t e s c o m p a t i b l e p o r t s i n t o a s i n g l e l o g i c a l p o r t . C o n f i g u r a t i o n g u i d e l i n e s a n d r e s t r i c t i o n s v a r y f o r d i f f e r e n t s w i t c h p l a t f o r m s . F o l l o w t h e g u i d e l i n e s i n o r d e r t o a v o i d b u n d l i n g p r o b l e m s . F o r e x a m p l e , i f Q o S i s e n a b l e d , E t h e r C h a n n e l s d o n o t f o r m w h e n b u n d l i n g C a t a l y s t 650 0 / 60 0 0 s e r i e s s w i t c h i n g m o d u l e s w i t h d i f f e r e n t Q o S c a p a b i l i t i e s . I n C i s c o I O S S o f t w a r e , y o u c a n d i s a b l e t h e Q o S p o r t a t t r i b u t e c h e c k o n t h e E t h e r C h a n n e l b u n d l i n g w i t h t h e no m l s q os ch a nne l -cons is te ncy p o r t -c h a n n e l i n t e r f a c e c o m m a n d . A n e q u i v a l e n t c o m m a n d i n o r d e r t o d i s a b l e t h e Q o S p o r t a t t r i b u t e c h e c k i s n o t a v a i l a b l e i n C a t O S . Y o u c a n i s s u e t h e s h ow p ort ca p a b il ity mo d / p o r t c o m m a n d i n o r d e r t o d i s p l a y t h e Q o S p o r t c a p a b i l i t y a n d d e t e r m i n e i f p o r t s a r e c o m p a t i b l e . F o l l o w t h e s e g u i d e l i n e s f o r d i f f e r e n t p l a t f o r m s i n o r d e r t o a v o i d c o n f i g u r a t i o n p r o b l e m s :

� T h e E t h e r C h anne l C o nf i g u r at i o n G u i d e li ne s s e c t i o n o f C o n f i g u r i n g E t h e r C h a n n e l ( C a t a l y s t 650 0 / 60 0 0 )

� T h e E t h e r C h anne l C o nf i g u r at i o n G u i d e li ne s and R e s t r i c t i o ns s e c t i o n o f C o n f i g u r i n g F a s t E t h e r C h a n n e l a n d G i g a b i t E t h e r C h a n n e l ( C a t a l y s t 450 0 / 40 0 0 )

� T h e E t h e r C h anne l C o nf i g u r at i o n G u i d e li ne s and R e s t r i c t i o ns s e c t i o n o f C o n f i g u r i n g F a s t E t h e r C h a n n e l a n d G i g a b i t E t h e r C h a n n e l ( C a t a l y s t 50 0 0 )

N ote : T h e m a x i m u m n u m b e r o f p o r t c h a n n e l s t h a t t h e C a t a l y s t 40 0 0 s u p p o r t s i s 126. W i t h s o f t w a r e r e l e a s e s 6.2( 1) a n d e a r l i e r , t h e s i x - a n d n i n e -s l o t C a t a l y s t 650 0 s e r i e s s w i t c h e s s u p p o r t a m a x i m u m o f 128 E t h e r C h a n n e l s . I n s o f t w a r e r e l e a s e 6.2( 2) a n d l a t e r r e l e a s e s , t h e s p a n n i n g t r e e f e a t u r e h a n d l e s t h e p o r t I D . T h e r e f o r e , t h e m a x i m u m n u m b e r o f E t h e r C h a n n e l s w i t h s u p p o r t i s 126 f o r a s i x - o r n i n e -s l o t c h a s s i s a n d 63 f o r a 13-s l o t c h a s s i s . P ort A g g re g a tion P rotocol P A g P i s a m a n a g e m e n t p r o t o c o l t h a t c h e c k s f o r p a r a m e t e r c o n s i s t e n c y a t e i t h e r e n d o f t h e l i n k a n d a s s i s t s t h e c h a n n e l i n a d a p t i n g t o l i n k f a i l u r e o r a d d i t i o n . N o t e t h e s e f a c t s a b o u t P A g P :

� P A g P r e q u i r e s t h a t a l l p o r t s i n t h e c h a n n e l b e l o n g t o t h e s a m e V L A N o r a r e c o n f i g u r e d a s t r u n k p o r t s . ( B e c a u s e d y n a m i c V L A N s c a n f o r c e t h e c h a n g e o f a p o r t i n t o a d i f f e r e n t V L A N , t h e y a r e n o t i n c l u d e d i n E t h e r C h a n n e l p a r t i c i p a t i o n .)

� W h e n a b u n d l e a l r e a d y e x i s t s a n d t h e c o n f i g u r a t i o n o f o n e p o r t i s m o d i f i e d ( s u c h a s c h a n g i n g V L A N o r t r u n k i n g m o d e ) , a l l p o r t s i n t h e b u n d l e a r e m o d i f i e d t o m a t c h t h a t c o n f i g u r a t i o n .

� P A g P d o e s n o t g r o u p p o r t s t h a t o p e r a t e a t d i f f e r e n t s p e e d s o r p o r t d u p l e x . I f s p e e d a n d d u p l e x a r e c h a n g e d w h e n a b u n d l e e x i s t s , P A g P c h a n g e s t h e p o r t s p e e d a n d d u p l e x f o r a l l p o r t s i n t h e b u n d l e .

O p e ra tiona l O v e rv ie w T h e P A g P p o r t c o n t r o l s e a c h i n d i v i d u a l p h y s i c a l ( o r l o g i c a l ) p o r t t o b e g r o u p e d . P A g P p a c k e t s a r e s e n t u s i n g t h e s a m e m u l t i c a s t g r o u p M A C a d d r e s s t h a t i s u s e d f o r C D P p a c k e t s , 01-00-0c-cc-cc-cc. T h e p r o t o c o l v a l u e i s 0 x 0 10 4. T h i s i s a s u m m a r y o f t h e p r o t o c o l o p e r a t i o n :

P a g e 42 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 43: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

� A s l o n g a s t h e p h y s i c a l p o r t i s u p , P A g P p a c k e t s a r e t r a n s m i t t e d e v e r y s e c o n d d u r i n g d e t e c t i o n a n d e v e r y 30 s e c o n d s i n s t e a d y s t a t e .

� T h e p r o t o c o l l i s t e n s f o r P A g P p a c k e t s t h a t p r o v e t h e p h y s i c a l p o r t h a s a b i d i r e c t i o n a l c o n n e c t i o n t o a n o t h e r P A g P -c a p a b l e d e v i c e .

� I f d a t a p a c k e t s b u t n o P A g P p a c k e t s a r e r e c e i v e d , i t i s a s s u m e d t h a t t h e p o r t i s c o n n e c t e d t o a n o n -P A g P c a p a b l e d e v i c e .

� A s s o o n a s t w o P A g P p a c k e t s h a v e b e e n r e c e i v e d o n a g r o u p o f p h y s i c a l p o r t s , i t t r i e s t o f o r m a n a g g r e g a t e d p o r t .

� I f P A g P p a c k e t s s t o p f o r a p e r i o d , t h e P A g P s t a t e i s t o r n d o w n . N orm a l P roce s s ing T h e s e c o n c e p t s m u s t b e d e f i n e d t o a i d u n d e r s t a n d i n g o f t h e p r o t o c o l b e h a v i o r :

� A g p ort—a l o g i c a l p o r t c o m p o s e d o f a l l p h y s i c a l p o r t s i n t h e s a m e a g g r e g a t i o n , i t c a n b e i d e n t i f i e d b y i t s o w n S N M P i f I n d e x . T h e r e f o r e , a n a g p o r t d o e s n o t c o n t a i n n o n -o p e r a t i o n a l p o r t s .

� C h a nne l—a n a g g r e g a t i o n s a t i s f y i n g t h e f o r m a t i o n c r i t e r i a ; i t t h e r e f o r e c o u l d c o n t a i n n o n -o p e r a t i o n a l p o r t s ( a g p o r t s a r e a s u b s e t o f c h a n n e l s ) . P r o t o c o l s i n c l u d i n g S T P a n d V T P , b u t e x c l u d i n g C D P a n d D T P , r u n a b o v e P A g P o v e r t h e a g p o r t s . N o n e o f t h e s e p r o t o c o l s c a n s e n d o r r e c e i v e p a c k e t s u n t i l P A g P a t t a c h e s t h e i r a g p o r t s t o o n e o r m o r e p h y s i c a l p o r t s .

� G roup C a p a b il ity —e a c h p h y s i c a l p o r t a n d a g p o r t p o s s e s s e s a c o n f i g u r a t i o n p a r a m e t e r c a l l e d t h e g r o u p -c a p a b i l i t y . A p h y s i c a l p o r t c a n b e a g g r e g a t e d w i t h a n o t h e r p h y s i c a l p o r t i f a n d o n l y i f t h e y h a v e t h e s a m e g r o u p -c a p a b i l i t y .

� A g g re g a tion P roce dure —w h e n a p h y s i c a l p o r t r e a c h e s t h e U p D a t a o r U p P A g P s t a t e s , i t i s a t t a c h e d t o a n a p p r o p r i a t e a g p o r t . W h e n i t l e a v e s e i t h e r o f t h o s e s t a t e s f o r a n o t h e r s t a t e , i t i s d e t a c h e d f r o m t h e a g p o r t .

D e f i n i t i o n s o f t h e s t a t e s a n d c r e a t i o n p r o c e d u r e s a r e g i v e n i n t h i s t a b l e :

S ta te M e a ning

U p D a t a N o P A g P p a c k e t s h a v e b e e n r e c e i v e d . P A g P p a c k e t s a r e s e n t . T h e p h y s i c a l p o r t i s t h e o n l y o n e c o n n e c t e d t o i t s a g p o r t . N o n -P A g P p a c k e t s a r e p a s s e d i n a n d o u t b e t w e e n p h y s i c a l p o r t a n d a g p o r t .

B i D i r E x a c t l y o n e P A g P p a c k e t h a s b e e n r e c e i v e d t h a t p r o v e s a b i d i r e c t i o n a l c o n n e c t i o n e x i s t s t o e x a c t l y o n e n e i g h b o r . T h e p h y s i c a l p o r t i s n o t c o n n e c t e d t o a n y a g p o r t . P A g P p a c k e t s a r e s e n t a n d c a n b e r e c e i v e d . T h i s p h y s i c a l p o r t , p e r h a p s i n a s s o c i a t i o n w i t h o t h e r p h y s i c a l p o r t s , i s c o n n e c t e d t o a n a g p o r t .

P a g e 43 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 44: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

B o t h e n d s o f b o t h c o n n e c t i o n s m u s t a g r e e o n w h a t t h e g r o u p i n g i s g o i n g t o b e , d e f i n e d a s t h e l a r g e s t g r o u p o f p o r t s i n t h e a g p o r t t h a t i s p e r m i t t e d b y b o t h e n d s o f t h e c o n n e c t i o n . W h e n a p h y s i c a l p o r t r e a c h e s t h e U p P A g P s t a t e , i t i s a s s i g n e d t o t h e a g p o r t t h a t h a s m e m b e r p h y s i c a l p o r t s t h a t m a t c h t h e g r o u p -c a p a b i l i t y o f t h e n e w p h y s i c a l p o r t a n d t h a t a r e i n t h e B i D i r o r U p P A g P s t a t e s . ( A n y s u c h B i D i r p o r t s a r e m o v e d t o t h e U p P A g P s t a t e a t t h e s a m e t i m e .) I f t h e r e i s n o a g p o r t w h o s e c o n s t i t u e n t p h y s i c a l p o r t p a r a m e t e r s a r e c o m p a t i b l e w i t h t h e n e w l y r e a d y p h y s i c a l p o r t , i t i s a s s i g n e d t o a n a g p o r t w i t h s u i t a b l e p a r a m e t e r s t h a t h a s n o a s s o c i a t e d p h y s i c a l p o r t s . A P A g P t i m e o u t c a n o c c u r o n t h e l a s t n e i g h b o r k n o w n o n t h e p h y s i c a l p o r t . T h e p o r t t i m i n g o u t i s r e m o v e d f r o m t h e a g p o r t . A t t h e s a m e t i m e , a l l p h y s i c a l p o r t s o n t h e s a m e a g p o r t w h o s e t i m e r s h a v e a l s o t i m e d o u t a r e r e m o v e d . T h i s e n a b l e s a n a g p o r t w h o s e o t h e r e n d h a s d i e d t o b e t o r n d o w n a l l a t o n c e , i n s t e a d o f o n e p h y s i c a l p o r t a t a t i m e . B e h a v ior in F a il ure I f a l i n k i n a n e x i s t i n g c h a n n e l i s f a i l e d , ( f o r e x a m p l e , p o r t u n p l u g g e d , G i g a b i t I n t e r f a c e C o n v e r t e r [ G B I C ] r e m o v e d , o r f i b e r b r o k e n ) , t h e a g p o r t i s u p d a t e d a n d t h e t r a f f i c i s h a s h e d o v e r t h e r e m a i n i n g l i n k s w i t h i n o n e s e c o n d . A n y t r a f f i c t h a t d o e s n o t n e e d t o b e r e h a s h e d a f t e r t h e f a i l u r e ( t r a f f i c t h a t c o n t i n u e s t o s e n d o n t h e s a m e l i n k ) d o e s n o t s u f f e r a n y l o s s . R e s t o r a t i o n o f t h e f a i l e d l i n k t r i g g e r s a n o t h e r u p d a t e t o t h e a g p o r t , a n d t r a f f i c i s h a s h e d a g a i n . N ote : T h e b e h a v i o r w h e n a l i n k f a i l s i n a c h a n n e l d u e t o a p o w e r -o f f o r t h e r e m o v a l o f a m o d u l e c a n b e d i f f e r e n t . B y d e f i n i t i o n , t h e r e n e e d t o b e t w o p h y s i c a l p o r t s t o a c h a n n e l . I f o n e p o r t i s l o s t f r o m t h e s y s t e m i n a t w o -p o r t c h a n n e l , t h e l o g i c a l a g p o r t i s t o r n d o w n a n d t h e o r i g i n a l p h y s i c a l p o r t i s r e -i n i t i a l i z e d w i t h r e s p e c t t o S p a n n i n g T r e e . T h i s m e a n s t r a f f i c c a n b e d i s c a r d e d u n t i l S T P a l l o w s t h e p o r t t o b e c o m e a v a i l a b l e t o d a t a a g a i n . T h e r e i s a n e x c e p t i o n t o t h i s r u l e o n t h e C a t a l y s t 650 0 / 60 0 0 . I n v e r s i o n s e a r l i e r t h a n C a t O S 6.3, a n a g p o r t i s n o t t o r n d o w n d u r i n g m o d u l e r e m o v a l i f t h e c h a n n e l i s c o m p r i s e d o f p o r t s o n m o d u l e s 1 a n d 2 o n l y . T h i s d i f f e r e n c e i n t h e t w o f a i l u r e m o d e s i s i m p o r t a n t w h e n m a i n t e n a n c e o f a n e t w o r k i s p l a n n e d , a s t h e r e c a n b e a n S T P T C N t o c o n s i d e r w h e n p e r f o r m i n g a n o n -l i n e r e m o v a l o r i n s e r t i o n o f a m o d u l e . A s s t a t e d , i t i s i m p o r t a n t t o m a n a g e e a c h p h y s i c a l l i n k i n t h e c h a n n e l w i t h t h e N M S s i n c e t h e a g p o r t c a n r e m a i n u n d i s t u r b e d t h r o u g h a f a i l u r e . T h e s e a r e s u g g e s t e d s t e p s i n o r d e r t o m i t i g a t e a n u n w a n t e d t o p o l o g y c h a n g e o n t h e C a t a l y s t 650 0 / 60 0 0 :

� I f a s i n g l e p o r t i s u s e d p e r m o d u l e t o f o r m a c h a n n e l , t h r e e o r m o r e m o d u l e s m u s t b e u s e d ( t h r e e p o r t s o r m o r e t o t a l ) .

� I f t h e c h a n n e l s p a n s t w o m o d u l e s , t w o p o r t s o n e a c h m o d u l e m u s t b e u s e d ( f o u r p o r t s t o t a l ) . � I f a t w o -p o r t c h a n n e l i s n e e d e d a c r o s s t w o c a r d s , u s e o n l y t h e S u p e r v i s o r E n g i n e p o r t s .

U p P A g P P A g P p a c k e t s a r e s e n t a n d r e c e i v e d o n t h e p h y s i c a l p o r t . N o n -P A g P p a c k e t s a r e p a s s e d i n a n d o u t b e t w e e n p h y s i c a l p o r t a n d a g p o r t .

P a g e 44 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 45: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

� U p g r a d e t o C a t O S 6.3, w h i c h h a n d l e s m o d u l e r e m o v a l w i t h o u t S T P r e c a l c u l a t i o n f o r c h a n n e l s s p l i t a c r o s s m o d u l e s .

C onf ig ura tion O p tions E t h e r C h a n n e l s c a n b e c o n f i g u r e d i n d i f f e r e n t m o d e s , a s s u m m a r i z e d i n t h i s t a b l e :

M ode C onf ig ura b l e O p tions

O n P A g P n o t i n o p e r a t i o n . T h e p o r t i s c h a n n e l i n g r e g a r d l e s s o f h o w t h e n e i g h b o r p o r t i s c o n f i g u r e d . I f t h e n e i g h b o r p o r t m o d e i s o n , a c h a n n e l i s f o r m e d .

O f f T h e p o r t i s n o t c h a n n e l i n g r e g a r d l e s s o f h o w t h e n e i g h b o r i s c o n f i g u r e d .

A u t o ( d e f a u l t )

A g g r e g a t i o n i s u n d e r c o n t r o l o f t h e P A g P p r o t o c o l . P l a c e s a p o r t i n t o a p a s s i v e n e g o t i a t i n g s t a t e , a n d n o P A g P p a c k e t s a r e s e n t o n t h e i n t e r f a c e u n t i l a t l e a s t o n e P A g P p a c k e t i s r e c e i v e d t h a t i n d i c a t e s t h a t t h e s e n d e r i s o p e r a t i n g i n d e s i r a b l e m o d e .

D e s i r a b l e

A g g r e g a t i o n i s u n d e r c o n t r o l o f t h e P A g P p r o t o c o l . P l a c e s a p o r t i n t o a n a c t i v e n e g o t i a t i n g s t a t e , i n w h i c h t h e p o r t i n i t i a t e s n e g o t i a t i o n s w i t h o t h e r p o r t s b y s e n d i n g P A g P p a c k e t s . A c h a n n e l i s f o r m e d w i t h a n o t h e r p o r t g r o u p i n e i t h e r d e s i r a b l e o r a u t o m o d e .

N o n -s i l e n t ( d e f a u l t o n C a t a l y s t 550 0 / 50 0 0 f i b e r F E a n d G E p o r t s )

A n a u t o o r d e s i r a b l e m o d e k e y w o r d . I f n o d a t a p a c k e t s a r e r e c e i v e d o n t h e i n t e r f a c e , t h e n t h e i n t e r f a c e i s n e v e r a t t a c h e d t o a n a g p o r t a n d c a n n o t b e u s e d f o r d a t a . T h i s b i d i r e c t i o n a l i t y c h e c k w a s p r o v i d e d f o r s p e c i f i c C a t a l y s t 550 0 / 50 0 0 h a r d w a r e a s s o m e l i n k f a i l u r e s r e s u l t i n t h e c h a n n e l b e i n g b r o k e n a p a r t . B e c a u s e n o n -s i l e n t m o d e i s e n a b l e d , a r e c o v e r i n g n e i g h b o r p o r t i s n e v e r a l l o w e d t o c o m e b a c k u p a n d b r e a k t h e c h a n n e l a p a r t u n n e c e s s a r i l y . M o r e f l e x i b l e b u n d l i n g a n d i m p r o v e d b i d i r e c t i o n a l i t y c h e c k s a r e p r e s e n t b y d e f a u l t i n C a t a l y s t 450 0 / 40 0 0 a n d 650 0 / 60 0 0 s e r i e s h a r d w a r e .

P a g e 45 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 46: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

T h e s i l e n t / n o n -s i l e n t s e t t i n g s a f f e c t h o w p o r t s r e a c t t o s i t u a t i o n s t h a t c a u s e u n i d i r e c t i o n a l t r a f f i c o r h o w t h e y a c h i e v e f a i l -o v e r . W h e n a p o r t i s u n a b l e t o t r a n s m i t ( b e c a u s e o f a f a i l e d p h y s i c a l s u b l a y e r [ P H Y ] o r a b r o k e n f i b e r o r c a b l e , f o r e x a m p l e ) , t h i s c a n s t i l l l e a v e t h e n e i g h b o r p o r t i n a n o p e r a t i o n a l s t a t e . T h e p a r t n e r c o n t i n u e s t o t r a n s m i t d a t a , b u t d a t a i s l o s t , a s r e t u r n t r a f f i c c a n n o t b e r e c e i v e d . S p a n n i n g T r e e l o o p s c a n a l s o f o r m b e c a u s e o f t h e u n i d i r e c t i o n a l n a t u r e o f t h e l i n k . S o m e f i b e r p o r t s h a v e t h e d e s i r e d c a p a b i l i t y o f b r i n g i n g t h e p o r t t o a n o n -o p e r a t i o n a l s t a t e w h e n i t l o s e s i t s r e c e i v e s i g n a l ( F E F I ) . T h i s c a u s e s t h e p a r t n e r p o r t t o g o n o n -o p e r a t i o n a l a n d e f f e c t i v e l y c a u s e s t h e p o r t s a t b o t h e n d s o f t h e l i n k t o g o d o w n . W h e n u s i n g d e v i c e s t h a t t r a n s m i t d a t a ( s u c h a s B P D U s ) a n d c a n n o t d e t e c t u n i d i r e c t i o n a l c o n d i t i o n s , n o n -s i l e n t m o d e m u s t b e u s e d i n o r d e r t o a l l o w t h e p o r t s t o r e m a i n n o n -o p e r a t i o n a l u n t i l r e c e i v e d a t a i s p r e s e n t a n d t h e l i n k i s v e r i f i e d t o b e b i d i r e c t i o n a l . T h e t i m e i t t a k e s f o r P A g P t o d e t e c t a u n i d i r e c t i o n a l l i n k i s a r o u n d 3.5 * 30 s e c o n d s = 10 5 s e c o n d s , w h e r e 30 s e c o n d s i s t h e t i m e b e t w e e n t w o s u c c e s s i v e P A g P m e s s a g e s . U D L D i s r e c o m m e n d e d a s a m o r e r a p i d d e t e c t o r t o u n i -d i r e c t i o n a l l i n k s . W h e n u s i n g d e v i c e s t h a t d o n o t t r a n s m i t a n y d a t a , s i l e n t m o d e m u s t b e u s e d . T h i s f o r c e s t h e p o r t t o b e c o m e c o n n e c t e d a n d o p e r a t i o n a l r e g a r d l e s s o f w h e t h e r r e c e i v e d d a t a i s p r e s e n t o r n o t . A d d i t i o n a l l y , f o r t h o s e p o r t s t h a t c a n d e t e c t t h e p r e s e n c e o f a u n i d i r e c t i o n a l c o n d i t i o n , s u c h a s n e w e r p l a t f o r m s u s i n g L 1 F E F I a n d U D L D , s i l e n t m o d e i s u s e d b y d e f a u l t . V e rif ica tion i s t a b l e d e p i c t s a s u m m a r y o f a l l t h e p o s s i b l e P A g P c h a n n e l i n g m o d e s c e n a r i o s b e t w e e n t w o d i r e c t l y c o n n e c t e d s w i t c h e s ( S w i t c h -A a n d S w i t c h -B ) . S o m e o f t h e s e c o m b i n a t i o n s c a n c a u s e S T P t o p u t t h e p o r t s o n t h e c h a n n e l i n g s i d e i n t o t h e e r r d i s a b l e s t a t e ( t h a t i s , s o m e o f t h e c o m b i n a t i o n s s h u t d o w n t h e p o r t s o n t h e c h a n n e l i n g s i d e ) .

S i l e n t ( d e f a u l t o n a l l C a t a l y s t 650 0 / 60 0 0 a n d 450 0 / 40 0 0 p o r t s a n d 550 0 / 50 0 0 c o p p e r p o r t s )

A n a u t o o r d e s i r a b l e m o d e k e y w o r d . I f n o d a t a p a c k e t s a r e r e c e i v e d o n t h e i n t e r f a c e , a f t e r a 15 s e c o n d t i m e o u t p e r i o d , t h e i n t e r f a c e i s a t t a c h e d b y i t s e l f t o a n a g p o r t a n d c a n t h u s b e u s e d f o r d a t a t r a n s m i s s i o n . S i l e n t m o d e a l s o a l l o w s f o r c h a n n e l o p e r a t i o n w h e n t h e p a r t n e r c a n b e a n a n a l y z e r o r s e r v e r t h a t n e v e r s e n d s P A g P .

S w itch -A C h a nne l M ode

S w itch -B C h a nne l M ode C h a nne l S ta te

O n O n C h a n n e l ( n o n -P A g P )

O n O f f N o t C h a n n e l ( e r r d i s a b l e )

O n A u t o N o t C h a n n e l ( e r r d i s a b l e ) N o t C h a n n e l

P a g e 46 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 47: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

R e com m e nda tion C i s c o r e c o m m e n d s t h a t P A g P b e e n a b l e d o n a l l s w i t c h -t o -s w i t c h c h a n n e l c o n n e c t i o n s , a v o i d i n g o n m o d e . T h e p r e f e r r e d m e t h o d i s t o s e t d e s i r a b l e m o d e a t b o t h e n d s o f a l i n k . T h e a d d i t i o n a l r e c o m m e n d a t i o n i s t o l e a v e t h e s i l e n t / n o n -s i l e n t k e y w o r d a t d e f a u l t - s i l e n t o n C a t a l y s t 650 0 / 60 0 0 a n d 450 0 / 40 0 0 s w i t c h e s , n o n -s i l e n t o n C a t a l y s t 550 0 / 50 0 0 f i b e r p o r t s . A s d i s c u s s e d i n t h i s d o c u m e n t , T h e e x p l i c i t c o n f i g u r a t i o n o f c h a n n e l i n g o f f o n a l l o t h e r p o r t s i s h e l p f u l f o r r a p i d d a t a f o r w a r d i n g . W a i t i n g u p t o 15 s e c o n d s f o r P A g P t o t i m e o u t o n a p o r t t h a t i s n o t t o b e u s e d f o r c h a n n e l i n g m u s t b e a v o i d e d , e s p e c i a l l y s i n c e t h e p o r t i s t h e n h a n d e d o v e r t o S T P , w h i c h i t s e l f c a n t a k e 30 s e c o n d s t o a l l o w d a t a f o r w a r d i n g , p l u s p o t e n t i a l l y 5 s e c o n d s f o r D T P f o r a t o t a l o f 50 s e c o n d s . T h e s e t p ort h os t c o m m a n d i s d i s c u s s e d i n m o r e d e t a i l i n t h e S T P s e c t i o n o f t h i s d o c u m e n t .

set p or t chan n el port range mod e d esi r ab l e set p or t chan n el port range mod e of f !--- P o r t s n o t c h a n n e l e d ; p a r t o f t h e s et port h os t c o m m a n d .

T h i s c o m m a n d a s s i g n s c h a n n e l s a n a dm in g roup n u m b e r , s e e n w i t h a s h ow ch a nne l g roup c o m m a n d . A d d i t i o n a n d r e m o v a l o f c h a n n e l i n g p o r t s t o t h e s a m e a g p o r t c a n t h e n b e m a n a g e d b y t h e a d m i n n u m b e r i f d e s i r e d . O th e r O p tions A n o t h e r c o m m o n c o n f i g u r a t i o n f o r c u s t o m e r s w h o h a v e a m o d e l o f m i n i m a l a d m i n i s t r a t i o n a t t h e a c c e s s

O n D e s i r a b l e ( e r r d i s a b l e ) O f f O n N o t C h a n n e l

( e r r d i s a b l e ) O f f O f f N o t C h a n n e l O f f A u t o N o t C h a n n e l O f f D e s i r a b l e N o t C h a n n e l A u t o O n N o t C h a n n e l

( e r r d i s a b l e ) A u t o O f f N o t C h a n n e l A u t o A u t o N o t C h a n n e l A u t o D e s i r a b l e P A g P C h a n n e l D e s i r a b l e O n N o t C h a n n e l

( e r r d i s a b l e ) D e s i r a b l e O f f N o t C h a n n e l D e s i r a b l e A u t o P A g P C h a n n e l D e s i r a b l e D e s i r a b l e P A g P C h a n n e l

P a g e 47 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 48: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

l a y e r i s t o s e t t h e m o d e t o d e s i r a b l e a t t h e d i s t r i b u t i o n a n d c o r e l a y e r s , a n d l e a v e t h e a c c e s s l a y e r s w i t c h e s a t t h e d e f a u l t a u t o c o n f i g u r a t i o n . W h e n c h a n n e l i n g t o d e v i c e s t h a t d o n o t s u p p o r t P A g P , t h e c h a n n e l n e e d s t o b e h a r d -c o d e d o n . T h i s a p p l i e s t o d e v i c e s s u c h a s s e r v e r s , L o c a l D i r e c t o r , c o n t e n t s w i t c h e s , r o u t e r s , s w i t c h e s w i t h o l d e r s o f t w a r e , C a t a l y s t X L s w i t c h e s , a n d C a t a l y s t 8540 s . I s s u e t h i s c o m m a n d :

set p or t chan n el port range mod e on

T h e n e w 80 2.3a d I E E E L A C P s t a n d a r d , a v a i l a b l e i n C a t O S 7.x , w i l l l i k e l y s u p e r s e d e P A g P i n t h e l o n g t e r m b e c a u s e i t b r i n g s t h e b e n e f i t o f c r o s s -p l a t f o r m a n d v e n d o r i n t e r o p e r a b i l i t y . L ink A g g re g a tion C ontrol P rotocol L A C P i s a p r o t o c o l t h a t a l l o w s p o r t s w i t h s i m i l a r c h a r a c t e r i s t i c s t o f o r m a c h a n n e l t h r o u g h d y n a m i c n e g o t i a t i o n w i t h a d j o i n i n g s w i t c h e s . P A g P i s a C i s c o -p r o p r i e t a r y p r o t o c o l t h a t c a n b e r u n o n l y o n C i s c o s w i t c h e s a n d t h o s e s w i t c h e s t h a t a r e r e l e a s e d b y l i c e n s e d v e n d o r s . B u t L A C P , w h i c h i s d e f i n e d i n I E E E 80 2.3a d , a l l o w s C i s c o s w i t c h e s t o m a n a g e E t h e r n e t c h a n n e l i n g w i t h d e v i c e s t h a t c o n f o r m t o t h e 80 2.3a d s p e c i f i c a t i o n . C a t O S 7.x s o f t w a r e r e l e a s e s i n t r o d u c e d L A C P s u p p o r t . T h e r e i s v e r y l i t t l e d i f f e r e n c e b e t w e e n L A C P a n d P A g P f r o m a f u n c t i o n a l p e r s p e c t i v e . B o t h p r o t o c o l s s u p p o r t a m a x i m u m o f e i g h t p o r t s i n e a c h c h a n n e l , a n d t h e s a m e p o r t p r o p e r t i e s a r e c h e c k e d b e f o r e t h e f o r m a t i o n o f t h e b u n d l e . T h e s e p o r t p r o p e r t i e s i n c l u d e :

� S p e e d � D u p l e x � N a t i v e V L A N � T r u n k i n g t y p e

T h e n o t a b l e d i f f e r e n c e s b e t w e e n L A C P a n d P A g P a r e : � L A C P c a n r u n o n l y o n f u l l -d u p l e x p o r t s , a n d L A C P d o e s n o t s u p p o r t h a l f -d u p l e x p o r t s . � L A C P s u p p o r t s h o t s t a n d b y p o r t s . L A C P a l w a y s t r i e s t o c o n f i g u r e t h e m a x i m u m n u m b e r o f c o m p a t i b l e p o r t s i n a c h a n n e l , u p t o t h e m a x i m u m n u m b e r t h a t t h e h a r d w a r e a l l o w s ( e i g h t p o r t s ) . I f L A C P i s n o t a b l e t o a g g r e g a t e a l l t h e p o r t s t h a t a r e c o m p a t i b l e , a l l t h e p o r t s t h a t c a n n o t b e a c t i v e l y i n c l u d e d i n t h e c h a n n e l a r e p u t i n h o t s t a n d b y s t a t e a n d u s e d o n l y i f o n e o f t h e u s e d p o r t s f a i l s . A n e x a m p l e o f a s i t u a t i o n i n w h i c h L A C P c a n n o t a g g r e g a t e a l l t h e c o m p a t i b l e p o r t s i s i f t h e r e m o t e s y s t e m h a s m o r e -r e s t r i c t i v e h a r d w a r e l i m i t a t i o n s .

N ote : I n C a t O S , t h e m a x i m u m n u m b e r o f p o r t s t h a t t h e s a m e a d m i n i s t r a t i v e k e y c a n b e a s s i g n e d i s e i g h t . I n C i s c o I O S S o f t w a r e , L A C P t r i e s t o c o n f i g u r e t h e m a x i m u m n u m b e r o f c o m p a t i b l e p o r t s i n a n E t h e r C h a n n e l , u p t o t h e m a x i m u m n u m b e r t h a t t h e h a r d w a r e a l l o w s ( e i g h t p o r t s ) . A n a d d i t i o n a l e i g h t p o r t s c a n b e c o n f i g u r e d a s h o t s t a n d b y p o r t s . O p e ra tiona l O v e rv ie w

P a g e 48 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 49: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

T h e L A C P c o n t r o l s e a c h i n d i v i d u a l p h y s i c a l ( o r l o g i c a l ) p o r t t h a t i s t o b e b u n d l e d . L A C P p a c k e t s a r e s e n t w i t h u s e o f t h e m u l t i c a s t g r o u p M A C a d d r e s s , 01-8 0-c2 -00-00-02 . T h e t y p e / f i e l d v a l u e i s 0 x 880 9 w i t h a s u b t y p e o f 0 x 0 1. H e r e i s a s u m m a r y o f t h e p r o t o c o l o p e r a t i o n :

� T h e p r o t o c o l r e l i e s o n t h e d e v i c e s t o a d v e r t i s e t h e i r a g g r e g a t i o n c a p a b i l i t i e s a n d s t a t e i n f o r m a t i o n . T h e t r a n s m i s s i o n s a r e s e n t o n a r e g u l a r , p e r i o d i c b a s i s o n eac h " a g g r e g a t a b l e " l i n k .

� A s l o n g a s t h e p h y s i c a l p o r t i s u p , L A C P p a c k e t s a r e t r a n s m i t t e d e v e r y s e c o n d d u r i n g d e t e c t i o n a n d e v e r y 30 s e c o n d s i n s t e a d y s t a t e .

� T h e p a r t n e r s o n a n " a g g r e g a t a b l e " l i n k l i s t e n t o t h e i n f o r m a t i o n t h a t i s s e n t w i t h i n t h e p r o t o c o l a n d d e c i d e w h a t a c t i o n s t o t a k e .

� C o m p a t i b l e p o r t s a r e c o n f i g u r e d i n a c h a n n e l , u p t o t h e m a x i m u m n u m b e r t h a t t h e h a r d w a r e a l l o w s ( e i g h t p o r t s ) .

� T h e a g g r e g a t i o n s a r e m a i n t a i n e d b y t h e r e g u l a r , t i m e l y e x c h a n g e o f u p -t o -d a t e s t a t e i n f o r m a t i o n b e t w e e n t h e l i n k p a r t n e r s . I f t h e c o n f i g u r a t i o n c h a n g e s ( b e c a u s e o f a l i n k f a i l u r e , f o r e x a m p l e ) , t h e p r o t o c o l p a r t n e r s t i m e o u t a n d t a k e a p p r o p r i a t e a c t i o n o n t h e b a s i s o f t h e n e w s t a t e o f t h e s y s t e m .

� I n a d d i t i o n t o p e r i o d i c L A C P d a t a u n i t ( L A C P D U ) t r a n s m i s s i o n s , i f t h e r e i s a c h a n g e t o t h e s t a t e i n f o r m a t i o n , t h e p r o t o c o l t r a n s m i t s a n e v e n t -d r i v e n L A C P D U t o t h e p a r t n e r . T h e p r o t o c o l p a r t n e r s t a k e t h e a p p r o p r i a t e a c t i o n o n t h e b a s i s o f t h e n e w s t a t e o f t h e s y s t e m .

L A C P P a ra m e te rs I n o r d e r t o a l l o w L A C P t o d e t e r m i n e i f a s e t o f l i n k s c o n n e c t t o t h e s a m e s y s t e m a n d i f t h o s e l i n k s a r e c o m p a t i b l e f r o m t h e p o i n t o f v i e w o f a g g r e g a t i o n , t h e a b i l i t y t o e s t a b l i s h t h e s e p a r a m e t e r s i s n e c e s s a r y :

� A g l o b a l l y u n i q u e i d e n t i f i e r f o r e a c h s y s t e m t h a t p a r t i c i p a t e s i n l i n k a g g r e g a t i o n E a c h s y s t e m t h a t r u n s L A C P m u s t b e a s s i g n e d a p r i o r i t y t h a t c a n b e c h o s e n e i t h e r a u t o m a t i c a l l y o r b y t h e a d m i n i s t r a t o r . T h e d e f a u l t s y s t e m p r i o r i t y i s 32768. T h e s y s t e m p r i o r i t y i s m a i n l y u s e d i n c o n j u n c t i o n w i t h t h e M A C a d d r e s s o f t h e s y s t e m i n o r d e r t o f o r m t h e s y s t e m i d e n t i f i e r .

� A m e a n s o f i d e n t i f i c a t i o n o f t h e s e t o f c a p a b i l i t i e s t h a t a r e a s s o c i a t e d w i t h e a c h p o r t a n d w i t h e a c h a g g r e g a t o r , a s a g i v e n s y s t e m u n d e r s t a n d s t h e m E a c h p o r t i n t h e s y s t e m m u s t b e a s s i g n e d a p r i o r i t y e i t h e r a u t o m a t i c a l l y o r b y t h e a d m i n i s t r a t o r . T h e d e f a u l t i s 128. T h e p r i o r i t y i s u s e d i n c o n j u n c t i o n w i t h t h e p o r t n u m b e r i n o r d e r t o f o r m t h e p o r t i d e n t i f i e r .

� A m e a n s o f i d e n t i f i c a t i o n o f a l i n k a g g r e g a t i o n g r o u p a n d i t s a s s o c i a t e d a g g r e g a t o r T h e a b i l i t y o f a p o r t t o a g g r e g a t e w i t h a n o t h e r i s s u m m a r i z e d b y a s i m p l e 16-b i t i n t e g e r p a r a m e t e r t h a t i s s t r i c t l y g r e a t e r t h a n z e r o . T h i s p a r a m e t e r i s c a l l e d t h e " k e y " . D i f f e r e n t f a c t o r s d e t e r m i n e e a c h k e y , s u c h a s :

� T h e p o r t p h y s i c a l c h a r a c t e r i s t i c s , w h i c h i n c l u d e :

P a g e 49 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 50: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

� D a t a r a t e � D u p l e x i t y � P o i n t -t o -p o i n t o r s h a r e d m e d i u m

� C o n f i g u r a t i o n c o n s t r a i n t s t h a t t h e n e t w o r k a d m i n i s t r a t o r e s t a b l i s h e s T w o k e y s a r e a s s o c i a t e d w i t h e a c h p o r t :

� A n a d m i n i s t r a t i v e k e y —T h i s k e y a l l o w s f o r t h e m a n i p u l a t i o n o f k e y v a l u e s b y t h e m a n a g e m e n t . A u s e r c a n c h o o s e t h i s k e y .

� A n o p e r a t i o n a l k e y —T h e s y s t e m u s e s t h i s k e y i n o r d e r t o f o r m a g g r e g a t i o n s . A u s e r c a n n o t c h o o s e o r d i r e c t l y c h a n g e t h i s k e y . T h e s e t o f p o r t s i n a s y s t e m t h a t s h a r e t h e s a m e o p e r a t i o n a l k e y v a l u e a r e s a i d t o b e m e m b e r s o f t h e s a m e k e y g r o u p .

I f y o u h a v e t w o s y s t e m s a n d a s e t o f p o r t s w i t h t h e s a m e a d m i n i s t r a t i v e k e y , e a c h s y s t e m t r i e s t o a g g r e g a t e t h e p o r t s . E a c h s y s t e m s t a r t s f r o m t h e p o r t w i t h t h e h i g h e s t p r i o r i t y i n t h e h i g h e s t -p r i o r i t y s y s t e m . T h i s b e h a v i o r i s p o s s i b l e b e c a u s e e a c h s y s t e m k n o w s i t s o w n p r i o r i t y , w h i c h e i t h e r t h e u s e r o r t h e s y s t e m h a s a s s i g n e d , a n d i t s p a r t n e r p r i o r i t y , w h i c h w a s d i s c o v e r e d t h r o u g h L A C P p a c k e t s . B e h a v ior in F a il ure F a i l u r e b e h a v i o r f o r L A C P i s t h e s a m e a s t h e b e h a v i o r f o r P A g P . I f a l i n k i n a n e x i s t i n g c h a n n e l i s f a i l e d , t h e a g p o r t i s u p d a t e d a n d t h e t r a f f i c i s h a s h e d o v e r t h e r e m a i n i n g l i n k s w i t h i n o n e s e c o n d . A l i n k c a n f a i l f o r t h e s e a n d o t h e r r e a s o n s :

� A p o r t i s u n p l u g g e d � A G B I C i s r e m o v e d � A f i b e r i s b r o k e n � H a r d w a r e f a i l u r e ( i n t e r f a c e o r m o d u l e )

A n y t r a f f i c t h a t d o e s n o t n e e d t o b e r e h a s h e d a f t e r t h e f a i l u r e ( t r a f f i c t h a t c o n t i n u e s t o s e n d o n t h e s a m e l i n k ) d o e s n o t s u f f e r a n y l o s s . R e s t o r a t i o n o f t h e f a i l e d l i n k t r i g g e r s a n o t h e r u p d a t e t o t h e a g p o r t , a n d t r a f f i c i s h a s h e d a g a i n . C onf ig ura tion O p tions L A C P E t h e r C h a n n e l s c a n b e c o n f i g u r e d i n d i f f e r e n t m o d e s , a s t h i s t a b l e s u m m a r i z e s :

M ode C onf ig ura b l e O p tions

T h e l i n k a g g r e g a t i o n i s f o r c e d t o b e f o r m e d

P a g e 50 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 51: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

V e rif ica tion ( L A C P a nd L A C P ) T h e t a b l e i n t h i s s e c t i o n d e p i c t s a s u m m a r y o f a l l t h e p o s s i b l e L A C P c h a n n e l i n g m o d e s c e n a r i o s b e t w e e n t w o d i r e c t l y c o n n e c t e d s w i t c h e s ( S w i t c h -A a n d S w i t c h -B ) . S o m e o f t h e s e c o m b i n a t i o n s c a n c a u s e S T P t o p u t t h e p o r t s o n t h e c h a n n e l i n g s i d e i n t o t h e e r r d i s a b l e s t a t e . T h i s m e a n s t h a t s o m e o f t h e c o m b i n a t i o n s s h u t d o w n t h e p o r t s o n t h e c h a n n e l i n g s i d e .

O n w i t h o u t a n y L A C P n e g o t i a t i o n . T h e s w i t c h n e i t h e r s e n d s t h e L A C P p a c k e t n o r p r o c e s s e s a n y i n c o m i n g L A C P p a c k e t . I f t h e n e i g h b o r p o r t m o d e i s o n , a c h a n n e l i s f o r m e d .

O f f T h e p o r t i s n o t c h a n n e l i n g , r e g a r d l e s s o f h o w t h e n e i g h b o r i s c o n f i g u r e d .

P a s s i v e ( d e f a u l t )

T h i s i s s i m i l a r t o t h e a u t o m o d e i n P A g P . T h e s w i t c h d o e s n o t i n i t i a t e t h e c h a n n e l , b u t d o e s u n d e r s t a n d i n c o m i n g L A C P p a c k e t s . T h e p e e r ( i n a c t i v e s t a t e ) i n i t i a t e s n e g o t i a t i o n b y s e n d i n g o u t a n L A C P p a c k e t . T h e s w i t c h r e c e i v e s a n d r e p l i e s t o t h e p a c k e t , a n d e v e n t u a l l y f o r m s t h e a g g r e g a t i o n c h a n n e l w i t h t h e p e e r .

A c t i v e T h i s i s s i m i l a r t o t h e d e s i r a b l e m o d e i n P A g P . T h e s w i t c h i n i t i a t e s t h e n e g o t i a t i o n i n o r d e r t o f o r m a n a g l i n k . T h e l i n k a g g r e g a t e i s f o r m e d i f t h e o t h e r e n d r u n s i n L A C P a c t i v e o r p a s s i v e m o d e .

S w itch -A C h a nne l M ode

S w itch -B C h a nne l M ode

S w itch -A C h a nne l S ta te

S w itch -B C h a nne l S ta te

O n O n C h a n n e l ( n o n -L A C P )

C h a n n e l ( n o n -L A C P )

O n O f f N o t C h a n n e l ( e r r d i s a b l e )

N o t C h a n n e l

O n P a s s i v e N o t C h a n n e l ( e r r d i s a b l e )

N o t C h a n n e l

O n A c t i v e N o t C h a n n e l ( e r r d i s a b l e )

N o t C h a n n e l

O f f O f f N o t C h a n n e l N o t C h a n n e l N o t

P a g e 51 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 52: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

V e rif ica tion ( L A C P a nd P A g P ) T h e t a b l e i n t h i s s e c t i o n d e p i c t s a s u m m a r y o f a l l t h e p o s s i b l e L A C P -t o -P A g P c h a n n e l i n g m o d e s c e n a r i o s b e t w e e n t w o d i r e c t l y c o n n e c t e d s w i t c h e s ( S w i t c h -A a n d S w i t c h -B ) . S o m e o f t h e s e c o m b i n a t i o n s c a n c a u s e S T P t o p u t t h e p o r t s o n t h e c h a n n e l i n g s i d e i n t o t h e e r r d i s a b l e s t a t e . T h i s m e a n s t h a t s o m e o f t h e c o m b i n a t i o n s s h u t d o w n t h e p o r t s o n t h e c h a n n e l i n g s i d e .

O f f P a s s i v e N o t C h a n n e l C h a n n e l O f f A c t i v e N o t C h a n n e l N o t

C h a n n e l P a s s i v e P a s s i v e N o t C h a n n e l N o t

C h a n n e l P a s s i v e A c t i v e L A C P C h a n n e l L A C P C h a n n e l A c t i v e A c t i v e L A C P C h a n n e l L A C P C h a n n e l

S w itch -A C h a nne l M ode

S w itch -B C h a nne l M ode

S w itch -A C h a nne l S ta te

S w itch -B C h a nne l S ta te

O n O n C h a n n e l ( n o n -L A C P )

C h a n n e l ( n o n -P A g P )

O n O f f N o t C h a n n e l ( e r r d i s a b l e ) N o t C h a n n e l

O n A u t o N o t C h a n n e l ( e r r d i s a b l e ) N o t C h a n n e l

O n D e s i r a b l e N o t C h a n n e l ( e r r d i s a b l e ) N o t C h a n n e l

O f f O n N o t C h a n n e l N o t C h a n n e l ( e r r d i s a b l e ) O f f O f f N o t C h a n n e l N o t C h a n n e l O f f A u t o N o t C h a n n e l N o t C h a n n e l O f f D e s i r a b l e N o t C h a n n e l N o t C h a n n e l P a s s i v e O n N o t C h a n n e l N o t C h a n n e l ( e r r d i s a b l e ) P a s s i v e O f f N o t C h a n n e l N o t C h a n n e l P a s s i v e A u t o N o t C h a n n e l N o t C h a n n e l P a s s i v e D e s i r a b l e N o t C h a n n e l N o t C h a n n e l A c t i v e O n N o t C h a n n e l N o t C h a n n e l ( e r r d i s a b l e )

P a g e 52 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 53: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

R e com m e nda tion C i s c o r e c o m m e n d s t h a t y o u e n a b l e P A g P o n c h a n n e l c o n n e c t i o n s b e t w e e n C i s c o s w i t c h e s . W h e n y o u c h a n n e l t o d e v i c e s t h a t d o n o t s u p p o r t P A g P b u t s u p p o r t L A C P , e n a b l e L A C P t h r o u g h t h e c o n f i g u r a t i o n o f L A C P a c t i v e o n b o t h e n d s o f t h e d e v i c e s . I f e i t h e r e n d o f t h e d e v i c e s d o e s n o t s u p p o r t L A C P o r P A g P , y o u n e e d t o h a r d c o d e t h e c h a n n e l t o o n .

� set chan n el p r otocol l acp m od u l e

O n s w i t c h e s t h a t r u n C a t O S , a l l p o r t s o n a C a t a l y s t 450 0 / 40 0 0 a n d a C a t a l y s t 650 0 / 60 0 0 u s e c h a n n e l p r o t o c o l P A g P b y d e f a u l t a n d , a s s u c h , d o n o t r u n L A C P . I n o r d e r t o c o n f i g u r e p o r t s t o u s e L A C P , y o u n e e d t o s e t t h e c h a n n e l p r o t o c o l o n t h e m o d u l e s t o L A C P . L A C P a n d P A g P c a n n o t r u n o n t h e s a m e m o d u l e o n s w i t c h e s t h a t r u n C a t O S .

� set p or t l acp -chan n el port_ range ad m i n-k ey

A n a dm in k e y ( a d m i n i s t r a t i v e k e y ) p a r a m e t e r i s e x c h a n g e d i n t h e L A C P p a c k e t . A c h a n n e l o n l y f o r m s b e t w e e n p o r t s t h a t h a v e t h e s a m e a d m i n k e y . T h e s e t p ort l a cp -ch a nne l p o r t _ r ang e ad mi n-k ey c o m m a n d a s s i g n s c h a n n e l s a n a d m i n k e y n u m b e r . T h e s h ow l a cp -ch a nne l g roup c o m m a n d s h o w s t h e n u m b e r . T h e s e t p ort l a cp -ch a nne l p o r t _ r ang e ad mi n-k ey c o m m a n d a s s i g n s t h e s a m e a d m i n k e y t o a l l p o r t s i n t h e p o r t r a n g e . T h e a d m i n k e y i s r a n d o m l y a s s i g n e d i f a s p e c i f i c k e y i s n o t c o n f i g u r e d . T h e n , y o u c a n r e f e r t o t h e a d m i n k e y , i f d e s i r e d , i n o r d e r t o m a n a g e t h e a d d i t i o n a n d r e m o v a l o f c h a n n e l i n g p o r t s t o t h e s a m e a g p o r t .

� set p or t l acp -chan n el port_ range mod e acti v e

T h e s e t p ort l a cp -ch a nne l p o r t _ r ang e m ode a ctiv e c o m m a n d c h a n g e s t h e c h a n n e l m o d e t o a c t i v e f o r a s e t o f p o r t s t h a t w e r e p r e v i o u s l y a s s i g n e d t h e s a m e a d m i n k e y .

A d d i t i o n a l l y , L A C P u t i l i z e s a 30 -s e c o n d i n t e r v a l t i m e r ( S l o w _ P e r i o d i c _ T i m e ) a f t e r t h e L A C P E t h e r C h a n n e l s a r e e s t a b l i s h e d . T h e n u m b e r o f s e c o n d s b e f o r e i n v a l i d a t i o n o f r e c e i v e d L A C P D U i n f o r m a t i o n w i t h t h e u s e o f l o n g t i m e o u t s ( 3 x S l o w _ P e r i o d i c _ T i m e ) i s 90 . U s e U D L D , w h i c h i s a m o r e r a p i d d e t e c t o r o f u n i d i r e c t i o n a l l i n k s . Y o u c a n n o t a d j u s t t h e L A C P t i m e r s , a n d t o d a y y o u c a n n o t c o n f i g u r e t h e s w i t c h e s t o u s e t h e f a s t P D U t r a n s m i s s i o n ( e v e r y s e c o n d ) i n o r d e r t o m a i n t a i n t h e c h a n n e l a f t e r t h e c h a n n e l i s f o r m e d . O th e r O p tions I f y o u h a v e a m o d e l o f m i n i m a l a d m i n i s t r a t i o n a t t h e a c c e s s l a y e r , a c o m m o n c o n f i g u r a t i o n i s t o s e t t h e m o d e t o a c t i v e a t t h e d i s t r i b u t i o n a n d c o r e l a y e r s . L e a v e t h e a c c e s s l a y e r s w i t c h e s a t t h e d e f a u l t p a s s i v e c o n f i g u r a t i o n .

A c t i v e O f f N o t C h a n n e l N o t C h a n n e l A c t i v e A u t o N o t C h a n n e l N o t C h a n n e l A c t i v e D e s i r a b l e N o t C h a n n e l N o t C h a n n e l

P a g e 53 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 54: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

U nid irec tio na l L ink D etec tio n U D L D i s a C i s c o p r o p r i e t a r y , l i g h t w e i g h t p r o t o c o l t h a t w a s d e v e l o p e d t o d e t e c t i n s t a n c e s o f u n i d i r e c t i o n a l c o m m u n i c a t i o n s b e t w e e n d e v i c e s . A l t h o u g h t h e r e a r e o t h e r m e t h o d s t o d e t e c t t h e b i d i r e c t i o n a l s t a t e o f t r a n s m i s s i o n m e d i a , l i k e F E F I , t h e r e a r e c e r t a i n i n s t a n c e s i n w h i c h t h e L 1 d e t e c t i o n m e c h a n i s m s a r e n o t s u f f i c i e n t . T h e s e s c e n a r i o s c a n r e s u l t i n a n y o f t h e s e o c c u r r e n c e s :

� T h e u n p r e d i c t a b l e o p e r a t i o n o f S T P � I n c o r r e c t o r e x c e s s i v e f l o o d i n g o f p a c k e t s � T h e b l a c k h o l i n g o f t r a f f i c

T h e U D L D f e a t u r e i s i n t e n d e d t o a d d r e s s t h e s e f a u l t c o n d i t i o n s o n f i b e r a n d c o p p e r E t h e r n e t i n t e r f a c e s : � M o n i t o r p h y s i c a l c a b l i n g c o n f i g u r a t i o n s a n d s h u t d o w n a n y m i s w i r e d p o r t s a s e r r d i s a b l e . � P r o t e c t a g a i n s t u n i -d i r e c t i o n a l l i n k s . W h e n a u n i -d i r e c t i o n a l l i n k i s d e t e c t e d , d u e t o m e d i a o r p o r t / i n t e r f a c e m a l f u n c t i o n , t h e a f f e c t e d p o r t i s s h u t d o w n a s e r r d i s a b l e , a n d a c o r r e s p o n d i n g s y s l o g m e s s a g e g e n e r a t e d .

� F u r t h e r m o r e , U D L D a g g r e s s i v e m o d e c h e c k s t h a t a l i n k t h a t w a s p r e v i o u s l y d e e m e d b i d i r e c t i o n a l d o e s n o t l o s e c o n n e c t i v i t y d u r i n g c o n g e s t i o n a n d b e c o m e u n u s a b l e . U D L D p e r f o r m s o n g o i n g c o n n e c t i v i t y t e s t s a c r o s s t h e l i n k . T h e p r i m a r y p u r p o s e o f U D L D a g g r e s s i v e m o d e i s t o a v o i d t h e b l a c k h o l i n g o f t r a f f i c i n c e r t a i n f a i l e d c o n d i t i o n s .

S p a n n i n g T r e e , w i t h i t s s t e a d y s t a t e u n i d i r e c t i o n a l B P D U f l o w , w a s a n a c u t e s u f f e r e r f r o m t h e s e f a i l u r e s . I t i s e a s y t o s e e h o w a p o r t c a n s u d d e n l y b e u n a b l e t o t r a n s m i t B P D U s , c a u s i n g a n S T P s t a t e c h a n g e f r o m b l o c k i n g t o f o r w a r d i n g o n t h e n e i g h b o r . T h i s c h a n g e c r e a t e s a l o o p , s i n c e t h e p o r t i s s t i l l a b l e t o r e c e i v e . O p e ra tiona l O v e rv ie w U D L D i s a L 2 p r o t o c o l w o r k i n g a b o v e t h e L L C l a y e r ( d e s t i n a t i o n M A C 0 1-0 0 -0 c -c c -c c -c c , S N A P H D L C p r o t o c o l t y p e 0 x 0 111) . W h e n r u n n i n g U D L D i n c o m b i n a t i o n w i t h F E F I a n d a u t o n e g o t i a t i o n L 1 m e c h a n i s m s , i t i s p o s s i b l e t o v a l i d a t e t h e p h y s i c a l ( L 1) a n d l o g i c a l ( L 2) i n t e g r i t y o f a l i n k . U D L D h a s p r o v i s i o n s f o r f e a t u r e s a n d p r o t e c t i o n t h a t F E F I a n d a u t o n e g o t i a t i o n c a n n o t p e r f o r m , n a m e l y t h e d e t e c t i o n a n d c a c h i n g o f n e i g h b o r i n f o r m a t i o n , t h e a b i l i t y t o s h u t d o w n a n y m i s c o n n e c t e d p o r t s , a n d d e t e c t l o g i c a l i n t e r f a c e / p o r t m a l f u n c t i o n s o r f a u l t s o n l i n k s t h a t a r e n o t p o i n t -t o -p o i n t ( t h o s e t r a v e r s i n g m e d i a -c o n v e r t e r s o r h u b s ) . U D L D e m p l o y s t w o b a s i c m e c h a n i s m s ; i t l e a r n s a b o u t t h e n e i g h b o r s , a n d k e e p s t h e i n f o r m a t i o n u p -t o -d a t e i n a l o c a l c a c h e , a n d s e n d s a t r a i n o f U D L D p r o b e / e c h o ( h e l l o ) m e s s a g e s w h e n e v e r i t d e t e c t s a n e w n e i g h b o r o r w h e n e v e r a n e i g h b o r r e q u e s t s a r e -s y n c h r o n i z a t i o n o f t h e c a c h e . U D L D c o n s t a n t l y s e n d s p r o b e m e s s a g e s o n a l l p o r t s o n w h i c h U D L D i s e n a b l e d . W h e n e v e r a s p e c i f i c " t r i g g e r i n g " U D L D m e s s a g e i s r e c e i v e d o n a p o r t , a d e t e c t i o n p h a s e a n d v a l i d a t i o n p r o c e s s b e g i n s . I f a t t h e e n d o f t h i s p r o c e s s a l l v a l i d c o n d i t i o n s a r e m e t , t h e p o r t s t a t e i s n o t a l t e r e d . I n o r d e r t o m e e t t h e c o n d i t i o n s , t h e p o r t m u s t b e b i d i r e c t i o n a l a n d c o r r e c t l y w i r e d . O t h e r w i s e , t h e p o r t i s e r r d i s a b l e , a n d a

P a g e 54 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 55: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

s y s l o g m e s s a g e d i s p l a y s . T h e s y s l o g m e s s a g e i s s i m i l a r t o t h e s e m e s s a g e s : � U D L D -3-D I S A B L E : U n i d i r e c t i o n a l l i n k d e t e c t e d o n p o r t [ d e c ] / [ d e c ] . P o r t d i s a b l e d

� U D L D -4-O N E W A Y P A T H : A u n i d i r e c t i o n a l l i n k f r o m p o r t [ d e c ] / [ d e c ] t o p o r t [ d e c ] / [ d e c ] o f d e v i c e [ c h a r s ] w a s d e t e c t e d

R e f e r t o M e s s a g e s a n d R e c o v e r y P r o c e d u r e s ( C a t a l y s t s e r i e s s w i t c h e s , 7.6) f o r a c o m p l e t e l i s t o f s y s t e m m e s s a g e s b y f a c i l i t y , w h i c h i n c l u d e s U D L D e v e n t s . A f t e r a l i n k i s e s t a b l i s h e d a n d c l a s s e d a s b i d i r e c t i o n a l , U D L D c o n t i n u e s t o a d v e r t i s e p r o b e / e c h o m e s s a g e s a t a d e f a u l t i n t e r v a l o f 15 s e c o n d s . T h i s t a b l e r e p r e s e n t s v a l i d U D L D l i n k s t a t e s a s r e p o r t e d i n t h e o u t p u t o f t h e s h ow udl d p ort c o m m a n d :

� N e ig h b or C a ch e M a inte na nce —U D L D p e r i o d i c a l l y s e n d s h e l l o p r o b e / e c h o p a c k e t s o n e v e r y a c t i v e i n t e r f a c e , i n o r d e r t o m a i n t a i n t h e i n t e g r i t y o f t h e U D L D n e i g h b o r c a c h e . W h e n e v e r a h e l l o m e s s a g e i s r e c e i v e d , i t i s c a c h e d a n d k e p t i n m e m o r y f o r a m a x i m u m p e r i o d d e f i n e d a s t h e h o l d -t i m e . W h e n t h e h o l d -t i m e e x p i r e s , t h e r e s p e c t i v e c a c h e e n t r y i s a g e d o u t . I f a n e w h e l l o m e s s a g e i s r e c e i v e d w i t h i n t h e h o l d -t i m e p e r i o d , t h e n e w o n e r e p l a c e s t h e o l d e r e n t r y a n d t h e c o r r e s p o n d i n g t i m e -t o -l i v e t i m e r i s r e s e t .

� I n o r d e r t o m a i n t a i n t h e i n t e g r i t y o f t h e U D L D c a c h e , w h e n e v e r a U D L D -e n a b l e d i n t e r f a c e g e t s d i s a b l e d o r a d e v i c e i s r e s e t , a l l e x i s t i n g c a c h e e n t r i e s f o r t h e i n t e r f a c e s a f f e c t e d b y t h e c o n f i g u r a t i o n c h a n g e a r e c l e a r e d a n d U D L D t r a n s m i t s a t l e a s t o n e m e s s a g e t o i n f o r m r e s p e c t i v e n e i g h b o r s t o f l u s h t h e c o r r e s p o n d i n g c a c h e e n t r i e s .

� E ch o D e te ction M e ch a nis m —t h e e c h o i n g m e c h a n i s m f o r m s t h e b a s i s o f t h e d e t e c t i o n a l g o r i t h m . W h e n e v e r a U D L D d e v i c e l e a r n s a b o u t a n e w n e i g h b o r o r r e c e i v e s a r e s y n c h r o n i z a t i o n r e q u e s t f r o m a n o u t -o f -s y n c h n e i g h b o r , i t s t a r t s / r e s t a r t s t h e d e t e c t i o n w i n d o w o n i t s s i d e o f t h e c o n n e c t i o n a n d s e n d s a b u r s t o f e c h o m e s s a g e s i n r e p l y . S i n c e t h i s b e h a v i o r m u s t b e t h e s a m e a c r o s s a l l n e i g h b o r s , t h e e c h o s e n d e r e x p e c t s t o r e c e i v e e c h o s b a c k i n r e p l y . I f t h e d e t e c t i o n w i n d o w e n d s a n d n o v a l i d r e p l y m e s s a g e h a s b e e n r e c e i v e d , t h e l i n k i s c o n s i d e r e d u n i d i r e c t i o n a l , a n d a l i n k r e -e s t a b l i s h m e n t o r p o r t s h u t d o w n p r o c e s s c a n b e t r i g g e r e d .

C onv e rg e nce T im e

P ort S ta te C om m e nt

U n d e t e r m i n e d D e t e c t i o n i n p r o g r e s s , o r a n e i g h b o r i n g U D L D e n t i t y h a s b e e n d i s a b l e d o r i t s t r a n s m i s s i o n h a s b e e n b l o c k e d .

N o t a p p l i c a b l e U D L D h a s b e e n d i s a b l e d .

S h u t d o w n U n i d i r e c t i o n a l l i n k h a s b e e n d e t e c t e d a n d t h e p o r t d i s a b l e d .

B i d i r e c t i o n a l B i d i r e c t i o n a l l i n k h a s b e e n d e t e c t e d .

P a g e 55 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 56: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

I n o r d e r t o p r e v e n t S T P l o o p s , C a t O S 5.4( 3) r e d u c e d t h e U D L D d e f a u l t m e s s a g e i n t e r v a l f r o m 60 s e c o n d s t o 15 s e c o n d s i n o r d e r t o s h u t d o w n a u n i d i r e c t i o n a l l i n k b e f o r e a b l o c k e d p o r t w a s a b l e t o t r a n s i t i o n t o a f o r w a r d i n g s t a t e . N ote : T h e m e s s a g e i n t e r v a l v a l u e d e t e r m i n e s t h e r a t e a t w h i c h a n e i g h b o r s e n d s U D L D p r o b e s a f t e r t h e l i n k u p o r d e t e c t i o n p h a s e . T h e m e s s a g e i n t e r v a l d o e s n o t n e e d t o m a t c h o n b o t h e n d s o f a l i n k , a l t h o u g h c o n s i s t e n t c o n f i g u r a t i o n i s d e s i r a b l e w h e r e p o s s i b l e . W h e n U D L D n e i g h b o r s a r e e s t a b l i s h e d , t h e c o n f i g u r e d m e s s a g e i n t e r v a l i s s e n t a n d t h e t i m e o u t i n t e r v a l f o r t h a t p e e r i s c a l c u l a t e d t o b e ( 3 * m e s s a g e _ i n t e r v a l ) . T h e r e f o r e , a p e e r r e l a t i o n s h i p t i m e s o u t a f t e r t h r e e c o n s e c u t i v e h e l l o s ( o r p r o b e s ) a r e m i s s e d . W i t h t h e m e s s a g e i n t e r v a l s d i f f e r e n t o n e a c h s i d e , t h i s t i m e o u t v a l u e i s d i f f e r e n t o n e a c h s i d e . T h e a p p r o x i m a t e t i m e t h a t i s n e c e s s a r y f o r U D L D t o d e t e c t a u n i d i r e c t i o n a l f a i l u r e i s a p p r o x i m a t e l y ( 2.5 * m e s s a g e _ i n t e r v a l + 4 s e c o n d s ) , o r a b o u t 41 s e c o n d s w i t h u s e o f t h e d e f a u l t m e s s a g e i n t e r v a l o f 15 s e c o n d s . T h i s i s w e l l b e l o w t h e 50 s e c o n d s t h a t a r e u s u a l l y n e c e s s a r y f o r S T P t o r e c o n v e r g e . I f t h e N M P C P U h a s s o m e s p a r e c y c l e s a n d i f y o u c a r e f u l l y m o n i t o r i t s u t i l i z a t i o n l e v e l , y o u c a n r e d u c e t h e m e s s a g e i n t e r v a l ( e v e n ) t o t h e m i n i m u m o f 7 s e c o n d s . T h i s m e s s a g e i n t e r v a l h e l p s s p e e d u p t h e d e t e c t i o n b y a s i g n i f i c a n t f a c t o r . T h e r e f o r e , U D L D h a s a n a s s u m e d d e p e n d e n c y o n d e f a u l t s p a n n i n g t r e e t i m e r s . I f y o u t u n e S T P t o c o n v e r g e m o r e r a p i d l y t h a n U D L D , c o n s i d e r a n a l t e r n a t e m e c h a n i s m , s u c h a s t h e C a t O S 6.2 l o o p g u a r d f e a t u r e . A l s o c o n s i d e r a n a l t e r n a t e m e c h a n i s m w h e n y o u i m p l e m e n t R S T P ( I E E E 80 2.1w ) b e c a u s e R S T P h a s c o n v e r g e n c e c h a r a c t e r i s t i c s i n t h e m i l l i s e c o n d s , w h i c h d e p e n d s o n t h e t o p o l o g y . F o r t h e s e i n s t a n c e s , u s e l o o p g u a r d i n c o n j u n c t i o n w i t h U D L D , w h i c h p r o v i d e s t h e m o s t p r o t e c t i o n . L o o p g u a r d p r e v e n t s S T P l o o p s w i t h t h e s p e e d o f t h e S T P v e r s i o n t h a t i s i n u s e , a n d U D L D d e t e c t s u n i d i r e c t i o n a l c o n n e c t i o n s o n i n d i v i d u a l E t h e r C h a n n e l l i n k s o r i n c a s e s i n w h i c h B P D U s d o n o t f l o w a l o n g t h e b r o k e n d i r e c t i o n . N ote : U D L D d o e s n o t c a t c h e v e r y S T P f a i l u r e s i t u a t i o n , s u c h a s f a i l u r e s t h a t a r e c a u s e d b y a C P U t h a t d o e s n o t s e n d B P D U s f o r a t i m e g r e a t e r t h a n ( 2 * F w d D e l a y + M a x a g e ) . F o r t h i s r e a s o n , C i s c o r e c o m m e n d s t h a t y o u i m p l e m e n t U D L D i n c o n j u n c t i o n w i t h l o o p g u a r d ( w h i c h w a s i n t r o d u c e d i n C a t O S 6.2) i n t o p o l o g i e s t h a t r e l y o n S T P .

C a ution: B e w a r e o f e a r l i e r r e l e a s e s o f U D L D t h a t u s e a n o n c o n f i g u r a b l e 60 -s e c o n d d e f a u l t m e s s a g e i n t e r v a l . T h e s e r e l e a s e s a r e s u s c e p t i b l e t o s p a n n i n g -t r e e l o o p c o n d i t i o n s . U D L D A g g re s s iv e M ode A g g r e s s i v e U D L D w a s c r e a t e d i n o r d e r t o s p e c i f i c a l l y a d d r e s s t h o s e ( f e w ) c a s e s i n w h i c h a n o n g o i n g t e s t o f b i d i r e c t i o n a l c o n n e c t i v i t y i s n e c e s s a r y . A s s u c h , t h e a g g r e s s i v e m o d e f e a t u r e p r o v i d e s e n h a n c e d p r o t e c t i o n a g a i n s t d a n g e r o u s u n i d i r e c t i o n a l l i n k c o n d i t i o n s i n t h e s e s i t u a t i o n s :

� W h e n t h e l o s s o f U D L D P D U s i s s y m m e t r i c a l a n d b o t h e n d s t i m e o u t , n e i t h e r p o r t i s e r r d i s a b l e d . � O n e s i d e o f a l i n k h a s a p o r t s t u c k ( b o t h t r a n s m i t [ T x ] a n d R x ) . � O n e s i d e o f a l i n k r e m a i n s u p w h i l e t h e o t h e r s i d e o f t h e l i n k h a s g o n e d o w n . � A u t o n e g o t i a t i o n , o r a n o t h e r L 1 f a u l t -d e t e c t i o n m e c h a n i s m , i s d i s a b l e d .

P a g e 56 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 57: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

� A r e d u c t i o n o f t h e r e l i a n c e o n L 1 F E F I m e c h a n i s m s i s d e s i r a b l e . � M a x i m u m p r o t e c t i o n a g a i n s t u n i d i r e c t i o n a l l i n k f a i l u r e s o n p o i n t -t o -p o i n t F E / G E l i n k s i s n e c e s s a r y . S p e c i f i c a l l y , w h e r e n o f a i l u r e b e t w e e n t w o n e i g h b o r s i s a d m i s s i b l e , U D L D -a g g r e s s i v e p r o b e s c a n b e c o n s i d e r e d a s a “h e a r t b e a t ”, t h e p r e s e n c e o f w h i c h g u a r a n t e e s t h e h e a l t h o f t h e l i n k .

T h e m o s t c o m m o n c a s e f o r a n i m p l e m e n t a t i o n o f a g g r e s s i v e U D L D i s i n o r d e r t o p e r f o r m t h e c o n n e c t i v i t y c h e c k o n a m e m b e r o f a b u n d l e w h e n a u t o n e g o t i a t i o n o r a n o t h e r L 1 f a u l t -d e t e c t i o n m e c h a n i s m i s d i s a b l e d o r u n u s a b l e . T h i s i s p a r t i c u l a r l y t r u e w i t h E t h e r C h a n n e l c o n n e c t i o n s b e c a u s e P A g P / L A C P , e v e n i f e n a b l e d , d o n o t u s e v e r y l o w h e l l o t i m e r s a t s t e a d y s t a t e . I n t h i s c a s e , a g g r e s s i v e U D L D h a s t h e a d d e d b e n e f i t o f p r e v e n t i o n o f p o s s i b l e s p a n n i n g -t r e e l o o p s . T h e c i r c u m s t a n c e s t h a t c o n t r i b u t e t o t h e s y m m e t r i c a l l o s s o f U D L D p r o b e p a c k e t s a r e m o r e d i f f i c u l t t o c h a r a c t e r i z e . Y o u m u s t u n d e r s t a n d t h a t n o r m a l U D L D d o e s c h e c k f o r a u n i d i r e c t i o n a l l i n k c o n d i t i o n , e v e n a f t e r a l i n k r e a c h e s b i d i r e c t i o n a l s t a t u s . T h e i n t e n t i o n o f U D L D i s t o d e t e c t L 2 p r o b l e m s t h a t c a u s e S T P l o o p s , a n d t h o s e p r o b l e m s a r e u s u a l l y u n i d i r e c t i o n a l b e c a u s e B P D U s f l o w o n l y i n o n e d i r e c t i o n a t s t e a d y s t a t e . T h e r e f o r e , t h e u s e o f n o r m a l U D L D i n c o n j u n c t i o n w i t h a u t o n e g o t i a t i o n a n d l o o p g u a r d ( f o r n e t w o r k s t h a t r e l y o n S T P ) i s a l m o s t a l w a y s s u f f i c i e n t . H o w e v e r , U D L D a g g r e s s i v e m o d e i s b e n e f i c i a l i n s i t u a t i o n s i n w h i c h c o n g e s t i o n i s e q u a l l y a f f e c t e d i n b o t h d i r e c t i o n s , w h i c h c a u s e s t h e l o s s o f U D L D p r o b e s i n b o t h d i r e c t i o n s . F o r e x a m p l e , t h i s l o s s o f U D L D p r o b e s c a n o c c u r i f C P U u t i l i z a t i o n o n e a c h e n d o f t h e l i n k i s e l e v a t e d . O t h e r e x a m p l e s o f b i d i r e c t i o n a l l o s s o f c o n n e c t i v i t y i n c l u d e t h e f a u l t o f o n e o f t h e s e d e v i c e s :

� A D e n s e W a v e l e n g t h D i v i s i o n M u l t i p l e x i n g ( D W D M ) t r a n s p o n d e r � A m e d i a c o n v e r t e r � A h u b � A n o t h e r L 1 d e v i c e N ote : T h e f a u l t c a n n o t b e d e t e c t e d b y a u t o n e g o t i a t i o n .

A g g r e s s i v e U D L D e r r o r d i s a b l e s t h e p o r t i n t h e s e f a i l u r e s i t u a t i o n s . C o n s i d e r t h e r a m i f i c a t i o n s c a r e f u l l y w h e n y o u e n a b l e U D L D a g g r e s s i v e m o d e o n l i n k s t h a t a r e n o t p o i n t -t o -p o i n t . L i n k s w i t h m e d i a c o n v e r t e r s , h u b s , o r s i m i l a r d e v i c e s a r e n o t p o i n t -t o -p o i n t . I n t e r m e d i a t e d e v i c e s c a n p r e v e n t t h e f o r w a r d i n g o f U D L D p a c k e t s a n d f o r c e a l i n k t o b e s h u t d o w n u n n e c e s s a r i l y . A f t e r a l l t h e n e i g h b o r s o f a p o r t h a v e a g e d o u t , U D L D a g g r e s s i v e m o d e ( i f i t i s e n a b l e d ) r e s t a r t s t h e l i n k u p s e q u e n c e i n a n e f f o r t t o r e s y n c h r o n i z e w i t h a n y p o t e n t i a l l y o u t -o f -s y n c n e i g h b o r s . T h i s e f f o r t t a k e s p l a c e i n e i t h e r t h e a d v e r t i s e m e n t o r t h e d e t e c t i o n p h a s e . I f a f t e r a f a s t t r a i n o f m e s s a g e s ( e i g h t f a i l e d r e t r i e s ) t h e l i n k i s s t i l l d e e m e d " u n d e t e r m i n e d " , t h e p o r t i s t h e n p u t i n t o e r r d i s a b l e s t a t e . N ote : S o m e s w i t c h e s a r e n o t a g g r e s s i v e U D L D -c a p a b l e . C u r r e n t l y , t h e C a t a l y s t 290 0 X L a n d C a t a l y s t 350 0 X L h a v e h a r d -c o d e d m e s s a g e i n t e r v a l s o f 60 s e c o n d s . T h i s i n t e r v a l i s n o t c o n s i d e r e d s u f f i c i e n t l y f a s t t o p r o t e c t a g a i n s t p o t e n t i a l S T P l o o p s ( w i t h u s e o f t h e d e f a u l t S T P p a r a m e t e r s ) . U D L D on R oute d L ink s F o r t h e p u r p o s e o f t h i s d i s c u s s i o n , a r o u t e d l i n k i s o n e o f t w o c o n n e c t i o n t y p e s :

P a g e 57 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 58: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

� P o i n t -t o -p o i n t b e t w e e n t w o r o u t e r n o d e s T h i s l i n k i s c o n f i g u r e d w i t h a 30 -b i t s u b n e t m a s k .

� A V L A N w i t h m u l t i p l e p o r t s b u t t h a t s u p p o r t s o n l y r o u t e d c o n n e c t i o n s A n e x a m p l e i s a s p l i t L 2 c o r e t o p o l o g y .

E a c h I n t e r i o r G a t e w a y R o u t i n g P r o t o c o l ( I G R P ) h a s u n i q u e c h a r a c t e r i s t i c s w i t h r e s p e c t t o h o w i t h a n d l e s n e i g h b o r r e l a t i o n s h i p s a n d r o u t e c o n v e r g e n c e . T h e c h a r a c t e r i s t i c s , w h i c h t h i s s e c t i o n d i s c u s s e s , a r e r e l e v a n t w h e n y o u c o n t r a s t t w o o f t h e m o r e p r e v a l e n t r o u t i n g p r o t o c o l s t h a t a r e u s e d t o d a y , O p e n S h o r t e s t P a t h F i r s t ( O S P F ) P r o t o c o l a n d E n h a n c e d I G R P ( E I G R P ) . F i r s t , n o t e t h a t a n L 1 o r L 2 f a i l u r e o n a n y p o i n t -t o -p o i n t r o u t e d n e t w o r k r e s u l t s i n t h e a l m o s t i m m e d i a t e t e a r d o w n o f t h e L 3 c o n n e c t i o n . B e c a u s e t h e o n l y s w i t c h p o r t i n t h a t V L A N t r a n s i t i o n s t o a n o t -c o n n e c t e d s t a t e u p o n t h e L 1/ L 2 f a i l u r e , t h e M S F C a u t o -s t a t e f e a t u r e s y n c h r o n i z e s t h e L 2 a n d L 3 p o r t s t a t e s i n a p p r o x i m a t e l y t w o s e c o n d s . T h i s s y n c h r o n i z a t i o n p l a c e s t h e L 3 V L A N i n t e r f a c e i n a n u p / d o w n s t a t e ( w i t h t h e l i n e p r o t o c o l d o w n ) . A s s u m e d e f a u l t t i m e r v a l u e s . O S P F s e n d s h e l l o m e s s a g e s e v e r y 10 s e c o n d s a n d h a s a d e a d i n t e r v a l o f 40 s e c o n d s ( 4 * h e l l o ) . T h e s e t i m e r s a r e c o n s i s t e n t f o r O S P F p o i n t -t o -p o i n t a n d b r o a d c a s t n e t w o r k s . B e c a u s e O S P F r e q u i r e s t w o -w a y c o m m u n i c a t i o n i n o r d e r t o f o r m a n a d j a c e n c y , t h e w o r s t -c a s e f a i l o v e r t i m e i s 40 s e c o n d s . T h i s f a i l o v e r i s t h e c a s e e v e n i f t h e L 1/ L 2 f a i l u r e i s n o t p u r e o n a p o i n t -t o -p o i n t c o n n e c t i o n , w h i c h l e a v e s a h a l f -o p e r a t i o n a l s c e n a r i o w i t h w h i c h t h e L 3 p r o t o c o l m u s t d e a l . B e c a u s e t h e d e t e c t i o n t i m e o f U D L D i s v e r y s i m i l a r t o t h e t i m e o f a n O S P F d e a d t i m e r t h a t e x p i r e s ( a b o u t 40 s e c o n d s ) , t h e a d v a n t a g e s o f c o n f i g u r a t i o n o f U D L D n o r m a l m o d e o n a n O S P F L 3 p o i n t -t o -p o i n t l i n k a r e l i m i t e d . I n m a n y c a s e s , E I G R P c o n v e r g e s f a s t e r t h a n O S P F . H o w e v e r , y o u m u s t n o t e t h a t t w o -w a y c o m m u n i c a t i o n i s n o t n e c e s s a r y i n o r d e r f o r n e i g h b o r s t o e x c h a n g e r o u t i n g i n f o r m a t i o n . I n v e r y s p e c i f i c h a l f -o p e r a t i o n a l f a i l u r e s c e n a r i o s , E I G R P i s v u l n e r a b l e t o t h e b l a c k h o l i n g o f t r a f f i c t h a t l a s t s u n t i l s o m e o t h e r e v e n t m a k e s t h e r o u t e s b y w a y o f t h a t n e i g h b o r " a c t i v e " . U D L D n o r m a l m o d e c a n a l l e v i a t e t h e c i r c u m s t a n c e s t h a t t h i s s e c t i o n n o t e s . U D L D n o r m a l m o d e d e t e c t s t h e u n i d i r e c t i o n a l l i n k f a i l u r e a n d e r r o r d i s a b l e s t h e p o r t . F o r L 3-r o u t e d c o n n e c t i o n s t h a t u s e a n y r o u t i n g p r o t o c o l , U D L D n o r m a l s t i l l p r o v i d e s p r o t e c t i o n a g a i n s t i s s u e s u p o n i n i t i a l l i n k a c t i v a t i o n . S u c h i s s u e s i n c l u d e m i s c a b l i n g o r f a u l t y h a r d w a r e . A d d i t i o n a l l y , U D L D a g g r e s s i v e m o d e p r o v i d e s t h e s e a d v a n t a g e s o n L 3-r o u t e d c o n n e c t i o n s :

� P r e v e n t s t h e u n n e c e s s a r y b l a c k h o l i n g o f t r a f f i c N ote : M i n i m u m t i m e r s a r e r e q u i r e d i n s o m e c a s e s .

� P l a c e s a f l a p p i n g l i n k i n t o t h e e r r d i s a b l e s t a t e � P r o t e c t s a g a i n s t l o o p s t h a t r e s u l t f r o m L 3 E t h e r C h a n n e l c o n f i g u r a t i o n s

D e f a ul t B e h a v ior of U D L D U D L D i s d i s a b l e d g l o b a l l y a n d e n a b l e d i n r e a d i n e s s o n f i b e r p o r t s b y d e f a u l t . B e c a u s e U D L D i s a n

P a g e 58 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 59: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

i n f r a s t r u c t u r e p r o t o c o l t h a t i s n e c e s s a r y b e t w e e n s w i t c h e s o n l y , U D L D i s d i s a b l e d b y d e f a u l t o n c o p p e r p o r t s . C o p p e r p o r t s t e n d t o b e u s e d f o r h o s t a c c e s s . N ote : U D L D m u s t b e e n a b l e d g l o b a l l y a n d a t t h e i n t e r f a c e l e v e l b e f o r e n e i g h b o r s c a n a c h i e v e b i d i r e c t i o n a l s t a t u s . I n C a t O S 5.4( 3) a n d l a t e r , t h e d e f a u l t m e s s a g e i n t e r v a l i s 15 s e c o n d s a n d i s c o n f i g u r a b l e b e t w e e n 7 a n d 90 s e c o n d s . E r r d i s a b l e r e c o v e r y i s g l o b a l l y d i s a b l e d b y d e f a u l t . A f t e r i t i s e n a b l e d g l o b a l l y , i f a p o r t g o e s i n t o e r r d i s a b l e s t a t e , t h e p o r t i s r e -e n a b l e d a u t o m a t i c a l l y a f t e r a s e l e c t e d t i m e i n t e r v a l . T h e d e f a u l t t i m e i s 30 0 s e c o n d s , w h i c h i s a g l o b a l t i m e r a n d m a i n t a i n e d f o r a l l p o r t s i n a s w i t c h . Y o u c a n m a n u a l l y p r e v e n t a p o r t r e -e n a b l e m e n t i f y o u s e t t h e e r r d i s a b l e t i m e o u t f o r t h a t p o r t t o d i s a b l e . I s s u e t h e s e t p ort e rrdis a b l e -tim e out mo d / p o r t dis a b l e c o m m a n d . N ote : U s e o f t h i s c o m m a n d d e p e n d s o n y o u r s o f t w a r e v e r s i o n . C o n s i d e r u s e o f t h e e r r d i s a b l e t i m e o u t f e a t u r e w h e n y o u i m p l e m e n t U D L D a g g r e s s i v e m o d e w i t h n o o u t -o f -b a n d n e t w o r k m a n a g e m e n t c a p a b i l i t i e s , p a r t i c u l a r l y i n t h e a c c e s s l a y e r o r o n a n y d e v i c e t h a t c a n b e c o m e i s o l a t e d f r o m t h e n e t w o r k i n t h e e v e n t o f a n e r r d i s a b l e s i t u a t i o n . R e f e r t o C o n f i g u r i n g E t h e r n e t , F a s t E t h e r n e t , G i g a b i t E t h e r n e t , a n d 10 -G i g a b i t E t h e r n e t S w i t c h i n g f o r m o r e d e t a i l s o n h o w t o c o n f i g u r e a t i m e o u t p e r i o d f o r p o r t s t h a t a r e i n t h e e r r d i s a b l e s t a t e . R e com m e nda tion N o r m a l m o d e U D L D i s s u f f i c i e n t i n t h e v a s t m a j o r i t y o f c a s e s i f y o u u s e i t p r o p e r l y a n d i n c o n j u n c t i o n w i t h t h e a p p r o p r i a t e f e a t u r e s a n d p r o t o c o l s . T h e s e f e a t u r e s / p r o t o c o l s i n c l u d e :

� F E F I � A u t o n e g o t i a t i o n � L o o p g u a r d

W h e n y o u d e p l o y U D L D , c o n s i d e r i f a n o n g o i n g t e s t o f b i d i r e c t i o n a l c o n n e c t i v i t y ( a g g r e s s i v e m o d e ) i s n e c e s s a r y . T y p i c a l l y , i f a u t o n e g o t i a t i o n i s e n a b l e d , a g g r e s s i v e m o d e i s n o t n e c e s s a r y b e c a u s e a u t o n e g o t i a t i o n c o m p e n s a t e s f o r t h e f a u l t d e t e c t i o n a t L 1. C i s c o r e c o m m e n d s t h e e n a b l e m e n t o f U D L D n o r m a l m o d e o n a l l p o i n t -t o -p o i n t F E / G E l i n k s b e t w e e n C i s c o s w i t c h e s i n w h i c h t h e U D L D m e s s a g e i n t e r v a l i s s e t t o t h e 15-s e c o n d d e f a u l t . T h i s c o n f i g u r a t i o n a s s u m e s t h e d e f a u l t 80 2.1d s p a n n i n g t r e e t i m e r s . A d d i t i o n a l l y , u s e U D L D i n c o n j u n c t i o n w i t h l o o p g u a r d i n n e t w o r k s t h a t r e l y o n S T P f o r r e d u n d a n c y a n d c o n v e r g e n c e . T h i s r e c o m m e n d a t i o n a p p l i e s t o n e t w o r k s i n w h i c h t h e r e a r e o n e o r m o r e p o r t s i n t h e S T P b l o c k i n g s t a t e i n t h e t o p o l o g y . I s s u e t h e s e c o m m a n d s i n o r d e r t o e n a b l e U D L D :

set u d l d en ab l e !--- A f t e r g l o b a l e n a b l e m e n t , a l l F E a n d G E f i b e r !--- p o r t s h a v e U D L D e n a b l e d b y d e f a u l t .

P a g e 59 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 60: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

set u d l d en ab l e port range !--- T h i s i s f o r a d d i t i o n a l s p e c i f i c p o r t s a n d c o p p e r m e d i a , i f n e e d e d .

Y o u m u s t m a n u a l l y e n a b l e p o r t s t h a t a r e e r r o r d i s a b l e d b e c a u s e o f u n i d i r e c t i o n a l l i n k s y m p t o m s . I s s u e t h e s e t p ort e na b l e c o m m a n d . R e f e r t o U n d e r s t a n d i n g a n d C o n f i g u r i n g t h e U n i d i r e c t i o n a l L i n k D e t e c t i o n P r o t o c o l ( U D L D ) F e a t u r e f o r m o r e d e t a i l s . O th e r O p tions F o r m a x i m u m p r o t e c t i o n a g a i n s t s y m p t o m s t h a t r e s u l t f r o m u n i d i r e c t i o n a l l i n k s , c o n f i g u r e a g g r e s s i v e m o d e U D L D :

set u d l d ag g r essi v e-mod e en ab l e port_ range

A d d i t i o n a l l y , y o u c a n t u n e t h e U D L D m e s s a g e i n t e r v a l v a l u e b e t w e e n 7 a n d 90 s e c o n d s a t e a c h e n d , w h e r e s u p p o r t e d , f o r f a s t e r c o n v e r g e n c e :

set u d l d i n ter v al ti m e

C o n s i d e r u s e o f t h e e r r d i s a b l e t i m e o u t f e a t u r e o n a n y d e v i c e t h a t c a n b e c o m e i s o l a t e d f r o m t h e n e t w o r k i n t h e e v e n t o f a n e r r d i s a b l e s i t u a t i o n . T h i s s i t u a t i o n i s t y p i c a l l y t r u e o f t h e a c c e s s l a y e r a n d w h e n y o u i m p l e m e n t U D L D a g g r e s s i v e m o d e w i t h n o o u t -o f -b a n d n e t w o r k m a n a g e m e n t c a p a b i l i t i e s . I f a p o r t i s p l a c e d i n e r r d i s a b l e s t a t e , t h e p o r t r e m a i n s d o w n b y d e f a u l t . Y o u c a n i s s u e t h i s c o m m a n d , w h i c h r e -e n a b l e s p o r t s a f t e r a t i m e o u t i n t e r v a l : N ote : T h e t i m e o u t i n t e r v a l i s 30 0 s e c o n d s b y d e f a u l t .

>set er r d i sab l e-ti meou t en ab l e ? b p d u -g u a r d !--- T h i s i s B P D U p o r t -g u a r d . c h a n n e l -m i s c o n f i g !--- T h i s i s a c h a n n e l m i s c o n f i g u r a t i o n . d u p l e x -m i s m a t c h u d l d o t h e r !--- T h e s e a r e o t h e r r e a s o n s . a l l

P a g e 60 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 61: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

!--- A p p l y e r r d i s a b l e t i m e o u t t o a l l r e a s o n s .

I f t h e p a r t n e r d e v i c e i s n o t U D L D -c a p a b l e , s u c h a s a n e n d h o s t o r r o u t e r , d o n o t r u n t h e p r o t o c o l . I s s u e t h i s c o m m a n d :

set u d l d d i sab l e port_ range

T e s t a nd M onitor U D L D U D L D i s n o t e a s y t o t e s t w i t h o u t a g e n u i n e l y f a u l t y / u n i d i r e c t i o n a l c o m p o n e n t i n t h e l a b , s u c h a s a d e f e c t i v e G B I C . T h e p r o t o c o l w a s d e s i g n e d t o d e t e c t l e s s -c o m m o n f a i l u r e s c e n a r i o s t h a n t h o s e s c e n a r i o s t h a t a r e u s u a l l y e m p l o y e d i n a l a b . F o r e x a m p l e , i f y o u p e r f o r m a s i m p l e t e s t a n d u n p l u g o n e s t r a n d o f a f i b e r i n o r d e r t o s e e t h e d e s i r e d e r r d i s a b l e s t a t e , y o u n e e d t o h a v e t u r n e d o f f L 1 a u t o n e g o t i a t i o n . O t h e r w i s e , t h e p h y s i c a l p o r t g o e s d o w n , w h i c h r e s e t s U D L D m e s s a g e c o m m u n i c a t i o n . T h e r e m o t e e n d m o v e s t o t h e u n d e t e r m i n e d s t a t e i n U D L D n o r m a l . I f y o u u s e U D L D a g g r e s s i v e m o d e , t h e r e m o t e e n d m o v e s t o t h e e r r d i s a b l e s t a t e . T h e r e i s a n a d d i t i o n a l t e s t m e t h o d t o s i m u l a t e n e i g h b o r P D U l o s s f o r U D L D . U s e M A C -l a y e r f i l t e r s i n o r d e r t o b l o c k t h e U D L D / C D P h a r d w a r e a d d r e s s b u t a l l o w o t h e r a d d r e s s e s t o p a s s . I n o r d e r t o m o n i t o r U D L D , i s s u e t h e s e c o m m a n d s :

>show u d l d U D L D : e n a b l e d M e s s a g e I n t e r v a l : 15 s e c o n d s >show u d l d p or t 3 /1 U D L D : e n a b l e d M e s s a g e I n t e r v a l : 15 s e c o n d s P o r t A d m i n S t a t u s A g g r e s s i v e M o d e L i n k S t a t e -------- ------------ --------------- ---------------- 3/ 1 e n a b l e d d i s a b l e d b i d i r e c t i o n a l

A l s o f r o m e n a b l e m o d e , y o u c a n i s s u e t h e h i d d e n s h ow udl d ne ig h b or c o m m a n d i n o r d e r t o c h e c k t h e U D L D c a c h e c o n t e n t s ( i n t h e w a y t h a t C D P d o e s ) . A c o m p a r i s o n o f t h e U D L D c a c h e t o t h e C D P c a c h e i n o r d e r t o v e r i f y i f t h e r e i s a p r o t o c o l -s p e c i f i c a n o m a l y i s o f t e n u s e f u l . W h e n e v e r C D P i s a l s o a f f e c t e d , a l l P D U s / B P D U s a r e t y p i c a l l y a f f e c t e d . T h e r e f o r e , c h e c k S T P a l s o . F o r e x a m p l e , c h e c k f o r r e c e n t r o o t i d e n t i t y c h a n g e s o r r o o t / d e s i g n a t e d p o r t p l a c e m e n t c h a n g e s .

>show u d l d n ei g hb or 3 /1 P o r t D e v i c e N a m e D e v i c e I D P o r t -I D O p e r S t a t e ----- --------------------- ------------ ------- ---------- 3/ 1 T S C 0 7 117 119 M ( S w i t c h ) 0 0 0 c 8 6 a 50 433 3/ 1 b i d i r e c t i o n a l

F u r t h e r m o r e , y o u c a n m o n i t o r t h e U D L D s t a t u s a n d c o n f i g u r a t i o n c o n s i s t e n c y w i t h u s e o f t h e C i s c o U D L D S N M P M I B v a r i a b l e s .

P a g e 61 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 62: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

J umb o F ra me T h e d e f a u l t M a x i m u m T r a n s m i s s i o n U n i t ( M T U ) f r a m e s i z e i s 1518 b y t e s f o r a l l E t h e r n e t p o r t s , w h i c h i n c l u d e s G E a n d 10 G E . T h e j u m b o f r a m e f e a t u r e e n a b l e s i n t e r f a c e s t o s w i t c h f r a m e s t h a t a r e l a r g e r t h a n t h e s t a n d a r d E t h e r n e t f r a m e s i z e . T h e f e a t u r e i s u s e f u l i n o r d e r t o o p t i m i z e s e r v e r -t o -s e r v e r p e r f o r m a n c e a n d t o s u p p o r t a p p l i c a t i o n s s u c h a s M u l t i -P r o t o c o l L a b e l S w i t c h i n g ( M P L S ) , 80 2.1Q t u n n e l i n g , a n d L 2 T u n n e l i n g P r o t o c o l V e r s i o n 3 ( L 2T P v 3) , w h i c h i n c r e a s e t h e s i z e o f t h e o r i g i n a l f r a m e s . O p e ra tiona l O v e rv ie w T h e I E E E 80 2.3 s t a n d a r d s p e c i f i c a t i o n d e f i n e s a m a x i m u m E t h e r n e t f r a m e s i z e o f 1518 b y t e s f o r r e g u l a r f r a m e s a n d 1522 b y t e s f o r 80 2.1Q e n c a p s u l a t e d f r a m e s . T h e 80 2.1Q e n c a p s u l a t e d f r a m e s a r e s o m e t i m e s r e f e r r e d t o a s " b a b y g i a n t s " . I n g e n e r a l , p a c k e t s a r e c l a s s i f i e d a s g i a n t f r a m e s w h e n t h e p a c k e t s e x c e e d t h e s p e c i f i e d E t h e r n e t m a x i m u m l e n g t h f o r a s p e c i f i c E t h e r n e t c o n n e c t i o n . G i a n t p a c k e t s a r e a l s o k n o w n a s j u m b o f r a m e s . T h e r e a r e v a r i o u s r e a s o n s w h y t h e M T U s i z e o f c e r t a i n f r a m e s c a n e x c e e d 1518 b y t e s . T h e s e a r e s o m e o f t h e e x a m p l e s :

� V e n d o r -s p e c i f i c r e q u i r e m e n t s —A p p l i c a t i o n s a n d c e r t a i n N I C s c a n s p e c i f y a n M T U s i z e t h a t i s o u t s i d e o f t h e s t a n d a r d 150 0 b y t e s . T h e t e n d e n c y t o s p e c i f y s u c h M T U s i z e s i s b e c a u s e o f s t u d i e s t h a t h a v e b e e n u n d e r t a k e n , w h i c h p r o v e t h a t a n i n c r e a s e i n t h e s i z e o f a n E t h e r n e t f r a m e c a n i n c r e a s e t h e a v e r a g e t h r o u g h p u t .

� T r u n k i n g —I n o r d e r t o c a r r y V L A N I D i n f o r m a t i o n b e t w e e n s w i t c h e s o r o t h e r n e t w o r k d e v i c e s , t r u n k i n g h a s b e e n e m p l o y e d t o a u g m e n t t h e s t a n d a r d E t h e r n e t f r a m e . T o d a y , t h e t w o m o s t c o m m o n f o r m s o f t r u n k i n g a r e t h e C i s c o p r o p r i e t a r y I S L e n c a p s u l a t i o n a n d I E E E 80 2.1Q .

� M P L S —A f t e r M P L S i s e n a b l e d o n a n i n t e r f a c e , i t h a s t h e p o t e n t i a l t o a u g m e n t t h e f r a m e s i z e o f a p a c k e t . T h i s a u g m e n t a t i o n d e p e n d s o n t h e n u m b e r o f l a b e l s i n t h e l a b e l s t a c k f o r a n M P L S -t a g g e d p a c k e t . T h e t o t a l s i z e o f a l a b e l i s 4 b y t e s . T h e t o t a l s i z e o f a l a b e l s t a c k i s n x 4 b y t e s . I f a l a b e l s t a c k i s f o r m e d , t h e f r a m e s c a n e x c e e d t h e M T U .

� 80 2.1Q t u n n e l i n g —80 2.1Q t u n n e l i n g p a c k e t s c o n t a i n t w o 80 2.1Q t a g s , o f w h i c h o n l y o n e t a g a t a t i m e i s u s u a l l y v i s i b l e t o t h e h a r d w a r e . T h e r e f o r e , t h e i n t e r n a l t a g a d d s 4 b y t e s t o t h e M T U v a l u e ( p a y l o a d s i z e ) .

� U n i v e r s a l T r a n s p o r t I n t e r f a c e ( U T I ) / L 2T P v 3—U T I / L 2T P v 3 e n c a p s u l a t e s L 2 d a t a t h a t a r e t o b e f o r w a r d e d o v e r t h e I P n e t w o r k . T h e e n c a p s u l a t i o n c a n i n c r e a s e t h e o r i g i n a l f r a m e s i z e b y u p t o 50 b y t e s . T h e n e w f r a m e i n c l u d e s a n e w I P h e a d e r ( 20 -b y t e ) , a n L 2T P v 3 h e a d e r ( 12-b y t e ) , a n d a n e w L 2 h e a d e r . T h e L 2T P v 3 p a y l o a d c o n s i s t s o f t h e c o m p l e t e L 2 f r a m e , w h i c h i n c l u d e s t h e L 2 h e a d e r .

T h e a b i l i t y o f t h e d i f f e r e n t C a t a l y s t s w i t c h e s t o s u p p o r t v a r i o u s f r a m e s i z e s d e p e n d s o n m a n y f a c t o r s , w h i c h i n c l u d e t h e h a r d w a r e a n d s o f t w a r e . C e r t a i n m o d u l e s c a n s u p p o r t l a r g e r f r a m e s i z e s t h a n o t h e r s , e v e n w i t h i n t h e s a m e p l a t f o r m .

� T h e C a t a l y s t 550 0 / 50 0 0 s w i t c h e s p r o v i d e s u p p o r t f o r j u m b o f r a m e i n t h e C a t O S 6.1 r e l e a s e . W h e n t h e j u m b o f r a m e s f e a t u r e i s e n a b l e d o n a p o r t , t h e M T U s i z e i n c r e a s e s t o 9216 b y t e s . O n 10 / 10 0 -M b p s u n s h i e l d e d t w i s t e d p a i r ( U T P ) -b a s e d l i n e c a r d s , t h e m a x i m u m f r a m e s i z e t h a t i s s u p p o r t e d i s o n l y 80 92 b y t e s . T h i s l i m i t a t i o n i s a n A S I C l i m i t a t i o n . T h e r e a r e g e n e r a l l y n o

P a g e 62 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 63: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

r e s t r i c t i o n s i n t h e e n a b l e m e n t o f t h e j u m b o f r a m e s i z e f e a t u r e . Y o u c a n u s e t h i s f e a t u r e w i t h t r u n k i n g / n o n t r u n k i n g a n d c h a n n e l i n g / n o n c h a n n e l i n g .

� T h e C a t a l y s t 40 0 0 s w i t c h e s ( S u p e r v i s o r E n g i n e 1 [ W S -X 40 12] a n d S u p e r v i s o r E n g i n e 2 [ W S -X 40 13] ) d o n o t s u p p o r t j u m b o f r a m e s b e c a u s e o f a n A S I C l i m i t a t i o n . H o w e v e r , t h e e x c e p t i o n i s 80 2.1Q t r u n k i n g .

� T h e C a t a l y s t 650 0 s e r i e s p l a t f o r m c a n s u p p o r t j u m b o f r a m e s i z e s i n C a t O S r e l e a s e 6.1( 1) a n d l a t e r . H o w e v e r , t h i s s u p p o r t i s d e p e n d e n t o n t h e t y p e o f l i n e c a r d s t h a t y o u u s e . T h e r e a r e g e n e r a l l y n o r e s t r i c t i o n s i n t h e e n a b l e m e n t o f t h e j u m b o f r a m e s i z e f e a t u r e . Y o u c a n u s e t h i s f e a t u r e w i t h t r u n k i n g / n o n t r u n k i n g a n d c h a n n e l i n g / n o n c h a n n e l i n g . T h e d e f a u l t M T U s i z e i s 9216 b y t e s a f t e r j u m b o f r a m e s u p p o r t h a s b e e n e n a b l e d o n t h e i n d i v i d u a l p o r t . T h e d e f a u l t M T U i s n o t c o n f i g u r a b l e w i t h u s e o f C a t O S . H o w e v e r , C i s c o I O S S o f t w a r e R e l e a s e 12.1( 13) E i n t r o d u c e d t h e s y s te m j um b om tu c o m m a n d i n o r d e r t o o v e r r i d e t h e d e f a u l t M T U .

R e f e r t o J u m b o / G i a n t F r a m e S u p p o r t o n C a t a l y s t S w i t c h e s C o n f i g u r a t i o n E x a m p l e f o r m o r e i n f o r m a t i o n . T h i s t a b l e d e s c r i b e s t h e M T U s i z e s t h a t a r e s u p p o r t e d b y d i f f e r e n t l i n e c a r d s f o r C a t a l y s t 650 0 / 60 0 0 s e r i e s s w i t c h e s : N ote : T h e M T U s i z e o r p a c k e t s i z e r e f e r s o n l y t o E t h e r n e t p a y l o a d .

L ine C a rd M T U S iz e D e f a u l t 9216 b y t e s W S -X 6248-R J -45, W S -X 6248A -R J -45 W S -X 6248-T E L , W S -X 6248A -T E L W S -X 6348-R J -45( V ) , W S -X 6348-R J -21( V )

80 92 b y t e s ( l i m i t e d b y t h e P H Y c h i p )

W S -X 6148-R J -45( V ) , W S -X 6148-R J -21( V ) W S -X 6148-45A F , W S -X 6148-21A F

910 0 b y t e s ( @ 10 0 M b p s ) 9216 b y t e s ( @ 10 M b p s )

W S -X 6148A -R J -45, W S -X 6148A -45A F , W S -X 6148-F E -S F P 9216 b y t e s W S -X 6324-10 0 F X -M M , -S M , W S -X 60 24-10 F L -M T 9216 b y t e s W S -X 6548-R J -45, W S -X 6548-R J -21, W S -X 6524-10 0 F X -M M W S -X 6148X 2-R J -45, W S -X 6148X 2-45A F W S -X 6196-R J -21, W S -X 6196-21A F W S -X 640 8-G B I C , W S -X 6316-G E -T X , W S -X 6416-G B I C W S -X 6516-G B I C , W S -X 6516A -G B I C , W S -X 6816-G B I C U p l i n k s o f S u p e r v i s o r E n g i n e 1, 2, 32 a n d 720

9216 b y t e s

P a g e 63 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 64: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

L a y e r 3 J um b o F ra m e S up p ort W i t h C a t O S t h a t r u n s o n t h e S u p e r v i s o r E n g i n e a n d C i s c o I O S S o f t w a r e t h a t r u n s o n t h e M S F C , t h e C a t a l y s t 650 0 / 60 0 0 s w i t c h e s a l s o p r o v i d e L 3 j u m b o f r a m e s u p p o r t i n C i s c o I O S ® S o f t w a r e R e l e a s e 12.1( 2) E a n d l a t e r w i t h t h e u s e o f P F C / M S F C 2, P F C 2/ M S F C 2, o r l a t e r h a r d w a r e . I f b o t h i n g r e s s a n d e g r e s s V L A N s a r e c o n f i g u r e d f o r j u m b o f r a m e s , a l l t h e p a c k e t s a r e h a r d w a r e s w i t c h e d b y t h e P F C a t w i r e s p e e d . I f t h e i n g r e s s V L A N i s c o n f i g u r e d f o r j u m b o f r a m e s a n d t h e e g r e s s V L A N i s n o t c o n f i g u r e d , t h e r e a r e t w o s c e n a r i o s :

� A j u m b o f r a m e t h a t i s s e n t b y t h e e n d h o s t w i t h t h e D o n ' t F r a g m e n t ( D F ) b i t s e t ( f o r p a t h M T U

W S -X 6516-G E -T X

80 92 b y t e s ( @ 10 0 M b p s ) 9216 b y t e s ( @ 10 o r 10 0 0 M b p s )

W S -X 6148-G E -T X , W S -X 6148V -G E -T X , W S -X 6148-G E -45A F , W S -X 6548-G E -T X , W S -X 6548V -G E -T X , W S -X 6548-G E -45A F

150 0 b y t e s ( j u m b o f r a m e n o t s u p p o r t e d )

W S -X 6148A -G E -T X , W S -X 6148A -G E -45A F , W S -X 650 2-10 G E , W S -X 67x x S e r i e s 9216 b y t e s O S M A T M ( O C 12c ) 9180 b y t e s

O S M C H O C 3, C H O C 12, C H O C 48, C T 3

9216 b y t e s ( O C x a n d D S 3) 7673 b y t e s ( T 1/ E 1)

F l e x W A N

7673 b y t e s ( C T 3 T 1/ D S 0 ) 9216 b y t e s ( O C 3c P O S ) 7673 b y t e s ( T 1)

C S M ( W S -X 60 66-S L B -A P C ) 9216 b y t e s ( a s o f C S M 3.1( 5) a n d 3.2( 1) )

O S M P O S O C 3c , O C 12c , O C 48c ; O S M D P T O C 48c , O S M G E W A N 9216 b y t e s

P a g e 64 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 65: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

d i s c o v e r y ) —T h e p a c k e t i s d r o p p e d a n d a n I n t e r n e t C o n t r o l M e s s a g e P r o t o c o l ( I C M P ) u n r e a c h a b l e i s s e n t t o t h e e n d h o s t w i t h t h e m e s s a g e c o d e f r a g m e n t n e e d e d a n d D F s e t .

� A j u m b o f r a m e t h a t i s s e n t b y t h e e n d h o s t w i t h t h e D F b i t n o t s e t —P a c k e t s a r e p u n t e d t o M S F C 2/ M S F C 3 t o b e f r a g m e n t e d a n d s w i t c h e d i n s o f t w a r e .

T h i s t a b l e s u m m a r i z e s t h e L 3 j u m b o s u p p o r t f o r v a r i o u s p l a t f o r m s :

1 R S M = R o u t e S w i t c h M o d u l e

2 R S F C = R o u t e S w i t c h F e a t u r e C a r d

N e tw ork P e rf orm a nce C ons ide ra tion T h e p e r f o r m a n c e o f T C P o v e r W A N s ( t h e I n t e r n e t ) h a s b e e n e x t e n s i v e l y s t u d i e d . T h i s e q u a t i o n e x p l a i n s h o w T C P t h r o u g h p u t h a s a n u p p e r b o u n d t h a t i s b a s e d o n :

� T h e M a x i m u m S e g m e n t S i z e ( M S S ) , w h i c h i s t h e M T U l e n g t h m i n u s t h e l e n g t h o f t h e T C P / I P h e a d e r s

� T h e R o u n d T r i p T i m e ( R T T ) � T h e p a c k e t l o s s

A c c o r d i n g t o t h i s f o r m u l a , t h e m a x i m u m T C P t h r o u g h p u t t h a t i s a c h i e v a b l e i s d i r e c t l y p r o p o r t i o n a l t o t h e M S S . W i t h c o n s t a n t R T T a n d p a c k e t l o s s , y o u c a n d o u b l e t h e T C P t h r o u g h p u t i f y o u d o u b l e t h e p a c k e t s i z e . S i m i l a r l y , w h e n y o u u s e j u m b o f r a m e s i n s t e a d o f 1518-b y t e f r a m e s , a s i x -f o l d i n c r e a s e i n s i z e c a n y i e l d a p o t e n t i a l s i x -f o l d i m p r o v e m e n t i n t h e T C P t h r o u g h p u t o f a n E t h e r n e t c o n n e c t i o n . S e c o n d l y , t h e e v e r -i n c r e a s i n g p e r f o r m a n c e d e m a n d s o f s e r v e r f a r m s r e q u i r e a m o r e e f f i c i e n t m e a n s t o e n s u r e h i g h e r d a t a r a t e s w i t h N e t w o r k F i l e S y s t e m ( N F S ) U D P d a t a g r a m s . N F S i s t h e m o s t w i d e l y d e p l o y e d d a t a s t o r a g e m e c h a n i s m t o t r a n s f e r f i l e s b e t w e e n U N I X -b a s e d s e r v e r s , a n d i t f e a t u r e s 840 0 -b y t e d a t a g r a m s . G i v e n t h e e x t e n d e d 9 K B M T U o f E t h e r n e t , a s i n g l e j u m b o f r a m e i s l a r g e e n o u g h t o c a r r y a n 8 K B a p p l i c a t i o n d a t a g r a m ( f o r e x a m p l e , N F S ) p l u s t h e p a c k e t h e a d e r o v e r h e a d . T h i s c a p a b i l i t y

L 3 S w itch or M odul e M a x im um L 3 M T U S iz e C a t a l y s t 2948G -L 3/ 490 8G -L 3 S e r i e s J u m b o f r a m e s a r e n o t s u p p o r t e d . C a t a l y s t 50 0 0 R S M 1/ R S F C 2 J u m b o f r a m e s a r e n o t s u p p o r t e d . C a t a l y s t 650 0 M S F C 1 J u m b o f r a m e s a r e n o t s u p p o r t e d . C a t a l y s t 650 0 M S F C 2 a n d l a t e r

C i s c o I O S S o f t w a r e R e l e a s e 12.1( 2) E : 9216 b y t e s

P a g e 65 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 66: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

i n c i d e n t a l l y a l l o w s f o r m o r e e f f i c i e n t d i r e c t m e m o r y a c c e s s ( D M A ) t r a n s f e r s o n t h e h o s t s b e c a u s e s o f t w a r e d o e s n o t n e e d a n y m o r e i n o r d e r t o f r a g m e n t N F S b l o c k s i n t o s e p a r a t e U D P d a t a g r a m s . R e com m e nda tion W h e n y o u w a n t j u m b o f r a m e s u p p o r t , c o n s t r a i n t h e u s e o f j u m b o f r a m e s t o a r e a s o f t h e n e t w o r k w h e r e a l l s w i t c h m o d u l e s ( L 2) a n d i n t e r f a c e s ( L 3) s u p p o r t j u m b o f r a m e s . T h i s c o n f i g u r a t i o n p r e v e n t s f r a g m e n t a t i o n a n y w h e r e i n t h e p a t h . T h e c o n f i g u r a t i o n o f j u m b o f r a m e s t h a t a r e l a r g e r t h a n t h e s u p p o r t e d f r a m e l e n g t h i n t h e p a t h e l i m i n a t e s a n y g a i n s t h a t a r e a c h i e v e d b y t h e u s e o f t h e f e a t u r e b e c a u s e f r a g m e n t a t i o n i s r e q u i r e d . A s t h e t a b l e s i n t h i s J u m b o F r a m e s e c t i o n s h o w , d i f f e r e n t p l a t f o r m s a n d l i n e c a r d s c a n v a r y w i t h r e g a r d t o t h e m a x i m u m p a c k e t s i z e s t h a t a r e s u p p o r t e d . C o n f i g u r e j u m b o f r a m e -a w a r e h o s t d e v i c e s w i t h a n M T U s i z e t h a t i s t h e m i n i m u m c o m m o n d e n o m i n a t o r t h a t i s s u p p o r t e d b y n e t w o r k h a r d w a r e , f o r t h e e n t i r e L 2 V L A N w h e r e t h e h o s t d e v i c e r e s i d e s . I n o r d e r t o e n a b l e t h e j u m b o f r a m e s u p p o r t f o r m o d u l e s w i t h j u m b o f r a m e s u p p o r t , i s s u e t h i s c o m m a n d :

set p or t j u mb o m od /port en ab l e

I n a d d i t i o n , i f y o u d e s i r e j u m b o f r a m e s u p p o r t a c r o s s L 3 b o u n d a r i e s , c o n f i g u r e t h e l a r g e s t a v a i l a b l e M T U v a l u e o f 9216 b y t e s o n a l l t h e a p p l i c a b l e V L A N i n t e r f a c e s . I s s u e t h e m tu c o m m a n d u n d e r t h e V L A N i n t e r f a c e s :

i n ter f ace v l an v l an# mtu 9 2 1 6

T h i s c o n f i g u r a t i o n e n s u r e s t h a t t h e L 2 j u m b o f r a m e M T U t h a t i s s u p p o r t e d b y t h e m o d u l e s i s a l w a y s l e s s t h a n , o r e q u a l t o , t h e v a l u e t h a t i s c o n f i g u r e d f o r t h e L 3 i n t e r f a c e s t h a t t h e t r a f f i c t r a v e r s e s . T h i s p r e v e n t s f r a g m e n t a t i o n w h e n t r a f f i c i s r o u t e d f r o m t h e V L A N a c r o s s t h e L 3 i n t e r f a c e .

M a na g em ent Conf i g u r a ti on C o n s i d e r a t i o n s t o h e l p c o n t r o l , p r o v i s i o n , a n d t r o u b l e s h o o t a C a t a l y s t n e t w o r k a r e d i s c u s s e d i n t h i s s e c t i o n .

N etw o rk D ia g ra ms C l e a r n e t w o r k d i a g r a m s a r e a f u n d a m e n t a l p a r t o f n e t w o r k o p e r a t i o n s . T h e y b e c o m e c r i t i c a l d u r i n g t r o u b l e s h o o t i n g a n d a r e t h e s i n g l e m o s t i m p o r t a n t v e h i c l e f o r t h e c o m m u n i c a t i o n o f i n f o r m a t i o n w h e n e s c a l a t e d t o v e n d o r s a n d p a r t n e r s d u r i n g a n o u t a g e . T h e i r p r e p a r a t i o n , r e a d i n e s s , a n d a c c e s s i b i l i t y m u s t n o t b e u n d e r e s t i m a t e d . R e com m e nda tion C i s c o r e c o m m e n d s t h a t y o u c r e a t e t h e s e t h r e e d i a g r a m s :

� O v e ra l l D ia g ra m —e v e n f o r t h e l a r g e s t n e t w o r k s , a d i a g r a m t h a t s h o w s t h e e n d -t o -e n d p h y s i c a l a n d l o g i c a l c o n n e c t i v i t y i s i m p o r t a n t . I t c a n b e c o m m o n f o r e n t e r p r i s e s t h a t h a v e i m p l e m e n t e d a h i e r a r c h i c a l d e s i g n t o d o c u m e n t e a c h l a y e r s e p a r a t e l y . D u r i n g p l a n n i n g a n d p r o b l e m s o l v i n g , h o w e v e r , i t i s o f t e n a g o o d k n o w l e d g e o f h o w t h e d o m a i n s l i n k t o g e t h e r t h a t m a t t e r s .

P a g e 66 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 67: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

� P h y s ica l D ia g ra m —s h o w s a l l s w i t c h a n d r o u t e r h a r d w a r e a n d c a b l i n g . T r u n k s , l i n k s , s p e e d s , c h a n n e l g r o u p s , p o r t n u m b e r s , s l o t s , c h a s s i s t y p e s , s o f t w a r e , V T P d o m a i n s , r o o t b r i d g e , b a c k u p r o o t b r i d g e p r i o r i t y , M A C a d d r e s s , a n d b l o c k e d p o r t s p e r V L A N m u s t b e l a b e l e d . I t i s o f t e n c l e a r e r t o d e p i c t i n t e r n a l d e v i c e s , s u c h a s t h e C a t a l y s t 650 0 / 60 0 0 M S F C , a s a r o u t e r o n a s t i c k c o n n e c t e d b y w a y o f a t r u n k .

� L og ica l D ia g ra m —s h o w s o n l y L 3 f u n c t i o n a l i t y ( r o u t e r s a s o b j e c t s , V L A N s a s E t h e r n e t s e g m e n t s ) . I P a d d r e s s e s , s u b n e t s , s e c o n d a r y a d d r e s s i n g , H S R P a c t i v e a n d s t a n d b y , a c c e s s -c o r e -d i s t r i b u t i o n l a y e r s , a n d r o u t i n g i n f o r m a t i o n m u s t b e l a b e l e d .

I n-B a nd M a na g ement D e p e n d i n g o n t h e c o n f i g u r a t i o n , t h e s w i t c h i n -b a n d ( i n t e r n a l ) m a n a g e m e n t i n t e r f a c e ( k n o w n a s s c 0 ) c o u l d h a v e t o h a n d l e t h i s d a t a :

� S w i t c h m a n a g e m e n t p r o t o c o l s s u c h a s S N M P , T e l n e t , S e c u r e S h e l l P r o t o c o l ( S S H ) , a n d s y s l o g

P a g e 67 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 68: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

� U s e r d a t a s u c h a s b r o a d c a s t s a n d m u l t i c a s t s � S w i t c h c o n t r o l p r o t o c o l s s u c h a s S T P B P D U s , V T P , D T P , C D P , a n d s o o n

I t i s c o m m o n p r a c t i c e i n t h e C i s c o m u l t i l a y e r d e s i g n t o c o n f i g u r e a m a n a g e m e n t V L A N t h a t s p a n s a s w i t c h e d d o m a i n a n d c o n t a i n s a l l s c 0 i n t e r f a c e s . T h i s h e l p s s e p a r a t e m a n a g e m e n t t r a f f i c f r o m u s e r t r a f f i c a n d i n c r e a s e s s e c u r i t y o f t h e s w i t c h m a n a g e m e n t i n t e r f a c e s . T h i s s e c t i o n d e s c r i b e s t h e s i g n i f i c a n c e a n d p o t e n t i a l p r o b l e m s o f u s i n g t h e d e f a u l t V L A N 1 a n d r u n n i n g m a n a g e m e n t t r a f f i c t o t h e s w i t c h i n t h e s a m e V L A N a s u s e r t r a f f i c . O p e ra tiona l O v e rv ie w T h e p r i m a r y c o n c e r n o v e r t h e u s e o f V L A N 1 f o r u s e r d a t a i s t h a t t h e S u p e r v i s o r E n g i n e N M P i n g e n e r a l d o e s n o t n e e d t o b e i n t e r r u p t e d b y m u c h o f t h e m u l t i c a s t a n d b r o a d c a s t t r a f f i c t h a t i s g e n e r a t e d b y e n d -s t a t i o n s . O l d e r C a t a l y s t 550 0 / 50 0 0 h a r d w a r e , t h e S u p e r v i s o r E n g i n e I a n d S u p e r v i s o r E n g i n e I I i n p a r t i c u l a r , h a s l i m i t e d r e s o u r c e s f o r d e a l i n g w i t h t h i s t r a f f i c , t h o u g h t h e p r i n c i p l e a p p l i e s t o a l l S u p e r v i s o r E n g i n e s . I f t h e S u p e r v i s o r E n g i n e C P U , b u f f e r , o r i n -b a n d c h a n n e l t o t h e b a c k p l a n e i s f u l l y o c c u p i e d l i s t e n i n g t o u n n e c e s s a r y t r a f f i c , i t i s p o s s i b l e t h a t c o n t r o l f r a m e s c a n b e m i s s e d . I n a w o r s t -c a s e s c e n a r i o , t h i s c o u l d l e a d t o a S p a n n i n g T r e e l o o p o r E t h e r C h a n n e l f a i l u r e . I f t h e s h ow inte rf a ce a n d s h ow ip s ta ts c o m m a n d s a r e i s s u e d o n t h e C a t a l y s t , t h e y c a n g i v e s o m e i n d i c a t i o n o f t h e p r o p o r t i o n o f b r o a d c a s t t o u n i c a s t t r a f f i c a n d t h e p r o p o r t i o n o f I P t o n o n -I P t r a f f i c ( n o t t y p i c a l l y s e e n i n m a n a g e m e n t V L A N s ) . A f u r t h e r h e a l t h c h e c k f o r o l d e r C a t a l y s t 550 0 / 50 0 0 h a r d w a r e i s t o e x a m i n e t h e o u t p u t o f s h ow i nb and | b i g a ( h i d d e n c o m m a n d ) f o r r e s o u r c e e r r o r s ( R s c r c E r r o r s ) , s i m i l a r t o b u f f e r d r o p s i n a r o u t e r . I f t h e s e r e s o u r c e e r r o r s g o u p c o n t i n u o u s l y , m e m o r y i s n o t a v a i l a b l e t o r e c e i v e s y s t e m p a c k e t s , p e r h a p s b e c a u s e o f a s i g n i f i c a n t a m o u n t o f b r o a d c a s t t r a f f i c i n t h e m a n a g e m e n t V L A N . A s i n g l e r e s o u r c e e r r o r c a n m e a n t h a t t h e S u p e r v i s o r E n g i n e i s u n a b l e t o p r o c e s s a p a c k e t s u c h a s B P D U s , w h i c h c o u l d q u i c k l y b e c o m e a p r o b l e m b e c a u s e p r o t o c o l s s u c h a s s p a n n i n g t r e e d o n o t r e -s e n d m i s s e d B P D U s . R e com m e nda tion A s h i g h l i g h t e d i n t h e C a t C o n t r o l s e c t i o n o f t h i s d o c u m e n t , V L A N 1 i s a s p e c i a l V L A N t h a t t a g s a n d h a n d l e s m o s t o f t h e c o n t r o l p l a n e t r a f f i c . V L A N 1 i s e n a b l e d o n a l l t r u n k s b y d e f a u l t . W i t h l a r g e r c a m p u s n e t w o r k s , c a r e n e e d s t o b e t a k e n a b o u t t h e d i a m e t e r o f t h e V L A N 1 S T P dom a in ; i n s t a b i l i t y i n o n e p a r t o f t h e n e t w o r k c o u l d a f f e c t V L A N 1, t h e r e b y i n f l u e n c i n g c o n t r o l -p l a n e s t a b i l i t y a n d t h e r e f o r e S T P s t a b i l i t y f o r a l l o t h e r V L A N s . I n C a t O S 5.4 a n d l a t e r , i t h a s b e e n p o s s i b l e t o l i m i t V L A N 1 f r o m c a r r y i n g u s e r d a t a a n d r u n n i n g S T P w i t h t h i s c o m m a n d :

cl ear tr u n k m od / port v l an 1

T h i s d o e s n o t s t o p c o n t r o l p a c k e t s b e i n g s e n t f r o m s w i t c h t o s w i t c h i n V L A N 1, a s s e e n w i t h a n e t w o r k a n a l y z e r . H o w e v e r , n o d a t a i s f o r w a r d e d , a n d S T P i s n o t b e r u n o v e r t h i s l i n k . T h e r e f o r e , t h i s t e c h n i q u e c a n b e u s e d t o b r e a k V L A N 1 u p i n t o s m a l l e r f a i l u r e d o m a i n s . N ote : I t i s n o t c u r r e n t l y p o s s i b l e t o c l e a r V L A N 1 t r u n k s o n 350 0 s a n d 290 0 X L s . E v e n i f c a r e h a s b e e n t a k e n w i t h t h e c a m p u s d e s i g n t o c o n s t r a i n u s e r V L A N s t o r e l a t i v e l y s m a l l s w i t c h d o m a i n s a n d c o r r e s p o n d i n g l y s m a l l f a i l u r e / L 3 b o u n d a r i e s , s o m e c u s t o m e r s a r e s t i l l t e m p t e d t o t r e a t t h e

P a g e 68 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 69: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

m a n a g e m e n t V L A N d i f f e r e n t l y a n d t r y t o c o v e r t h e w h o l e n e t w o r k w i t h a s i n g l e m a n a g e m e n t s u b n e t . T h e r e i s n o t e c h n i c a l r e a s o n t h a t a c e n t r a l N M S a p p l i c a t i o n m u s t b e L 2-a d j a c e n t t o t h e d e v i c e s i t m a n a g e s , n o r i s t h i s a q u a l i f i e d s e c u r i t y a r g u m e n t . C i s c o r e c o m m e n d s t h a t y o u l i m i t t h e d i a m e t e r o f t h e m a n a g e m e n t V L A N s t o t h e s a m e r o u t e d d o m a i n s t r u c t u r e a s u s e r V L A N s a n d c o n s i d e r i n g o u t -o f -b a n d m a n a g e m e n t a n d / o r C a t O S 6.x S S H s u p p o r t a s a w a y t o i n c r e a s e n e t w o r k m a n a g e m e n t s e c u r i t y . O th e r O p tions H o w e v e r , t h e r e a r e d e s i g n c o n s i d e r a t i o n s f o r t h e s e C i s c o r e c o m m e n d a t i o n s i n s o m e t o p o l o g i e s . F o r e x a m p l e , a d e s i r a b l e a n d c o m m o n C i s c o m u l t i l a y e r d e s i g n i s o n e t h a t a v o i d s t h e u s e o f a n a c t i v e S p a n n i n g T r e e . T h i s r e q u i r e s t h a t y o u c o n s t r a i n e a c h I P s u b n e t / V L A N t o a s i n g l e a c c e s s -l a y e r s w i t c h , o r c l u s t e r o f s w i t c h e s . I n t h e s e d e s i g n s , t h e r e c o u l d b e n o t r u n k i n g c o n f i g u r e d d o w n t o t h e a c c e s s l a y e r . T h e r e i s n o e a s y a n s w e r t o t h e q u e s t i o n o f w h e t h e r a s e p a r a t e m a n a g e m e n t V L A N b e c r e a t e d a n d t r u n k i n g e n a b l e d i n o r d e r t o c a r r y i t b e t w e e n L 2 a c c e s s a n d L 3 d i s t r i b u t i o n l a y e r s . T h e s e a r e t w o o p t i o n s f o r d e s i g n r e v i e w w i t h y o u r C i s c o e n g i n e e r :

� O p tion 1: t r u n k t w o o r t h r e e u n i q u e V L A N s f r o m t h e d i s t r i b u t i o n l a y e r d o w n t o e a c h a c c e s s -l a y e r s w i t c h . T h i s a l l o w s f o r a d a t a V L A N , a v o i c e V L A N , a n d a m a n a g e m e n t V L A N , f o r e x a m p l e , a n d s t i l l h a s t h e b e n e f i t t h a t S T P i s i n a c t i v e . ( N o t e t h a t i f V L A N 1 i s c l e a r e d f r o m t h e t r u n k s , t h e r e i s a n e x t r a c o n f i g u r a t i o n s t e p .) I n t h i s s o l u t i o n , t h e r e a r e a l s o d e s i g n p o i n t s t o c o n s i d e r i n o r d e r t o a v o i d t h e t e m p o r a r y b l a c k -h o l i n g o f r o u t e d t r a f f i c d u r i n g f a i l u r e r e c o v e r y : S T P P o r t F a s t f o r t r u n k s ( C a t O S 7.x a n d l a t e r ) o r V L A N A u t o s t a t e s y n c h r o n i z a t i o n w i t h S T P f o r w a r d i n g ( l a t e r t h a n C a t O S 5.5[ 9] ) .

� O p tion 2 : a s i n g l e V L A N f o r d a t a a n d m a n a g e m e n t c o u l d b e a c c e p t a b l e . W i t h n e w e r s w i t c h h a r d w a r e , s u c h a s m o r e p o w e r f u l C P U s a n d c o n t r o l -p l a n e r a t e -l i m i t i n g c o n t r o l s , p l u s a d e s i g n w i t h r e l a t i v e l y s m a l l b r o a d c a s t d o m a i n s a s a d v o c a t e d b y t h e m u l t i l a y e r d e s i g n , t h e r e a l i t y f o r m a n y c u s t o m e r s i s t h a t k e e p i n g t h e s c 0 i n t e r f a c e s e p a r a t e f r o m t h e u s e r d a t a i s l e s s o f a n i s s u e t h a n i t o n c e w a s . A f i n a l d e c i s i o n i s p r o b a b l y b e s t t a k e n w i t h t h e e x a m i n a t i o n o f t h e b r o a d c a s t t r a f f i c p r o f i l e f o r t h a t V L A N a n d a d i s c u s s i o n o f t h e c a p a b i l i t i e s o f t h e s w i t c h h a r d w a r e w i t h y o u r C i s c o e n g i n e e r . I f t h e m a n a g e m e n t V L A N d o e s i n d e e d c o n t a i n a l l u s e r s o n t h a t a c c e s s -l a y e r s w i t c h , t h e u s e o f I P i n p u t f i l t e r s i s h i g h l y r e c o m m e n d e d t o s e c u r e t h e s w i t c h f r o m u s e r s , a s d i s c u s s e d i n t h e S e c u r i t y C o n f i g u r a t i o n s e c t i o n o f t h i s d o c u m e n t .

O ut-o f -B a nd M a na g ement T a k i n g t h e a r g u m e n t s o f t h e p r e v i o u s s e c t i o n o n e s t e p f u r t h e r , n e t w o r k m a n a g e m e n t c a n b e m a d e m o r e h i g h l y a v a i l a b l e w i t h t h e c o n s t r u c t i o n o f a s e p a r a t e m a n a g e m e n t i n f r a s t r u c t u r e a r o u n d t h e p r o d u c t i o n n e t w o r k s o t h a t d e v i c e s a r e a l w a y s r e a c h a b l e r e m o t e l y n o m a t t e r w h a t t r a f f i c -d r i v e n o r c o n t r o l -p l a n e e v e n t s o c c u r . T h e s e t w o a p p r o a c h e s a r e t y p i c a l :

� O u t -o f -B a n d M a n a g e m e n t w i t h a n e x c l u s i v e L A N � O u t -o f -B a n d M a n a g e m e n t w i t h t e r m i n a l s e r v e r s

O p e ra tiona l O v e rv ie w E v e r y r o u t e r a n d s w i t c h i n t h e n e t w o r k c a n b e p r o v i d e d w i t h a n o u t -o f -b a n d E t h e r n e t m a n a g e m e n t i n t e r f a c e o n a m a n a g e m e n t V L A N . O n e E t h e r n e t p o r t o n e a c h d e v i c e i s c o n f i g u r e d i n t h e m a n a g e m e n t

P a g e 69 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 70: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

V L A N a n d c a b l e d o u t s i d e t h e p r o d u c t i o n n e t w o r k t o a s e p a r a t e s w i t c h e d m a n a g e m e n t n e t w o r k t h r o u g h t h e s c 0 i n t e r f a c e . N o t e t h a t C a t a l y s t 450 0 / 40 0 0 s w i t c h e s h a v e a s p e c i a l m e 1 i n t e r f a c e o n t h e S u p e r v i s o r E n g i n e t h a t i s t o b e u s e d f o r o u t -o f -b a n d m a n a g e m e n t o n l y , n o t a s a s w i t c h p o r t . I n a d d i t i o n , t e r m i n a l s e r v e r c o n n e c t i v i t y c a n b e a c h i e v e d t h r o u g h t h e c o n f i g u r a t i o n a C i s c o 260 0 o r 360 0 w i t h R J -45-t o -s e r i a l c a b l e s t o a c c e s s t h e c o n s o l e p o r t o f e v e r y r o u t e r a n d s w i t c h i n t h e l a y o u t . A t e r m i n a l s e r v e r a l s o a v o i d s t h e n e e d f o r t h e c o n f i g u r a t i o n o f b a c k u p s c e n a r i o s , s u c h a s m o d e m s o n a u x i l i a r y p o r t s f o r e v e r y d e v i c e . A s i n g l e m o d e m c a n b e c o n f i g u r e d o n t h e a u x i l i a r y p o r t o f t h e t e r m i n a l s e r v e r t o p r o v i d e d i a l -u p s e r v i c e t o t h e o t h e r d e v i c e s d u r i n g a n e t w o r k c o n n e c t i v i t y f a i l u r e . R e com m e nda tion W i t h t h i s a r r a n g e m e n t , t w o o u t -o f -b a n d p a t h s t o e v e r y s w i t c h a n d r o u t e r a r e p o s s i b l e i n a d d i t i o n t o n u m e r o u s i n -b a n d p a t h s , t h u s e n a b l i n g h i g h l y -a v a i l a b l e n e t w o r k m a n a g e m e n t . O u t -o f -b a n d i s r e s p o n s i b l e f o r :

� O u t -o f -b a n d s e p a r a t e s m a n a g e m e n t t r a f f i c f r o m u s e r d a t a . � O u t -o f -b a n d h a s t h e m a n a g e m e n t I P a d d r e s s i n a s e p a r a t e s u b n e t , V L A N , a n d s w i t c h f o r h i g h e r s e c u r i t y .

� O u t -o f -b a n d p r o v i d e s h i g h e r a s s u r a n c e f o r m a n a g e m e n t d a t a d e l i v e r y d u r i n g n e t w o r k f a i l u r e s . � O u t -o f -b a n d h a s n o a c t i v e S p a n n i n g T r e e i n m a n a g e m e n t V L A N . R e d u n d a n c y i s n o t c r i t i c a l .

S y stem T ests B oot-up D ia g nos tics

P a g e 70 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 71: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

D u r i n g a s y s t e m b o o t -u p , a n u m b e r o f p r o c e s s e s a r e p e r f o r m e d i n o r d e r t o e n s u r e t h a t a r e l i a b l e a n d o p e r a t i o n a l p l a t f o r m i s a v a i l a b l e s o t h a t f a u l t y h a r d w a r e d o e s n o t d i s r u p t t h e n e t w o r k . C a t a l y s t b o o t d i a g n o s t i c s a r e s p l i t b e t w e e n P o w e r -O n S e l f T e s t ( P O S T ) a n d o n l i n e d i a g n o s t i c s . O p e ra tiona l O v e rv ie w D e p e n d i n g o n t h e p l a t f o r m a n d h a r d w a r e c o n f i g u r a t i o n , d i f f e r e n t d i a g n o s t i c s a r e c a r r i e d o u t a t b o o t -u p a n d w h e n a c a r d i s h o t -s w a p p e d i n t o t h e c h a s s i s . A h i g h e r l e v e l o f d i a g n o s t i c s r e s u l t i n a w i d e r n u m b e r o f p r o b l e m s d e t e c t e d b u t a l o n g e r b o o t c y c l e . T h e s e t h r e e l e v e l s o f P O S T d i a g n o s t i c s c a n b e s e l e c t e d ( a l l t e s t s c h e c k D R A M , R A M , a n d c a c h e p r e s e n c e a n d s i z e a n d i n i t i a l i z e t h e m ) :

O nl ine D ia g nos tics T h e s e t e s t s c h e c k p a c k e t p a t h s i n t e r n a l l y i n t h e s w i t c h . I t i s i m p o r t a n t t o n o t e t h a t o n l i n e d i a g n o s t i c s a r e t h e r e f o r e s y s t e m -w i d e t e s t s , n o t s i m p l y p o r t t e s t s . O n C a t a l y s t 550 0 / 50 0 0 a n d 650 0 / 60 0 0 s w i t c h e s , t e s t s a r e p e r f o r m e d f i r s t f r o m t h e s t a n d b y S u p e r v i s o r E n g i n e , a n d a g a i n f r o m t h e p r i m a r y S u p e r v i s o r E n g i n e . T h e l e n g t h o f t h e d i a g n o s t i c s d e p e n d s o n t h e s y s t e m c o n f i g u r a t i o n ( n u m b e r o f s l o t s , m o d u l e s , p o r t s ) . T h e r e a r e t h r e e c a t e g o r i e s o f t e s t s :

� L o o p b a c k t e s t —p a c k e t s f r o m t h e S u p e r v i s o r E n g i n e N M P a r e s e n t t o e a c h p o r t , t h e n r e t u r n e d t o t h e N M P a n d e x a m i n e d f o r e r r o r s .

� B u n d l i n g t e s t —c h a n n e l s o f u p t o e i g h t p o r t s a r e c r e a t e d a n d l o o p b a c k t e s t s p e r f o r m e d t o t h e a g p o r t t o v e r i f y t h e h a s h i n g t o s p e c i f i c l i n k s ( r e f e r t o t h e E t h e r C h a n n e l s e c t i o n o f t h i s d o c u m e n t f o r f u r t h e r i n f o r m a t i o n ) .

� E n h a n c e d A d d r e s s R e c o g n i t i o n L o g i c ( E A R L ) t e s t —b o t h t h e c e n t r a l S u p e r v i s o r E n g i n e a n d i n -l i n e E t h e r n e t m o d u l e L 3 r e w r i t e e n g i n e s a r e t e s t e d . H a r d w a r e f o r w a r d i n g e n t r i e s a n d r o u t e d p o r t s a r e c r e a t e d b e f o r e s a m p l e p a c k e t s a r e s e n t ( f o r e a c h p r o t o c o l e n c a p s u l a t i o n t y p e ) f r o m t h e N M P t h r o u g h t h e s w i t c h i n g h a r d w a r e o n e a c h m o d u l e a n d b a c k t o t h e N M P . T h i s i s f o r C a t a l y s t 650 0 / 60 0 0 P F C m o d u l e s a n d n e w e r .

C o m p l e t e o n l i n e d i a g n o s t i c s c a n t a k e a p p r o x i m a t e l y t w o m i n u t e s . M i n i m a l d i a g n o s t i c s d o n o t p e r f o r m b u n d l e o r r e w r i t e t e s t i n g o n m o d u l e s o t h e r t h e n t h e S u p e r v i s o r E n g i n e , a n d c a n t a k e a p p r o x i m a t e l y 90 s e c o n d s .

O p e ra tiona l O v e rv ie w

B y p a s s N / A 3 N o t a v a i l a b l e o n 450 0 / 40 0 0 s e r i e s u s i n g C a t O S 5.5 o r e a r l i e r .

M i n i m a l P a t t e r n -w r i t i n g t e s t s o n t h e f i r s t M B o f D R A M o n l y .

30 D e f a u l t o n 550 0 / 50 0 0 a n d 650 0 / 60 0 0 s e r i e s ; n o t a v a i l a b l e o n 450 0 / 40 0 0 s e r i e s .

C o m p l e t e P a t t e r n -w r i t i n g t e s t s f o r a l l m e m o r y .

60 D e f a u l t o n 450 0 / 40 0 0 s e r i e s .

P a g e 71 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 72: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

D u r i n g a m e m o r y t e s t , w h e n a d i f f e r e n c e i s f o u n d i n t h e p a t t e r n r e a d b a c k c o m p a r e d t o t h e p a t t e r n w r i t t e n , t h e p o r t s t a t e i s c h a n g e d t o f a u l t y . T h e r e s u l t s o f t h e s e t e s t s c a n b e s e e n i f t h e s h ow te s t c o m m a n d i s i s s u e d , f o l l o w e d b y t h e m o d u l e n u m b e r t o b e e x a m i n e d :

>show test 9 D i a g n o s t i c m o d e : c o m p l e t e ( m o d e a t n e x t r e s e t : c o m p l e t e ) !--- C o n f i g u r a t i o n s e t t i n g . M o d u l e 9 : 4-p o r t M u l t i l a y e r S w i t c h L i n e C a r d S t a t u s f o r M o d u l e 9 : P A S S P o r t S t a t u s : P o r t s 1 2 3 4 ----------------- . . . . L i n e C a r d D i a g S t a t u s f o r M o d u l e 9 ( . = P a s s , F = F a i l , N = N / A ) L o o p b a c k S t a t u s [ R e p o r t e d b y M o d u l e 1] : P o r t s 1 2 3 4 ----------------- . . F . !--- F a u l t y . C h a n n e l S t a t u s : P o r t s 1 2 3 4 ----------------- . . . .

R e com m e nda tion C i s c o r e c o m m e n d s t h a t a l l s w i t c h e s b e s e t t o u s e c o m p l e t e d i a g n o s t i c s t o p r o v i d e m a x i m u m f a u l t d e t e c t i o n a n d p r e v e n t o u t a g e s d u r i n g n o r m a l o p e r a t i o n s . N ote : T h i s c h a n g e d o e s n o t t a k e e f f e c t u n t i l t h e n e x t t i m e t h e d e v i c e i s b o o t e d . I s s u e t h i s c o m m a n d i n o r d e r t o s e t c o m p l e t e d i a g n o s t i c s :

set test d i ag l ev el comp l ete

O th e r O p tions I n s o m e s i t u a t i o n s , a r a p i d b o o t -u p t i m e c a n b e p r e f e r a b l e o v e r w a i t i n g t o r u n f u l l d i a g n o s t i c s . T h e r e a r e o t h e r f a c t o r s a n d t i m i n g s i n v o l v e d i n b r i n g i n g u p a s y s t e m , b u t o v e r a l l , P O S T a n d o n l i n e d i a g n o s t i c s a d d a r o u n d a t h i r d a g a i n i n t i m e . I n t e s t i n g w i t h a f u l l y p o p u l a t e d s i n g l e S u p e r v i s o r E n g i n e n i n e -s l o t c h a s s i s w i t h a C a t a l y s t 650 9, t h e t o t a l b o o t t i m e w a s a r o u n d 380 s e c o n d s w i t h c o m p l e t e d i a g n o s t i c s , a r o u n d 30 0 s e c o n d s w i t h m i n i m a l d i a g n o s t i c s , a n d o n l y 250 s e c o n d s w i t h d i a g n o s t i c s b y p a s s e d . I s s u e t h i s c o m m a n d t o c o n f i g u r e b y p a s s :

set test d i ag l ev el b yp ass

N ote : T h e C a t a l y s t 450 0 / 40 0 0 a c c e p t s b e i n g c o n f i g u r e d f o r m i n i m a l d i a g n o s t i c s , t h o u g h t h i s s t i l l r e s u l t s i n a c o m p l e t e t e s t b e i n g u n d e r t a k e n . M i n i m a l m o d e c o u l d b e s u p p o r t e d i n t h e f u t u r e o n t h i s p l a t f o r m . R un T im e D ia g nos tics

P a g e 72 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 73: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

O n c e t h e s y s t e m i s o p e r a t i o n a l , t h e s w i t c h S u p e r v i s o r E n g i n e p e r f o r m s v a r i o u s m o n i t o r i n g o f t h e o t h e r m o d u l e s . I f a m o d u l e i s n o t r e a c h a b l e t h r o u g h t h e m a n a g e m e n t m e s s a g e s ( S e r i a l C o n t r o l P r o t o c o l [ S C P ] r u n n i n g o v e r t h e o u t -o f -b a n d m a n a g e m e n t b u s ) , t h e S u p e r v i s o r E n g i n e a t t e m p t s t o r e s t a r t t h e c a r d o r t a k e o t h e r a c t i o n a s a p p r o p r i a t e . O p e ra tiona l O v e rv ie w T h e S u p e r v i s o r E n g i n e c a r r i e s o u t v a r i o u s m o n i t o r i n g a u t o m a t i c a l l y ; t h i s d o e s n o t r e q u i r e a n y c o n f i g u r a t i o n . F o r t h e C a t a l y s t 550 0 / 50 0 0 a n d 650 0 / 60 0 0 , t h e s e c o m p o n e n t s o f t h e s w i t c h a r e m o n i t o r e d :

� N M P t h r o u g h a w a t c h d o g � E n h a n c e d E A R L c h i p e r r o r s � I n b a n d c h a n n e l f r o m S u p e r v i s o r E n g i n e t o b a c k p l a n e � M o d u l e s t h r o u g h k e e p a l i v e s o v e r o u t -o f -b a n d c h a n n e l ( C a t a l y s t 650 0 / 60 0 0 ) � A c t i v e S u p e r v i s o r E n g i n e i s m o n i t o r e d b y t h e s t a n d b y S u p e r v i s o r E n g i n e f o r s t a t u s ( C a t a l y s t 650 0 / 60 0 0 )

S y stem a nd H a rd w a re E rro r D etec tio n O p e ra tiona l O v e rv ie w I n C a t O S 6.2 a n d l a t e r , f u r t h e r f u n c t i o n a l i t y h a s b e e n a d d e d i n o r d e r t o m o n i t o r c r i t i c a l s y s t e m a n d h a r d w a r e -l e v e l c o m p o n e n t s . T h e s e t h r e e h a r d w a r e c o m p o n e n t s a r e s u p p o r t e d :

� I n b a n d � P o r t c o u n t e r � M e m o r y

W h e n t h e f e a t u r e i s e n a b l e d a n d a n e r r o r c o n d i t i o n i s d e t e c t e d , t h e s w i t c h g e n e r a t e s a s y s l o g m e s s a g e . T h e m e s s a g e i n f o r m s t h e a d m i n i s t r a t o r t h a t a p r o b l e m e x i s t s b e f o r e n o t i c e a b l e p e r f o r m a n c e d e g r a d a t i o n o c c u r s . I n C a t O S v e r s i o n s 6.4( 16) , 7.6( 12) , 8.4( 2) a n d l a t e r , t h e d e f a u l t m o d e f o r a l l t h r e e c o m p o n e n t s c h a n g e d f r o m d i s a b l e d t o e n a b l e d . Inb a nd I f a n i n b a n d e r r o r i s d e t e c t e d , a s y s l o g m e s s a g e i n f o r m s y o u t h a t a p r o b l e m e x i s t s b e f o r e n o t i c e a b l e p e r f o r m a n c e d e g r a d a t i o n o c c u r s . T h e e r r o r d i s p l a y s t h e t y p e o f i n b a n d f a i l u r e o c c u r r e n c e . S o m e e x a m p l e s a r e :

� I n b a n d s t u c k � R e s o u r c e e r r o r s

P a g e 73 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 74: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

� I n b a n d f a i l d u r i n g b o o t u p A t t h e d e t e c t i o n o f a n i n b a n d p i n g f a i l u r e , t h e f e a t u r e a l s o r e p o r t s a n a d d i t i o n a l s y s l o g m e s s a g e w i t h a s n a p s h o t o f t h e c u r r e n t T x a n d R x r a t e o n t h e i n b a n d c o n n e c t i o n , C P U , a n d t h e b a c k p l a n e l o a d o f t h e s w i t c h . T h i s m e s s a g e e n a b l e s y o u t o p r o p e r l y d e t e r m i n e i f t h e i n b a n d i s s t u c k ( n o T x / R x ) o r o v e r l o a d e d ( e x c e s s i v e T x / R x ) . T h i s a d d i t i o n a l i n f o r m a t i o n c a n h e l p y o u d e t e r m i n e t h e c a u s e o f i n b a n d p i n g f a i l u r e s . P ort C ounte r W h e n y o u e n a b l e t h i s f e a t u r e , i t c r e a t e s a n d s t a r t s a p r o c e s s t o d e b u g p o r t c o u n t e r s . T h e p o r t c o u n t e r p e r i o d i c a l l y m o n i t o r s s e l e c t i n t e r n a l p o r t e r r o r c o u n t e r s . T h e a r c h i t e c t u r e o f t h e l i n e c a r d , a n d m o r e s p e c i f i c a l l y t h e A S I C s o n t h e m o d u l e , d e t e r m i n e s w h i c h c o u n t e r s t h e f e a t u r e q u e r i e s . C i s c o T e c h n i c a l S u p p o r t o r d e v e l o p m e n t e n g i n e e r i n g c a n t h e n u s e t h i s i n f o r m a t i o n i n o r d e r t o t r o u b l e s h o o t p r o b l e m s . T h i s f e a t u r e d o e s n o t p o l l e r r o r c o u n t e r s s u c h a s F C S , C R C , a l i g n m e n t , a n d r u n t s t h a t a r e d i r e c t l y a s s o c i a t e d w i t h l i n k p a r t n e r c o n n e c t i v i t y . S e e t h e E t h e r C h a n n e l / L i n k E r r o r s H a n d l i n g s e c t i o n o f t h i s d o c u m e n t i n o r d e r t o i n c o r p o r a t e t h i s c a p a b i l i t y . P o l l i n g i s e x e c u t e d e v e r y 30 m i n u t e s a n d r u n s i n t h e b a c k g r o u n d o f s e l e c t e d e r r o r c o u n t e r s . I f t h e c o u n t g o e s u p b e t w e e n t w o s u b s e q u e n t p o l l s o n t h e s a m e p o r t , a s y s l o g m e s s a g e r e p o r t s t h e i n c i d e n t a n d g i v e s t h e m o d u l e / p o r t a n d e r r o r c o u n t e r d e t a i l s . T h e p o r t c o u n t e r o p t i o n i s n o t s u p p o r t e d o n t h e C a t a l y s t 450 0 / 40 0 0 p l a t f o r m . M e m ory E n a b l e m e n t o f t h i s f e a t u r e p e r f o r m s b a c k g r o u n d m o n i t o r i n g a n d d e t e c t i o n o f D R A M c o r r u p t i o n c o n d i t i o n s . S u c h m e m o r y c o r r u p t i o n c o n d i t i o n s i n c l u d e :

� A l l o c a t i o n � F r e e i n g � O u t o f r a n g e � B a d a l i g n m e n t

R e com m e nda tion E n a b l e a l l e r r o r d e t e c t i o n f e a t u r e s , w h i c h i n c l u d e s i n b a n d , p o r t c o u n t e r s , a n d m e m o r y , w h e r e t h e y a r e s u p p o r t e d . E n a b l e m e n t o f t h e s e f e a t u r e s a c h i e v e s i m p r o v e d p r o a c t i v e s y s t e m a n d h a r d w a r e w a r n i n g d i a g n o s t i c s f o r t h e C a t a l y s t s w i t c h p l a t f o r m . I s s u e t h e s e c o m m a n d s i n o r d e r t o e n a b l e a l l t h r e e e r r o r d e t e c t i o n f e a t u r e s :

set er r or d etecti on i n b an d en ab l e !--- T h i s i s t h e d e f a u l t i n C a t O S 6 . 4 ( 1 6 ) , 7 . 6 ( 1 2 ) , 8 . 4 ( 2 ) , a n d l a t e r . set er r or d etecti on p or tcou n ter s en ab l e !--- T h i s i s t h e d e f a u l t i n C a t O S 6 . 4 ( 1 6 ) , 7 . 6 ( 1 2 ) , 8 . 4 ( 2 ) , a n d l a t e r .

P a g e 74 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 75: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

set er r or d etecti on memor y en ab l e !--- T h i s i s t h e d e f a u l t i n C a t O S 6 . 4 ( 1 6 ) , 7 . 6 ( 1 2 ) , 8 . 4 ( 2 ) , a n d l a t e r .

I s s u e t h i s c o m m a n d i n o r d e r t o c o n f i r m t h a t e r r o r d e t e c t i o n i s e n a b l e d : >show er r or d etecti on I n b a n d e r r o r d e t e c t i o n : en ab l ed M e m o r y e r r o r d e t e c t i o n : en ab l ed P a c k e t b u f f e r e r r o r d e t e c t i o n : e r r d i s a b l e P o r t c o u n t e r e r r o r d e t e c t i o n : en ab l ed P o r t l i n k -e r r o r s d e t e c t i o n : d i s a b l e d P o r t l i n k -e r r o r s a c t i o n : p o r t -f a i l o v e r P o r t l i n k -e r r o r s i n t e r v a l : 30 s e c o n d s

E th erC h a nnel / L ink E rro rs H a nd l ing O p e ra tiona l O v e rv ie w I n C a t O S 8.4 a n d l a t e r , a n e w f e a t u r e h a s b e e n i n t r o d u c e d i n o r d e r t o p r o v i d e a n a u t o m a t i c f a i l o v e r o f t r a f f i c f r o m o n e p o r t i n a n E t h e r C h a n n e l t o a n o t h e r p o r t i n t h e s a m e E t h e r C h a n n e l . T h e p o r t f a i l o v e r o c c u r s w h e n o n e o f t h e p o r t s i n t h e c h a n n e l e x c e e d s a c o n f i g u r a b l e e r r o r t h r e s h o l d w i t h i n t h e s p e c i f i e d i n t e r v a l . T h e p o r t f a i l o v e r o n l y o c c u r s i f t h e r e i s a n o p e r a t i o n a l p o r t l e f t i n t h e E t h e r C h a n n e l . I f t h e f a i l e d p o r t i s t h e l a s t p o r t i n t h e E t h e r C h a n n e l , t h e p o r t d o e s n o t e n t e r t h e p o r t -f a i l o v e r s t a t e . T h i s p o r t c o n t i n u e s t o p a s s t r a f f i c , r e g a r d l e s s o f t h e t y p e o f e r r o r s t h a t a r e r e c e i v e d . S i n g l e , n o n c h a n n e l i n g p o r t s d o n o t g o i n t o t h e p o r t -f a i l o v e r s t a t e . T h e s e p o r t s g o i n t o t h e e r r d i s a b l e s t a t e w h e n t h e e r r o r t h r e s h o l d i s e x c e e d e d w i t h i n t h e s p e c i f i e d i n t e r v a l . T h i s f e a t u r e i s o n l y e f f e c t i v e w h e n y o u e n a b l e s e t e rrorde te ction p ortcounte rs . T h e l i n k e r r o r s t o b e m o n i t o r e d a r e b a s e d o n t h r e e c o u n t e r s :

� I n E r r o r s � R x C R C s ( C R C A l i g n E r r o r s ) � T x C R C s

I s s u e t h e s h ow counte rs c o m m a n d o n a s w i t c h i n o r d e r t o d i s p l a y t h e n u m b e r o f e r r o r c o u n t e r s . T h i s i s a n e x a m p l e :

>show cou n ter s 4 /4 8 . . . . . . . 32 b i t c o u n t e r s 0 r x C R C A l i g n E r r o r s = 0 . . . . . . . 6 i f I n E r r o r s = 0

P a g e 75 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 76: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

. . . . . . . 12 t x C R C = 0

T h i s t a b l e i s a l i s t o f p o s s i b l e c o n f i g u r a t i o n p a r a m e t e r s a n d t h e r e s p e c t i v e d e f a u l t c o n f i g u r a t i o n :

I f t h e f e a t u r e i s e n a b l e d a n d t h e e r r o r c o u n t o f a p o r t r e a c h e s t h e h i g h v a l u e o f t h e c o n f i g u r a b l e t h r e s h o l d w i t h i n t h e s p e c i f i e d s a m p l i n g c o u n t p e r i o d , t h e c o n f i g u r a b l e a c t i o n i s e i t h e r e r r o r d i s a b l e o r p o r t f a i l o v e r . T h e e r r o r d i s a b l e a c t i o n p l a c e s t h e p o r t i n t o t h e e r r d i s a b l e s t a t e . I f y o u c o n f i g u r e t h e p o r t f a i l o v e r a c t i o n , t h e p o r t c h a n n e l s t a t u s i s c o n s i d e r e d . T h e p o r t i s e r r o r d i s a b l e d o n l y i f t h e p o r t i s i n a c h a n n e l b u t t h a t p o r t i s n o t t h e l a s t o p e r a t i o n a l p o r t i n t h e c h a n n e l . A d d i t i o n a l l y , i f t h e c o n f i g u r e d a c t i o n i s p o r t f a i l o v e r a n d t h e p o r t i s a s i n g l e p o r t o r n o n c h a n n e l e d , t h e p o r t i s p l a c e d i n t h e e r r d i s a b l e s t a t e w h e n t h e p o r t e r r o r c o u n t r e a c h e s t h e h i g h v a l u e o f t h e t h r e s h o l d . T h e i n t e r v a l i s a t i m e r c o n s t a n t f o r r e a d i n g t h e p o r t e r r o r c o u n t e r s . T h e d e f a u l t v a l u e o f t h e l i n k -e r r o r s i n t e r v a l i s 30 s e c o n d s . T h e a l l o w e d r a n g e i s b e t w e e n 30 a n d 180 0 s e c o n d s . T h e r e i s a r i s k o f a c c i d e n t a l e r r o r d i s a b l e m e n t o f a p o r t b e c a u s e o f a n u n e x p e c t e d o n e -t i m e e v e n t . I n o r d e r t o m i n i m i z e t h i s r i s k , a c t i o n s t o a p o r t a r e t a k e n o n l y w h e n t h e c o n d i t i o n p e r s i s t s t h r o u g h t h i s c o n s e c u t i v e s a m p l i n g n u m b e r o f t i m e s . T h e d e f a u l t s a m p l i n g v a l u e i s 3 a n d t h e a l l o w e d r a n g e i s f r o m 1 t o 255. T h e t h r e s h o l d i s a n a b s o l u t e n u m b e r t o b e c h e c k e d b a s e d o n t h e l i n k -e r r o r s i n t e r v a l . T h e d e f a u l t l i n k -e r r o r l o w t h r e s h o l d i s 10 0 0 a n d t h e a l l o w e d r a n g e i s 1 t o 65,535. T h e d e f a u l t l i n k -e r r o r h i g h t h r e s h o l d i s 10 0 1. W h e n t h e c o n s e c u t i v e n u m b e r o f s a m p l i n g t i m e s r e a c h e s t h e l o w t h r e s h o l d , a s y s l o g i s s e n t . I f t h e c o n s e c u t i v e s a m p l i n g t i m e s r e a c h e s t h e h i g h t h r e s h o l d , a s y s l o g i s s e n t a n d a n e r r o r d i s a b l e o r p o r t f a i l o v e r a c t i o n i s t r i g g e r e d . N ote : U s e t h e s a m e p o r t e r r o r d e t e c t i o n c o n f i g u r a t i o n f o r a l l p o r t s i n a c h a n n e l . R e f e r t o t h e s e s e c t i o n s o f t h e C a t a l y s t 650 0 s e r i e s s o f t w a r e c o n f i g u r a t i o n g u i d e f o r m o r e i n f o r m a t i o n :

� T h e C o nf i g u r i ng E t h e r C h anne l/ L i nk E r r o r H and li ng s e c t i o n o f C h e c k i n g S t a t u s a n d C o n n e c t i v i t y � T h e C o nf i g u r i ng P o r t E r r o r D e t e c t i o n s e c t i o n o f C o n f i g u r i n g E t h e r n e t , F a s t E t h e r n e t , G i g a b i t

P a ra m e te rs D e f a ul t G l o b a l D i s a b l e d P o r t m o n i t o r f o r R x C R C D i s a b l e d P o r t m o n i t o r f o r I n E r r o r s D i s a b l e d P o r t m o n i t o r f o r T x C R C D i s a b l e d A c t i o n P o r t -f a i l o v e r I n t e r v a l 30 s e c o n d s S a m p l i n g c o u n t 3 c o n s e c u t i v e L o w t h r e s h o l d 10 0 0 H i g h t h r e s h o l d 10 0 1

P a g e 76 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 77: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

E t h e r n e t , a n d 10 -G i g a b i t E t h e r n e t S w i t c h i n g R e com m e nda tions B e c a u s e t h e f e a t u r e u s e s S C P m e s s a g e s i n o r d e r t o r e c o r d a n d c o m p a r e t h e d a t a , h i g h n u m b e r s o f a c t i v e p o r t s c a n b e C P U -i n t e n s i v e . T h i s s c e n a r i o i s e v e n m o r e C P U -i n t e n s i v e w h e n t h e t h r e s h o l d i n t e r v a l i s s e t t o a v e r y s m a l l v a l u e . E n a b l e t h i s f e a t u r e w i t h d i s c r e t i o n f o r p o r t s t h a t a r e d e s i g n a t e d a s c r i t i c a l l i n k s a n d c a r r y t r a f f i c f o r s e n s i t i v e a p p l i c a t i o n s . I s s u e t h i s c o m m a n d i n o r d e r t o e n a b l e l i n k e r r o r d e t e c t i o n g l o b a l l y :

set er r or d etecti on l i n k -er r or s en ab l e

A l s o , s t a r t w i t h t h e d e f a u l t t h r e s h o l d , i n t e r v a l , a n d s a m p l i n g p a r a m e t e r s . A n d u s e t h e d e f a u l t a c t i o n , p o r t f a i l o v e r . I s s u e t h e s e c o m m a n d s i n o r d e r t o a p p l y t h e g l o b a l l i n k -e r r o r p a r a m e t e r s t o i n d i v i d u a l p o r t s :

set p or t er r or d etecti on m od /port i n er r or s en ab l e set p or t er r or d etecti on m od /port r x cr c en ab l e set p or t er r or d etecti on m od /port tx cr c en ab l e

Y o u c a n i s s u e t h e s e c o m m a n d s i n o r d e r t o v e r i f y t h e l i n k -e r r o r s c o n f i g u r a t i o n : show er r or d etecti on show p or t er r or d etecti on { m od | m od /port}

C a ta l y st 6 5 0 0 / 6 0 0 0 P a c k et B uf f er D ia g no stic s I n C a t O S v e r s i o n s 6.4( 7) , 7.6( 5) , a n d 8.2( 1) , t h e C a t a l y s t 650 0 / 60 0 0 p a c k e t b u f f e r d i a g n o s t i c s w e r e i n t r o d u c e d . T h e p a c k e t b u f f e r d i a g n o s t i c s , w h i c h a r e e n a b l e d b y d e f a u l t , d e t e c t p a c k e t b u f f e r f a i l u r e s t h a t a r e c a u s e d b y t r a n s i e n t S t a t i c R A M ( S R A M ) f a i l u r e s . D e t e c t i o n i s o n t h e s e 48-p o r t 10 / 10 0 -M b p s l i n e m o d u l e s :

� W S -X 6248-R J 45 � W S -X 6248-R J 21 � W S -X 6348-R J 45 � W S -X 6348-R J 21 � W S -X 6148-R J 45 � W S -X 6148-R J 21

W h e n t h e f a i l u r e c o n d i t i o n o c c u r s , 12 o u t o f t h e 48 10 / 10 0 -M b p s p o r t s c o n t i n u e t o s t a y c o n n e c t e d a n d c a n e x p e r i e n c e r a n d o m c o n n e c t i v i t y p r o b l e m s . T h e o n l y w a y t o r e c o v e r f r o m t h i s c o n d i t i o n i s t o p o w e r c y c l e t h e l i n e m o d u l e .

P a g e 77 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 78: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

O p e ra tiona l O v e rv ie w T h e p a c k e t b u f f e r d i a g n o s t i c s c h e c k t h e d a t a t h a t a r e s t o r e d i n a s p e c i f i c s e c t i o n o f t h e p a c k e t b u f f e r i n o r d e r t o d e t e r m i n e i f i t i s c o r r u p t e d b y t r a n s i e n t S R A M f a i l u r e s . I f t h e p r o c e s s r e a d s b a c k s o m e t h i n g d i f f e r e n t t h a n w h a t i t w r o t e , i t t h e n c a r r i e s o u t t w o p o s s i b l e c o n f i g u r a b l e r e c o v e r y o p t i o n s : 1. T h e d e f a u l t a c t i o n i s t o e r r o r d i s a b l e t h e l i n e c a r d p o r t s t h a t a r e a f f e c t e d b y t h e b u f f e r f a i l u r e . 2. T h e s e c o n d o p t i o n i s t o p o w e r c y c l e t h e l i n e c a r d .

T w o s y s l o g m e s s a g e s h a v e b e e n a d d e d . T h e m e s s a g e s p r o v i d e a w a r n i n g o f t h e e r r o r d i s a b l e m e n t o f t h e p o r t s o r t h e p o w e r c y c l e o f t h e m o d u l e b e c a u s e o f p a c k e t b u f f e r e r r o r s :

% S Y S -3-P K T B U F F E R F A I L _ E R R D I S : P a c k e t b u f f e r f a i l u r e d e t e c t e d . E r r -d i s a b l i n g p o r t 5/ 1. % S Y S -3-P K T B U F F E R F A I L _ P W R C Y C L E : P a c k e t b u f f e r f a i l u r e d e t e c t e d . P o w e r c y c l i n g m o d u l e 5.

I n C a t O S v e r s i o n s t h a t a r e e a r l i e r t h a n 8.3 a n d 8.4, t h e l i n e c a r d p o w e r -c y c l e t i m e i s b e t w e e n 30 a n d 40 s e c o n d s . A R a p i d B o o t f e a t u r e w a s i n t r o d u c e d i n C a t O S v e r s i o n s 8.3 a n d 8.4. T h e f e a t u r e a u t o m a t i c a l l y d o w n l o a d s t h e f i r m w a r e t o t h e i n s t a l l e d l i n e c a r d s d u r i n g t h e i n i t i a l b o o t p r o c e s s i n o r d e r t o m i n i m i z e t h e b o o t u p t i m e . T h e R a p i d B o o t f e a t u r e r e d u c e s t h e p o w e r -c y c l e t i m e t o a p p r o x i m a t e l y 10 s e c o n d s . R e com m e nda tion C i s c o r e c o m m e n d s t h e d e f a u l t o p t i o n o f e r r d i s a b l e . T h i s a c t i o n h a s t h e l e a s t i m p a c t o n t h e n e t w o r k s e r v i c e d u r i n g p r o d u c t i o n h o u r s . I f p o s s i b l e , m o v e t h e c o n n e c t i o n t h a t i s a f f e c t e d b y t h e e r r o r -d i s a b l e d p o r t s t o o t h e r a v a i l a b l e s w i t c h p o r t s i n o r d e r t o r e s t o r e s e r v i c e . S c h e d u l e a m a n u a l p o w e r c y c l e o f t h e l i n e c a r d d u r i n g t h e m a i n t e n a n c e w i n d o w . I s s u e t h e re s e t m odul e mo d c o m m a n d i n o r d e r t o f u l l y r e c o v e r f r o m t h e c o r r u p t e d p a c k e t b u f f e r c o n d i t i o n . I s s u e t h i s c o m m a n d i n o r d e r t o e n a b l e t h e e r r d i s a b l e o p t i o n :

set er r or d etecti on p ack et-b u f f er er r d i sab l e !--- T h i s i s t h e d e f a u l t .

O th e r O p tion B e c a u s e a p o w e r c y c l e o f t h e l i n e c a r d i s n e c e s s a r y i n o r d e r t o f u l l y r e c o v e r a l l p o r t s w h i c h h a v e e n c o u n t e r e d a n S R A M f a i l u r e , a n a l t e r n a t i v e r e c o v e r y a c t i o n i s t o c o n f i g u r e t h e p o w e r c y c l e o p t i o n . T h i s o p t i o n i s u s e f u l i n c i r c u m s t a n c e s i n w h i c h a n o u t a g e i n n e t w o r k s e r v i c e s t h a t c a n l a s t b e t w e e n 30 a n d 40 s e c o n d s i s a c c e p t a b l e . T h i s l e n g t h o f t i m e i s t h e t i m e t h a t i s n e c e s s a r y f o r a l i n e m o d u l e t o f u l l y p o w e r c y c l e a n d p l a c e i t s e l f b a c k i n t o s e r v i c e w i t h o u t t h e R a p i d B o o t f e a t u r e . T h e R a p i d B o o t f e a t u r e c a n r e d u c e t h e t i m e o f t h e o u t a g e i n n e t w o r k s e r v i c e s t o 10 s e c o n d s w i t h t h e p o w e r c y c l e o p t i o n . I s s u e t h i s c o m m a n d i n o r d e r t o e n a b l e t h e p o w e r c y c l e o p t i o n :

set er r or d etecti on p ack et-b u f f er p ower -cycl e

P a ck e t B uf f e r D ia g nos tics

P a g e 78 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 79: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

T h i s t e s t i s f o r C a t a l y s t 550 0 / 50 0 0 s w i t c h e s o n l y . T h i s t e s t i s d e s i g n e d t o f i n d f a i l e d h a r d w a r e o n C a t a l y s t 550 0 / 50 0 0 s w i t c h e s t h a t a r e u s i n g E t h e r n e t m o d u l e s w i t h s p e c i f i c h a r d w a r e t h a t p r o v i d e 10 / 10 0 -M b p s c o n n e c t i v i t y b e t w e e n u s e r p o r t s a n d t h e s w i t c h b a c k p l a n e . A s t h e y c a n n o t p e r f o r m C R C c h e c k i n g f o r t r u n k e d f r a m e s , i f a p o r t p a c k e t b u f f e r b e c o m e s d e f e c t i v e d u r i n g r u n t i m e , p a c k e t s c o u l d g e t c o r r u p t e d a n d c a u s e C R C e r r o r s . U n f o r t u n a t e l y , t h i s c o u l d l e a d t o t h e p r o p a g a t i o n o f b a d f r a m e s f u r t h e r i n t o t h e C a t a l y s t 550 0 / 50 0 0 I S L n e t w o r k , w h i c h p o t e n t i a l l y c a u s e s c o n t r o l p l a n e d i s r u p t i o n a n d b r o a d c a s t s t o r m s i n w o r s t -c a s e s c e n a r i o s . N e w e r C a t a l y s t 550 0 / 50 0 0 m o d u l e s a n d o t h e r p l a t f o r m s h a v e u p d a t e d h a r d w a r e e r r o r c h e c k i n g b u i l t i n a n d d o n o t n e e d t h e p a c k e t b u f f e r t e s t s , s o t h e r e i s n o o p t i o n t o c o n f i g u r e i t . T h e l i n e m o d u l e s t h a t n e e d t h e p a c k e t b u f f e r d i a g n o s t i c s a r e W S -X 50 10 , W S -X 50 11, W S -X 50 13, W S -X 50 20 , W S -X 5111, W S -X 5113, W S -X 5114, W S -X 520 1, W S -X 520 3, W S -X 5213/ a , W S -X 5223, W S -X 5224, W S -X 550 6, W S -X 550 9, W S -U 5531, W S -U 5533, a n d W S -U 5535. O p e ra tiona l O v e rv ie w T h i s d i a g n o s t i c c h e c k s t h a t d a t a s t o r e d i n a s p e c i f i c s e c t i o n o f t h e p a c k e t b u f f e r i s n o t a c c i d e n t a l l y b e i n g c o r r u p t e d b y f a u l t y h a r d w a r e . I f t h e p r o c e s s r e a d s b a c k s o m e t h i n g d i f f e r e n t t h a n i t w r o t e , i t s h u t s d o w n t h e p o r t i n f a i l e d m o d e , s i n c e t h a t p o r t c o u l d c o r r u p t d a t a . T h e r e i s n o t h r e s h o l d o f e r r o r s n e e d e d . F a i l e d p o r t s c a n n o t b e e n a b l e d a g a i n u n t i l t h e m o d u l e h a s b e e n r e s e t ( o r r e p l a c e d ) . T h e r e a r e t w o m o d e s f o r p a c k e t b u f f e r t e s t s : s c h e d u l e d a n d o n -d e m a n d . W h e n a t e s t b e g i n s , s y s l o g m e s s a g e s a r e g e n e r a t e d i n o r d e r t o i n d i c a t e t h e e x p e c t e d l e n g t h o f t h e t e s t ( r o u n d e d u p t o t h e n e a r e s t m i n u t e ) a n d t h e f a c t t h a t t h e t e s t h a s s t a r t e d . T h e e x a c t l e n g t h o f t h e t e s t v a r i e s b y p o r t t y p e , s i z e o f t h e b u f f e r , a n d t h e t y p e o f t e s t r u n . O n -d e m a n d t e s t s a r e a g g r e s s i v e i n o r d e r t o f i n i s h w i t h i n a f e w m i n u t e s . S i n c e t h e s e t e s t s a c t i v e l y i n t e r f e r e w i t h p a c k e t m e m o r y , p o r t s m u s t b e a d m i n i s t r a t i v e l y s h u t d o w n b e f o r e t e s t i n g . I s s u e t h i s c o m m a n d i n o r d e r t o s h u t d o w n t h e p o r t s :

> ( e n a b l e ) test p ack etb u f f er 4 /1 W a r n i n g : o n l y d i s a b l e d p o r t s m a y b e t e s t e d o n d e m a n d - 4/ 1 w i l l b e s k i p p e d . > ( e n a b l e ) set p or t d i sab l e 4 /1 > ( e n a b l e ) test p ack etb u f f er 4 /1 P a c k e t b u f f e r t e s t s t a r t e d . E s t i m a t e d t e s t t i m e : 1 m i n u t e . % S Y S -5-P K T T E S T S T A R T : P a c k e t b u f f e r t e s t s t a r t e d % S Y S -5-P K T T E S T D O N E : P a c k e t b u f f e r t e s t d o n e . U s e ' s h o w t e s t ' t o s e e t e s t r e s u l t s

S c h e d u l e d t e s t s a r e m u c h l e s s a g g r e s s i v e t h a n t h e o n -d e m a n d t e s t s , a n d t h e y e x e c u t e i n t h e b a c k g r o u n d . T h e t e s t s a r e p e r f o r m e d i n p a r a l l e l a c r o s s m u l t i p l e m o d u l e s b u t o n o n e p o r t p e r m o d u l e a t a t i m e . T h e t e s t p r e s e r v e s , w r i t e s , a n d r e a d s s m a l l s e c t i o n s o f p a c k e t b u f f e r m e m o r y b e f o r e r e s t o r i n g u s e r p a c k e t b u f f e r d a t a , a n d t h u s g e n e r a t e s n o e r r o r s . H o w e v e r , s i n c e t h e t e s t i s w r i t e s t o b u f f e r m e m o r y , i t b l o c k s i n c o m i n g p a c k e t s f o r a f e w m i l l i s e c o n d s a n d c a u s e s s o m e l o s s o n b u s y l i n k s . B y d e f a u l t t h e r e i s a n e i g h t -s e c o n d p a u s e b e t w e e n e a c h b u f f e r -w r i t e t e s t t o m i n i m i z e a n y p a c k e t l o s s , b u t t h i s m e a n s t h a t a s y s t e m f u l l o f m o d u l e s t h a t n e e d t h e p a c k e t b u f f e r t e s t c a n t a k e o v e r 24 h o u r s f o r t h e t e s t t o c o m p l e t e . T h i s s c h e d u l e d t e s t i s e n a b l e d b y d e f a u l t t o r u n w e e k l y a t 0 3: 30 o n S u n d a y s f r o m C a t O S 5.4 o r l a t e r , a n d t h e t e s t s t a t u s c a n b e c o n f i r m e d w i t h t h i s c o m m a n d :

>show test p ack etb u f f er statu s

P a g e 79 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 80: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

!--- W h e n t e s t i s r u n n i n g , t h e c o m m a n d r e t u r n s !--- t h i s i n f o r m a t i o n : C u r r e n t p a c k e t b u f f e r t e s t d e t a i l s T e s t T y p e : s c h e d u l e d T e s t S t a r t e d : 0 3: 30 : 0 8 J u l 20 20 0 1 T e s t S t a t u s : 26 % o f p o r t s t e s t e d P o r t s u n d e r t e s t : 10 / 5, 11/ 2 E s t i m a t e d t i m e l e f t : 11 m i n u t e s !--- W h e n t e s t i s n o t r u n n i n g , !--- t h e c o m m a n d r e t u r n s t h i s i n f o r m a t i o n : L a s t p a c k e t b u f f e r t e s t d e t a i l s T e s t T y p e : s c h e d u l e d T e s t S t a r t e d : 0 3: 30 : 0 8 J u l 20 20 0 1 T e s t F i n i s h e d : 0 6 : 48 : 57 J u l 21 20 0 1

R e com m e nda tion T h e C i s c o r e c o m m e n d s t h a t y o u u s e t h e s c h e d u l e d p a c k e t b u f f e r t e s t f e a t u r e f o r C a t a l y s t 550 0 / 50 0 0 s y s t e m s , a s t h e b e n e f i t o f d i s c o v e r i n g p r o b l e m s o n m o d u l e s o u t w e i g h s t h e r i s k o f l o w p a c k e t l o s s . A s t a n d a r d i z e d w e e k l y t i m e m u s t t h e n b e s c h e d u l e d a c r o s s t h e n e t w o r k t h a t a l l o w s t h e c u s t o m e r t o c h a n g e l i n k s f r o m f a u l t y p o r t s o r R M A m o d u l e s a s n e c e s s a r y . A s t h i s t e s t c a n c a u s e s o m e p a c k e t l o s s , d e p e n d i n g o n n e t w o r k l o a d , i t m u s t b e s c h e d u l e d f o r q u i e t e r n e t w o r k t i m e s , s u c h a s t h e d e f a u l t o f 3: 30 A M o n a S u n d a y m o r n i n g . I s s u e t h i s c o m m a n d i n o r d e r t o s e t t h e t e s t t i m e :

set test p ack etb u f f er S u n d ay 3 : 3 0 !--- T h i s i s t h e d e f a u l t .

O n c e e n a b l e d ( a s w h e n C a t O S i s u p g r a d e d t o 5.4 a n d l a t e r f o r t h e f i r s t t i m e ) , t h e r e i s a c h a n c e t h a t a p r e v i o u s l y h i d d e n m e m o r y / h a r d w a r e p r o b l e m i s e x p o s e d , a n d a p o r t i s s h u t d o w n a u t o m a t i c a l l y a s a r e s u l t . Y o u c o u l d s e e t h i s m e s s a g e :

% S Y S -3-P K T B U F B A D : P o r t 1/ 1 f a i l e d p a c k e t b u f f e r t e s t

O th e r O p tions I f i t i s n o t a c c e p t a b l e t o r i s k a l o w l e v e l o f p a c k e t l o s s p e r -p o r t o n a w e e k l y b a s i s , t h e n i t i s r e c o m m e n d e d t o u s e t h e o n -d e m a n d f e a t u r e d u r i n g s c h e d u l e d o u t a g e s . I s s u e t h i s c o m m a n d i n o r d e r t o s t a r t t h i s f e a t u r e m a n u a l l y o n a p e r r a n g e b a s i s ( t h o u g h t h e p o r t m u s t b e a d m i n i s t r a t i v e l y d i s a b l e d f i r s t ) :

test p ack etb u f f er port range

S y stem L o g g ing S y s l o g m e s s a g e s a r e C i s c o -s p e c i f i c a n d a k e y p a r t o f p r o a c t i v e f a u l t m a n a g e m e n t . A w i d e r r a n g e o f n e t w o r k a n d p r o t o c o l c o n d i t i o n s a r e r e p o r t e d u s i n g s y s l o g t h a n i s p o s s i b l e t h r o u g h s t a n d a r d i z e d S N M P . M a n a g e m e n t p l a t f o r m s , s u c h a s C i s c o R e s o u r c e M a n a g e r E s s e n t i a l s ( R M E s ) a n d t h e N e t w o r k A n a l y s i s T o o l k i t ( N A T k i t ) m a k e p o w e r f u l u s e o f s y s l o g i n f o r m a t i o n b e c a u s e t h e y p e r f o r m t h e s e t a s k s :

P a g e 80 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 81: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

� P r e s e n t a n a l y s i s b y s e v e r i t y , m e s s a g e , d e v i c e , a n d s o o n � E n a b l e f i l t e r i n g o f m e s s a g e s c o m i n g i n f o r a n a l y s i s � T r i g g e r a l e r t i n g , s u c h a s p a g e r s , o r o n -d e m a n d c o l l e c t i n g o f i n v e n t o r y a n d c o n f i g u r a t i o n c h a n g e s

R e com m e nda tion A n i m p o r t a n t p o i n t o f f o c u s i s w h a t l e v e l o f l o g g i n g i n f o r m a t i o n i s t o b e g e n e r a t e d l o c a l l y a n d h e l d i n t h e s w i t c h b u f f e r a s o p p o s e d t o t h a t w h i c h i s s e n t t o a s y s l o g s e r v e r ( u s i n g t h e s e t l og g ing s e rv e r s e v e rity v al u e c o m m a n d ) . S o m e o r g a n i z a t i o n s l o g a h i g h l e v e l o f i n f o r m a t i o n c e n t r a l l y , w h e r e a s o t h e r s g o t o t h e s w i t c h i t s e l f t o l o o k a t t h e m o r e d e t a i l e d l o g s f o r a n e v e n t o r e n a b l e a h i g h e r l e v e l o f s y s l o g c a p t u r e o n l y d u r i n g t r o u b l e s h o o t i n g . D e b u g g i n g i s d i f f e r e n t o n C a t O S p l a t f o r m s t h a n C i s c o I O S S o f t w a r e , b u t d e t a i l e d s y s t e m l o g g i n g c a n b e e n a b l e d o n a p e r -s e s s i o n b a s i s w i t h s e t l og g ing s e s s ion e na b l e w i t h o u t c h a n g i n g w h a t i s l o g g e d b y d e f a u l t . C i s c o g e n e r a l l y r e c o m m e n d s t h a t y o u b r i n g t h e s p a n t r e e a n d s y s t e m s y s l o g f a c i l i t i e s u p t o l e v e l 6, a s t h e s e a r e k e y s t a b i l i t y f e a t u r e s t o t r a c k . I n a d d i t i o n , f o r m u l t i c a s t e n v i r o n m e n t s , b r i n g i n g t h e l o g g i n g l e v e l o f t h e m c a s t f a c i l i t y u p t o 4 i s r e c o m m e n d e d s o t h a t s y s l o g m e s s a g e s a r e p r o d u c e d i f r o u t e r p o r t s a r e d e l e t e d . U n f o r t u n a t e l y , b e f o r e C a t O S 5.5( 5) t h i s c o u l d r e s u l t i n s y s l o g m e s s a g e s b e i n g r e c o r d e d f o r I G M P j o i n s a n d l e a v e s , w h i c h i s t o o n o i s y t o m o n i t o r . F i n a l l y , i f I P i n p u t l i s t s a r e u s e d , a m i n i m u m l o g g i n g l e v e l o f 4 i s r e c o m m e n d e d t o c a p t u r e u n a u t h o r i z e d l o g i n a t t e m p t s . I s s u e t h e s e c o m m a n d s i n o r d e r t o s e t t h e s e o p t i o n s :

set l og g i n g b u f f er 5 0 0 !--- T h i s i s t h e d e f a u l t . set l og g i n g ser v er s y s l og s erv er I P ad d res s set l og g i n g ser v er en ab l e !--- T h i s i s t h e d e f a u l t . set l og g i n g ti mestamp en ab l e set l og g i n g l ev el sp an tr ee 6 d ef au l t !--- I n c r e a s e d e f a u l t S T P s y s l o g l e v e l . set l og g i n g l ev el sys 6 d ef au l t !--- I n c r e a s e d e f a u l t s y s t e m s y s l o g l e v e l . set l og g i n g ser v er sev er i ty 4 !--- T h i s i s t h e d e f a u l t ; !--- i t l i m i t s m e s s a g e s e x p o r t e d t o s y s l o g s e r v e r . set l og g i n g con sol e d i sab l e

T u r n o f f t h e c o n s o l e m e s s a g e s i n o r d e r t o p r o t e c t a g a i n s t t h e r i s k o f t h e s w i t c h h a n g i n g a s i t w a i t s f o r a r e s p o n s e f r o m a s l o w o r n o n -e x i s t i n g t e r m i n a l w h e n m e s s a g e v o l u m e i s h i g h . C o n s o l e l o g g i n g i s a h i g h p r i o r i t y u n d e r C a t O S a n d i s m a i n l y u s e d t o c a p t u r e t h e f i n a l m e s s a g e s l o c a l l y w h e n t r o u b l e s h o o t i n g o r

P a g e 81 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 82: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

i n a s w i t c h c r a s h s c e n a r i o . T h i s t a b l e p r o v i d e s t h e i n d i v i d u a l l o g g i n g f a c i l i t i e s , d e f a u l t l e v e l s , a n d r e c o m m e n d e d c h a n g e s f o r t h e C a t a l y s t 650 0 / 60 0 0 . E a c h p l a t f o r m h a s s l i g h t l y d i f f e r e n t f a c i l i t i e s , d e p e n d i n g o n t h e f e a t u r e s s u p p o r t e d .

F a cil ity D e f a ul t L e v e l R e com m e nde d A ction

a c l 5 L e a v e a l o n e . c d p 4 L e a v e a l o n e . c o p s 3 L e a v e a l o n e . d t p 8 L e a v e a l o n e . e a r l 2 L e a v e a l o n e . e t h c 1 5 L e a v e a l o n e . f i l e s y s 2 L e a v e a l o n e . g v r p 2 L e a v e a l o n e . i p 2 C h a ng e to 4 if IP inp ut l is ts us e d. k e r n e l 2 L e a v e a l o n e . 1d 3 L e a v e a l o n e . m c a s t 2 C h a ng e to 4 if m ul tica s t us e d

( C a tO S 5 . 5 [ 5 ] a nd l a te r) . m g m t 5 L e a v e a l o n e . m l s 5 L e a v e a l o n e . p a g p 5 L e a v e a l o n e . p r o t f i l t 2 L e a v e a l o n e . p r u n i n g 2 L e a v e a l o n e . P r i v a t e v l a n 3 L e a v e a l o n e . q o s 3 L e a v e a l o n e . r a d i u s 2 L e a v e a l o n e . r s v p 3 L e a v e a l o n e . s e c u r i t y 2 L e a v e a l o n e . s n m p 2 L e a v e a l o n e . s p a n t r e e 2 C h a ng e to 6 . s y s 5 C h a ng e to 6 . t a c 2 L e a v e a l o n e . t c p 2 L e a v e a l o n e . t e l n e t 2 L e a v e a l o n e .

P a g e 82 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 83: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

1 I n C a t O S 7.x a n d l a t e r , t h e e t h c f a c i l i t y c o d e r e p l a c e s t h e p a g p f a c i l i t y c o d e i n o r d e r t o r e f l e c t L A C P s u p p o r t . N ote : C u r r e n t l y , t h e C a t a l y s t s w i t c h e s l o g a c o n f i g u r a t i o n c h a n g e s y s l o g l e v e l -6 m e s s a g e f o r e a c h s e t o r cl e a r c o m m a n d e x e c u t e d , u n l i k e C i s c o I O S S o f t w a r e , w h i c h t r i g g e r s t h e m e s s a g e o n l y a f t e r y o u e x i t c o n f i g u r a t i o n m o d e . I f y o u n e e d R M E s t o b a c k u p c o n f i g u r a t i o n s i n r e a l -t i m e u p o n t h i s t r i g g e r , t h e n t h e s e m e s s a g e s a l s o n e e d t o b e s e n t t o t h e R M E s s y s l o g s e r v e r . F o r m o s t c u s t o m e r s , p e r i o d i c c o n f i g u r a t i o n b a c k u p s f o r C a t a l y s t s w i t c h e s a r e e n o u g h , a n d n o c h a n g e o f t h e d e f a u l t s e r v e r l o g g i n g s e v e r i t y i s n e e d e d . I f y o u t u n e y o u r N M S a l e r t s , c o n s u l t t h e S y s t e m M e s s a g e G u i d e .

S imp l e N etw o rk M a na g ement P ro to c o l S N M P i s u s e d t o r e t r i e v e s t a t i s t i c s , c o u n t e r s , a n d t a b l e s s t o r e d i n n e t w o r k d e v i c e M a n a g e m e n t I n f o r m a t i o n B a s e s ( M I B s ) . T h e i n f o r m a t i o n c o l l e c t e d c a n b e u s e d b y N M S s ( s u c h a s H P O p e n v i e w ) i n o r d e r t o g e n e r a t e r e a l t i m e a l e r t s , m e a s u r e a v a i l a b i l i t y , a n d p r o d u c e c a p a c i t y p l a n n i n g i n f o r m a t i o n , a s w e l l a s t o h e l p p e r f o r m c o n f i g u r a t i o n a n d t r o u b l e s h o o t i n g c h e c k s . O p e ra tiona l O v e rv ie w W i t h s o m e s e c u r i t y m e c h a n i s m s , a n e t w o r k m a n a g e m e n t s t a t i o n i s a b l e t o r e t r i e v e i n f o r m a t i o n i n t h e M I B s w i t h S N M P p r o t o c o l g e t a n d g e t n e x t r e q u e s t s , a n d t o c h a n g e p a r a m e t e r s w i t h t h e s e t c o m m a n d . A d d i t i o n a l l y , a n e t w o r k d e v i c e c a n b e c o n f i g u r e d t o g e n e r a t e a t r a p m e s s a g e f o r t h e N M S f o r r e a l -t i m e a l e r t i n g . S N M P p o l l i n g u s e s I P U D P p o r t 161 a n d S N M P t r a p s u s e p o r t 162. C i s c o s u p p o r t s t h e s e v e r s i o n s o f S N M P :

� S N M P v 1: R F C 1157 I n t e r n e t S t a n d a r d , u s i n g c l e a r t e x t c o m m u n i t y s t r i n g s e c u r i t y . A n I P a d d r e s s a c c e s s c o n t r o l l i s t a n d p a s s w o r d d e f i n e t h e c o m m u n i t y o f m a n a g e r s a b l e t o a c c e s s t h e a g e n t M I B .

� S N M P v 2C : a c o m b i n a t i o n o f S N M P v 2, a d r a f t I n t e r n e t s t a n d a r d d e f i n e d i n R F C s 190 2 t h r o u g h 190 7, a n d S N M P v 2C , a c o m m u n i t y -b a s e d a d m i n i s t r a t i v e f r a m e w o r k f o r S N M P v 2 t h a t i s a n e x p e r i m e n t a l d r a f t d e f i n e d i n R F C 190 1. B e n e f i t s i n c l u d e a B u l k r e t r i e v a l m e c h a n i s m t h a t s u p p o r t s t h e r e t r i e v a l o f t a b l e s a n d l a r g e q u a n t i t i e s o f i n f o r m a t i o n , m i n i m i z e s t h e n u m b e r o f r o u n d -t r i p s r e q u i r e d , a n d i m p r o v e s e r r o r h a n d l i n g .

� S N M P v 3: R F C 2570 p r o p o s e d d r a f t p r o v i d e s s e c u r e a c c e s s t o d e v i c e s t h r o u g h t h e c o m b i n a t i o n o f a u t h e n t i c a t i o n a n d e n c r y p t i o n o f p a c k e t s o v e r t h e n e t w o r k . T h e s e c u r i t y f e a t u r e s p r o v i d e d i n S N M P v 3 a r e :

� M e s s a g e i n t e g r i t y : e n s u r e s t h a t a p a c k e t h a s n o t b e e n t a m p e r e d w i t h i n -t r a n s i t

T f t p 2 L e a v e a l o n e . U D L D 4 L e a v e a l o n e . V M P S 2 L e a v e a l o n e . V T P 2 L e a v e a l o n e .

P a g e 83 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 84: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

� A u t h e n t i c a t i o n : d e t e r m i n e s t h a t t h e m e s s a g e i s f r o m a v a l i d s o u r c e � E n c r y p t i o n : s c r a m b l e s t h e c o n t e n t s o f a p a c k e t t o p r e v e n t i t f r o m b e i n g v i e w e d e a s i l y b y a n u n a u t h o r i z e d s o u r c e

T h i s t a b l e i d e n t i f i e s t h e c o m b i n a t i o n s o f s e c u r i t y m o d e l s :

N ote : K e e p t h i s i n f o r m a t i o n i n m i n d a b o u t S N M P v 3 o b j e c t s : � E a c h u s e r b e l o n g s t o a g r o u p . � A g r o u p d e f i n e s t h e a c c e s s p o l i c y f o r a s e t o f u s e r s . � A n a c c e s s p o l i c y d e f i n e s w h a t S N M P o b j e c t s c a n b e a c c e s s e d t o r e a d , w r i t e , a n d c r e a t e . � A g r o u p d e t e r m i n e s t h e l i s t o f n o t i f i c a t i o n s i t s u s e r s c a n r e c e i v e . � A g r o u p a l s o d e f i n e s t h e s e c u r i t y m o d e l a n d s e c u r i t y l e v e l f o r i t s u s e r s .

M ode l L e v e l A uth e ntica tion E ncry p tion R e s ul t

v 1 n o A u t h N o P r i v , C o m m u n i t y S t r i n g

N o U s e s a c o m m u n i t y s t r i n g m a t c h f o r a u t h e n t i c a t i o n .

v 2c n o A u t h N o P r i v , C o m m u n i t y S t r i n g

N o U s e s a c o m m u n i t y s t r i n g m a t c h f o r a u t h e n t i c a t i o n .

v 3 n o A u t h N o P r i v , U s e r n a m e N o

U s e s a u s e r n a m e m a t c h f o r a u t h e n t i c a t i o n .

v 3 a u t h N o P r i v , M D 5 o r S H A N p

P r o v i d e s a u t h e n t i c a t i o n b a s e d o n t h e H M A C -M D 5 o r H M A C -S H A a l g o r i t h m s .

v 3 a u t h P r i v , M D 5 o r S H A D E S

P r o v i d e s a u t h e n t i c a t i o n b a s e d o n t h e H M A C -M D 5 o r H M A C -S H A a l g o r i t h m s . P r o v i d e s D E S 56-b i t e n c r y p t i o n i n a d d i t i o n t o a u t h e n t i c a t i o n b a s e d o n t h e C B C -D E S ( D E S -56) s t a n d a r d .

P a g e 84 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 85: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

S N M P T ra p R e com m e nda tion S N M P i s t h e f o u n d a t i o n o f a l l n e t w o r k m a n a g e m e n t a n d i s e n a b l e d a n d u s e d o n a l l n e t w o r k s . T h e S N M P a g e n t o n t h e s w i t c h m u s t b e s e t t o u s e t h e v e r s i o n o f S N M P s u p p o r t e d b y t h e m a n a g e m e n t s t a t i o n . S i n c e a n a g e n t c a n c o m m u n i c a t e w i t h m u l t i p l e m a n a g e r s , i t i s p o s s i b l e t o c o n f i g u r e t h e s o f t w a r e t o s u p p o r t c o m m u n i c a t i o n w i t h o n e m a n a g e m e n t s t a t i o n u s i n g t h e S N M P v 1 p r o t o c o l a n d a n o t h e r u s i n g t h e S N M P v 2 p r o t o c o l , f o r e x a m p l e . M o s t N M S s t a t i o n s u s e S N M P v 2C t o d a y u n d e r t h i s c o n f i g u r a t i o n :

set sn mp commu n i ty r ead -on l y s tri ng !--- A l l o w v i e w i n g o f v a r i a b l e s o n l y . set sn mp commu n i ty r ead -wr i te s tri ng !--- A l l o w s e t t i n g o f v a r i a b l e s . set sn mp commu n i ty r ead -wr i te-al l s tri ng < str i n g > !--- I n c l u d e s e t t i n g o f S N M P s t r i n g s .

C i s c o r e c o m m e n d s t h a t S N M P t r a p s b e e n a b l e d f o r a l l f e a t u r e s i n u s e ( f e a t u r e s n o t u s e d c a n b e d i s a b l e d i f d e s i r e d ) . O n c e a t r a p i s e n a b l e d , i t c a n b e t e s t e d w i t h t h e te s t s nm p c o m m a n d a n d a p p r o p r i a t e h a n d l i n g s e t u p o n t h e N M S f o r t h e e r r o r ( s u c h a s a p a g e r a l e r t o r p o p -u p ) . A l l t r a p s a r e d i s a b l e d b y d e f a u l t a n d n e e d t o b e a d d e d t o t h e c o n f i g u r a t i o n , e i t h e r i n d i v i d u a l l y o r b y w i t h t h e a l l p a r a m e t e r , a s s h o w n :

set sn mp tr ap en ab l e al l set sn mp tr ap s erv er ad d res s read -onl y c om m u ni ty s tri ng

A v a i l a b l e t r a p s i n C a t O S 5.5 i n c l u d e :

T ra p D e s crip tion a u t h A u t h e n t i c a t i o n b r i d g e B r i d g e c h a s s i s C h a s s i s c o n f i g C o n f i g u r a t i o n e n t i t y E n t i t y i p p e r m i t I P p e r m i t m o d u l e M o d u l e

P a g e 85 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 86: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

N ote : T h e s y s l o g t r a p s e n d s a l l s y s l o g m e s s a g e d g e n e r a t e d b y t h e s w i t c h t o t h e N M S a s a S N M P t r a p a l s o . I f s y s l o g a l e r t i n g i s a l r e a d y b e i n g p e r f o r m e d b y a n a n a l y z e r s u c h a s C i s c o W o r k s 20 0 0 R M E s , t h e n i t i s n o t n e c e s s a r i l y u s e f u l t o r e c e i v e t h i s i n f o r m a t i o n t w i c e . U n l i k e C i s c o I O S S o f t w a r e , p o r t l e v e l S N M P t r a p s a r e d i s a b l e d b y d e f a u l t b e c a u s e s w i t c h e s c a n h a v e h u n d r e d s o f a c t i v e i n t e r f a c e s . C i s c o t h e r e f o r e r e c o m m e n d s t h a t k e y p o r t s , s u c h a s i n f r a s t r u c t u r e l i n k s t o r o u t e r s , s w i t c h e s , a n d m a i n s e r v e r s , h a v e p o r t -l e v e l S N M P t r a p s e n a b l e d . O t h e r p o r t s , l i k e u s e r h o s t p o r t s , a r e n o t r e q u i r e d , w h i c h h e l p s t o s i m p l i f y n e t w o r k m a n a g e m e n t .

set p or t tr ap port range en ab l e !--- E n a b l e o n k e y p o r t s o n l y .

S N M P P ol l ing R e com m e nda tion A n e t w o r k m a n a g e m e n t r e v i e w i s r e c o m m e n d e d i n o r d e r t o d i s c u s s s p e c i f i c n e e d s i n d e t a i l . H o w e v e r , s o m e b a s i c C i s c o p h i l o s o p h i e s f o r t h e m a n a g e m e n t o f l a r g e n e t w o r k s a r e l i s t e d :

� D o s o m e t h i n g s i m p l e , a n d d o i t w e l l . � R e d u c e s t a f f o v e r l o a d d u e t o e x c e s s i v e d a t a p o l l i n g , c o l l e c t i o n , t o o l s , a n d m a n u a l a n a l y s i s . � N e t w o r k m a n a g e m e n t i s p o s s i b l e w i t h j u s t a f e w t o o l s , s u c h a s H P O p e n v i e w a s a n N M S , C i s c o R M E s a s a c o n f i g u r a t i o n , s y s l o g , i n v e n t o r y , a n d s o f t w a r e m a n a g e r , M i c r o s o f t E x c e l a s a n N M S d a t a a n a l y z e r , a n d C G I a s a w a y t o p u b l i s h t o t h e w e b .

� P u b l i s h i n g r e p o r t s t o t h e w e b a l l o w s u s e r s , s u c h a s s e n i o r m a n a g e m e n t a n d a n a l y s t s , t o h e l p t h e m s e l v e s t o i n f o r m a t i o n w i t h o u t b u r d e n i n g o p e r a t i o n s s t a f f w i t h m a n y s p e c i a l r e q u e s t s .

� F i n d o u t w h a t i s w o r k i n g w e l l o n t h e n e t w o r k a n d l e a v e i t a l o n e . C o n c e n t r a t e o n w h a t i s n o t w o r k i n g .

T h e f i r s t p h a s e o f N M S i m p l e m e n t a t i o n m u s t b e t o b a s e l i n e t h e n e t w o r k h a r d w a r e . M u c h c a n b e i n f e r r e d a b o u t d e v i c e a n d p r o t o c o l h e a l t h f r o m s i m p l e C P U , m e m o r y , a n d b u f f e r u t i l i z a t i o n o n r o u t e r s , a n d N M P C P U , m e m o r y , a n d b a c k p l a n e u t i l i z a t i o n o n s w i t c h e s . O n l y a f t e r a h a r d w a r e b a s e l i n e d o L 2 a n d L 3 t r a f f i c l o a d , p e a k , a n d a v e r a g e b a s e l i n e s b e c o m e f u l l y m e a n i n g f u l . B a s e l i n e s a r e u s u a l l y e s t a b l i s h e d o v e r s e v e r a l m o n t h s t o g e t v i s i b i l i t y o f d a i l y , w e e k l y , a n d q u a r t e r l y t r e n d s – a c c o r d i n g t o t h e b u s i n e s s c y c l e o f t h e c o m p a n y . M a n y n e t w o r k s s u f f e r N M S p e r f o r m a n c e a n d c a p a c i t y p r o b l e m s c a u s e d b y o v e r -p o l l i n g . I t i s t h e r e f o r e r e c o m m e n d e d , o n c e t h e b a s e l i n e i s e s t a b l i s h e d , t o s e t a l a r m a n d e v e n t R M O N t h r e s h o l d s o n t h e d e v i c e s

r e p e a t e r R e p e a t e r s t p x S p a n n i n g T r e e e x t e n s i o n s y s l o g S y s l o g n o t i f i c a t i o n v m p s V L A N M e m b e r s h i p P o l i c y S e r v e r v t p V L A N T r u n k P r o t o c o l

P a g e 86 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 87: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

t h e m s e l v e s t o a l e r t t h e N M S o n a b n o r m a l c h a n g e s , a n d t h u s r e m o v e p o l l i n g . T h i s e n a b l e s t h e n e t w o r k t o t e l l t h e o p e r a t o r s w h e n s o m e t h i n g i s n o t n o r m a l r a t h e r t h a n c o n t i n u o u s l y p o l l i n g t o s e e w h e t h e r e v e r y t h i n g i s n o r m a l . T h r e s h o l d s c a n b e s e t b a s e d o n v a r i o u s r u l e s , s u c h a s m a x i m u m v a l u e p l u s a p e r c e n t a g e o r s t a n d a r d d e v i a t i o n f r o m a m e a n , a n d a r e o u t s i d e t h e s c o p e o f t h i s d o c u m e n t . T h e s e c o n d p h a s e o f N M S i m p l e m e n t a t i o n i s t o p o l l p a r t i c u l a r a r e a s o f t h e n e t w o r k i n m o r e d e t a i l w i t h S N M P . T h i s i n c l u d e s a r e a s o f d o u b t , a r e a s b e f o r e a c h a n g e , o r a r e a s t h a t a r e b e c h a r a c t e r i z e d a s w o r k i n g w e l l . U s e t h e N M S s y s t e m s a s a s e a r c h l i g h t t o s c a n t h e n e t w o r k i n d e t a i l a n d i l l u m i n a t e h o t s p o t s ( d o n o t a t t e m p t t o l i g h t u p t h e w h o l e n e t w o r k ) . T h e C i s c o N e t w o r k M a n a g e m e n t C o n s u l t i n g g r o u p s u g g e s t s t h e s e k e y f a u l t M I B s t o b e a n a l y z e d o r m o n i t o r e d i n c a m p u s n e t w o r k s . R e f e r t o C i s c o N e t w o r k M o n i t o r i n g a n d E v e n t C o r r e l a t i o n G u i d e l i n e s f o r m o r e i n f o r m a t i o n ( o n p e r f o r m a n c e M I B s t o p o l l , f o r e x a m p l e ) .

O b j e ct N a m e

O b j e ct D e s crip tion O ID P ol l

Inte rv a l T h re s h ol d M IB -II

s y s U p T i m e s y s t e m u p t i m e i n 1/ 10 0 t h s o f s e c o n d s

1.3.6.1.2.1.1.3 5 m i n < 30 0 0 0

O b j e ct N a m e O b j e ct D e s crip tion O ID P ol l

Inte rv a l T h re s h ol d C IS C O -P R O C E S S -M IB

c p m C P U T o t a l 5m i n

T h e o v e r a l l C P U b u s y p e r c e n t a g e i n t h e l a s t 5 m i n u t e p e r i o d

1.3.6.1.4.1.9.9.10 9.1.1.1.1.5 10 m i n B a s e l i n e

O b j e ct N a m e O b j e ct D e s crip tion O ID P ol l Inte rv a l T h re s h ol d

C IS C O -S T A C K -M IB

s y s E n a b l e C h a s s i s T r a p s I n d i c a t e s w h e t h e r c h a s s i s A l a r m O n a n d c h a s s i s A l a r m O f f t r a p s i n t h i s M I B m u s t b e g e n e r a t e d .

1.3.6.1.4.1.9.5.1.1.24 24 h r s 1

s y s E n a b l e M o d u l e T r a p s I n d i c a t e s w h e t h e r m o d u l e U p a n d m o d u l e D o w n t r a p s i n t h i s M I B m u s t b e g e n e r a t e d .

1.3.6.1.4.1.9.5.1.1.25 24 h r s 1

P a g e 87 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 88: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

s y s E n a b l e B r i d g e T r a p s

I n d i c a t e s w h e t h e r n e w R o o t a n d t o p o l o g y C h a n g e t r a p s i n t h e B R I D G E -M I B ( R F C 1493) m u s t b e g e n e r a t e d .

1.3.6.1.4.1.9.5.1.1.26 24 h r s 1

s y s E n a b l e R e p e a t e r T r a p s I n d i c a t e s w h e t h e r t h e t r a p s i n t h e R E P E A T E R -M I B ( R F C 1516) m u s t b e g e n e r a t e d .

1.3.6.1.4.1.9.5.1.1.29 24 h r s 1

s y s E n a b l e I p P e r m i t T r a p s I n d i c a t e s w h e t h e r t h e I P p e r m i t t r a p s i n t h i s M I B m u s t b e g e n e r a t e d .

1.3.6.1.4.1.9.5.1.1.31 24 h r s 1

s y s E n a b l e V m p s T r a p s I n d i c a t e s w h e t h e r t h e v m V m p s C h a n g e t r a p d e f i n e d i n C I S C O - V L A N -M E M B E R S H I P -M I B m u s t b e g e n e r a t e d .

1.3.6.1.4.1.9.5.1.1.33 24 h r s 1

s y s E n a b l e C o n f i g T r a p s I n d i c a t e s w h e t h e r s y s C o n f i g C h a n g e t r a p i n t h i s M I B m u s t b e g e n e r a t e d .

1.3.6.1.4.1.9.5.1.1.35 24 h r s 1

s y s E n a b l e S t p x T r a p I n d i c a t e s w h e t h e r s t p x I n c o n s i s t e n c y U p d a t e t r a p i n t h e C I S C O -S T P -E X T E N S I O N S -M I B m u s t b e g e n e r a t e d .

1.3.6.1.4.1.9.5.1.1.40 24 h r s 1

c h a s s i s P s 1s t a t u s S t a t u s o f p o w e r s u p p l y 1. 1.3.6.1.4.1.9.5.1.2.4 10 m i n 2

c h a s s i s P s 1T e s t R e s u l t D e t a i l e d i n f o r m a t i o n o n s t a t u s o f p o w e r s u p p l y 1. 1.3.6.1.4.1.9.5.1.2.5

A s n e e d e d .

c h a s s i s P s 2S t a t u s S t a t u s o f p o w e r s u p p l y 2. 1.3.6.1.4.1.9.5.1.2.7 10 m i n 2

c h a s s i s P s 2T e s t R e s u l t D e t a i l e d i n f o r m a t i o n o n s t a t u s o f p o w e r s u p p l y 2 1.3.6.1.4.1.9.5.1.2.8

A s n e e d e d .

c h a s s i s F a n S t a t u s S t a t u s o f C h a s s i s F a n . 1.3.6.1.4.1.9.5.1.2.9 10 m i n 2 c h a s s i s F a n T e s t R e s u l t D e t a i l e d i n f o r m a t i o n o n

s t a t u s o f c h a s s i s f a n . 1.3.6.1.4.1.9.5.1.2.10 A s n e e d e d .

c h a s s i s M i n o r A l a r m C h a s s i s M i n o r A l a r m S t a t u s . 1.3.6.1.4.1.9.5.1.2.11 10 m i n 1

c h a s s i s M a j o r A l a r m C h a s s i s M a j o r A l a r m S t a t u s 1.3.6.1.4.1.9.5.1.2.12 10 m i n 1

P a g e 88 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 89: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

c h a s s i s T e m p A l a r m C h a s s i s T e m p e r a t u r e A l a r m s t a t u s . 1.3.6.1.4.1.9.5.1.2.13 10 m i n 1

m o d u l e S t a t u s O p e r a t i o n a l S t a t u s o f t h e m o d u l e . 1.3.6.1.4.1.9.5.1.3.1.1.10 30 m i n 2

m o d u l e T e s t R e s u l t D e t a i l e d i n f o r m a t i o n o n m o d u l e s c o n d i t i o n . 1.3.6.1.4.1.9.5.7.3.1.1.11 A s n e e d e d .

m o d u l e S t a n d b y S t a t u s S t a t u s o f a r e d u n d a n t m o d u l e . 1.3.6.1.4.1.9.5.7.3.1.1.21 30 m i n = 1 o r = 4

O b j e ct N a m e O b j e ct D e s crip tion O ID P ol l

Inte rv a l T h re s h ol d C IS C O -M E M O R Y -P O O L -M IB

d o t 1d S t p T i m e S i n c e T o p o l o g y C h a n g e

T h e t i m e ( i n 1/ 10 0 s e c s ) s i n c e t h e l a s t t i m e a t o p o l o g y c h a n g e w a s d e t e c t e d b y t h e e n t i t y .

1.3.6.1.2.1.17.2.3 5 m i n < 30 0 0 0

d o t 1d S t p T o p C h a n g e s

T h e t o t a l n u m b e r o f t o p o l o g y c h a n g e s d e t e c t e d b y t h i s b r i d g e s i n c e t h e m a n a g e m e n t e n t i t y w a s l a s t r e s e t o r i n i t i a l i z e d .

1.3.6.1.2.1.17.2.4 A s n e e d e d .

d o t 1d S t p P o r t S t a t e [ 1]

T h e c u r r e n t s t a t e o f t h e p o r t a s d e f i n e d b y a p p l i c a t i o n o f t h e S p a n n i n g T r e e P r o t o c o l . R e t u r n v a l u e c a n b e o n e o f t h e s e : d i s a b l e d ( 1) , b l o c k i n g ( 2) ,

1.3.6.1.2.1.17.2.15.1.3 A s n e e d e d .

P a g e 89 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 90: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

R e f e r t o C i s c o N e t w o r k M a n a g e m e n t T o o l k i t - M I B s f o r m o r e i n f o r m a t i o n o n C i s c o M I B s u p p o r t . N ote : S o m e s t a n d a r d M I B s a s s u m e t h a t a p a r t i c u l a r S N M P e n t i t y c o n t a i n s o n l y o n e i n s t a n c e o f t h e M I B . T h u s , t h e s t a n d a r d M I B d o e s n o t h a v e a n y i n d e x t h a t a l l o w s u s e r s t o d i r e c t l y a c c e s s a p a r t i c u l a r i n s t a n c e o f t h e M I B . I n t h e s e c a s e s , c o m m u n i t y s t r i n g i n d e x i n g i s p r o v i d e d i n o r d e r t o a c c e s s e a c h i n s t a n c e o f t h e s t a n d a r d M I B . T h e s y n t a x i s [ c o m m u n i t y s t r i n g ] @ [ i n s t a n c e n u m b e r ] , w h e r e i n s t a n c e i s t y p i c a l l y a V L A N n u m b e r . O th e r O p tions T h e s e c u r i t y a s p e c t s o f S N M P v 3 m e a n t h a t i t s u s e i s e x p e c t e d t o o v e r t a k e S N M P v 2 i n t i m e . C i s c o

l i s t e n i n g ( 3) , l e a r n i n g ( 4) , f o r w a r d i n g ( 5) , o r b r o k e n ( 6 ) .

O b j e ct N a m e O b j e ct D e s crip tion O ID P ol l Inte rv a l T h re s h ol d

C IS C O -M E M O R Y -P O O L -M IB

c i s c o M e m o r y P o o l U s e d

I n d i c a t e s t h e n u m b e r o f b y t e s f r o m t h e m e m o r y p o o l t h a t a r e c u r r e n t l y i n u s e b y a p p l i c a t i o n s o n t h e m a n a g e d d e v i c e .

1.3.6.1.4.1.9.9.48.1.1.1.5 30 m i n B a s e l i n e

c i s c o M e m o r y P o o l F r e e

I n d i c a t e s t h e n u m b e r o f b y t e s f r o m t h e m e m o r y p o o l t h a t a r e c u r r e n t l y u n u s e d o n t h e m a n a g e d d e v i c e . N ote : T h e s u m o f c i s c o M e m o r y P o o l U s e d a n d c i s c o M e m o r y P o o l F r e e i s t h e t o t a l a m o u n t o f m e m o r y i n t h e p o o l .

1.3.6.1.4.1.9.9.48.1.1.1.6 30 m i n B a s e l i n e

c i s c o M e m o r y P o o l L a r g e s t F r e e

I n d i c a t e s t h e l a r g e s t n u m b e r o f c o n t i g u o u s b y t e s f r o m t h e m e m o r y p o o l t h a t a r e c u r r e n t l y u n u s e d o n t h e m a n a g e d d e v i c e .

1.3.6.1.4.1.9.9.48.1.1.1.7 30 m i n B a s e l i n e

P a g e 90 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 91: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

r e c o m m e n d s t h a t c u s t o m e r s p r e p a r e f o r t h i s n e w p r o t o c o l a s p a r t o f t h e i r N M S s t r a t e g y . T h e b e n e f i t s a r e t h a t d a t a c a n b e c o l l e c t e d s e c u r e l y f r o m S N M P d e v i c e s w i t h o u t f e a r o f t a m p e r i n g o r c o r r u p t i o n . C o n f i d e n t i a l i n f o r m a t i o n , s u c h a s S N M P s e t c o m m a n d p a c k e t s t h a t c h a n g e a s w i t c h c o n f i g u r a t i o n , c a n b e e n c r y p t e d t o p r e v e n t i t s c o n t e n t s f r o m b e i n g e x p o s e d o n t h e n e t w o r k . I n a d d i t i o n , d i f f e r e n t u s e r g r o u p s c a n h a v e d i f f e r e n t p r i v i l e g e s . N ote : T h e c o n f i g u r a t i o n o f S N M P v 3 i s s i g n i f i c a n t l y d i f f e r e n t t h a n t h e S N M P v 2 c o m m a n d l i n e , a n d i n c r e a s e d C P U l o a d o n t h e S u p e r v i s o r E n g i n e i s t o b e e x p e c t e d .

Remo te M o nito ring R M O N p e r m i t s M I B d a t a t o b e p r e -p r o c e s s e d b y t h e n e t w o r k d e v i c e i t s e l f , i n p r e p a r a t i o n f o r c o m m o n u s e s o r a p p l i c a t i o n o f t h a t i n f o r m a t i o n b y t h e n e t w o r k m a n a g e r , s u c h a s p e r f o r m i n g h i s t o r i c a l b a s e l i n e d e t e r m i n a t i o n a n d t h r e s h o l d a n a l y s i s . T h e r e s u l t s o f R M O N p r o c e s s i n g a r e s t o r e d i n R M O N M I B s f o r s u b s e q u e n t c o l l e c t i o n b y a n N M S , a s d e f i n e d i n R F C 1757 . O p e ra tiona l O v e rv ie w C a t a l y s t s w i t c h e s s u p p o r t m i n i -R M O N i n h a r d w a r e o n e a c h p o r t , w h i c h c o n s i s t s o f f o u r b a s i c R M O N -1 g r o u p s : S t a t i s t i c s ( g r o u p 1) , H i s t o r y ( g r o u p 2) , A l a r m s ( g r o u p 3) , a n d E v e n t s ( g r o u p 9) . T h e m o s t p o w e r f u l p a r t o f R M O N -1 i s t h e th re s h ol d m e ch a nis m p r o v i d e d b y t h e a l a rm a nd e v e nt g r o u p s . A s d i s c u s s e d , t h e c o n f i g u r a t i o n o f R M O N t h r e s h o l d s a l l o w s t h e s w i t c h t o s e n d a n S N M P t r a p w h e n a n a n o m a l o u s c o n d i t i o n o c c u r s . O n c e k e y p o r t s h a v e b e e n i d e n t i f i e d , S N M P c a n b e u s e d i n o r d e r t o p o l l c o u n t e r s o r R M O N h i s t o r y g r o u p s a n d c r e a t e b a s e l i n e s r e c o r d i n g n o r m a l t r a f f i c a c t i v i t y f o r t h o s e p o r t s . N e x t , R M O N r i s i n g a n d f a l l i n g t h r e s h o l d s c a n b e s e t a n d a l a r m s c o n f i g u r e d f o r w h e n t h e r e i s a d e f i n e d v a r i a n c e f r o m t h e b a s e l i n e . C o n f i g u r a t i o n o f t h r e s h o l d s i s b e s t p e r f o r m e d w i t h a n R M O N m a n a g e m e n t p a c k a g e , s i n c e t h e s u c c e s s f u l c r e a t i o n o f t h e r o w s o f p a r a m e t e r s i n A l a r m a n d E v e n t t a b l e s i s t e d i o u s . C o m m e r c i a l R M O N N M S p a c k a g e s , s u c h a s t h e C i s c o T r a f f i c D i r e c t o r , p a r t o f C i s c o W o r k s 20 0 0 , i n c o r p o r a t e G U I s t h a t m a k e t h e s e t t i n g o f R M O N t h r e s h o l d s m u c h s i m p l e r . F o r b a s e l i n e p u r p o s e s , t h e e t h e r S t a t s g r o u p p r o v i d e s a u s e f u l r a n g e o f L 2 t r a f f i c s t a t i s t i c s . T h e o b j e c t s i n t h i s t a b l e c a n b e u s e d t o g e t s t a t i s t i c s o n u n i c a s t , m u l t i c a s t , a n d b r o a d c a s t t r a f f i c a s w e l l a s a v a r i e t y o f L 2 e r r o r s . T h e R M O N a g e n t o n t h e s w i t c h c a n a l s o b e c o n f i g u r e d t o s t o r e t h e s e s a m p l e d v a l u e s i n t h e h i s t o r y g r o u p . T h i s m e c h a n i s m e n a b l e s t h e a m o u n t o f p o l l i n g t o b e r e d u c e d w i t h o u t r e d u c i n g t h e s a m p l e r a t e . R M O N h i s t o r i e s c a n g i v e a c c u r a t e b a s e l i n e s w i t h o u t s u b s t a n t i a l p o l l i n g o v e r h e a d . H o w e v e r , t h e m o r e h i s t o r i e s c o l l e c t e d , t h e m o r e s w i t c h r e s o u r c e s a r e u s e d . W h i l e s w i t c h e s p r o v i d e o n l y f o u r b a s i c g r o u p s o f R M O N -1, i t i s i m p o r t a n t n o t t o f o r g e t t h e r e s t o f R M O N -1 a n d R M O N -2. A l l g r o u p s a r e d e f i n e d i n R F C 20 21, i n c l u d i n g U s r H i s t o r y ( g r o u p 18) a n d P r o b e C o n f i g ( g r o u p 19) . L 3 a n d h i g h e r i n f o r m a t i o n c a n b e r e t r i e v e d f r o m s w i t c h e s w i t h t h e S P A N p o r t o r V L A N A C L r e d i r e c t f e a t u r e s t h a t e n a b l e y o u t o c o p y t r a f f i c t o a n e x t e r n a l R M O N S w i t c h P r o b e o r a n i n t e r n a l N e t w o r k A n a l y s i s M o d u l e ( N A M ) . N A M s s u p p o r t a l l R M O N g r o u p s a n d c a n e v e n e x a m i n e a p p l ica tion l a y e r da ta , i n c l u d i n g N e t f l o w d a t a e x p o r t e d f r o m C a t a l y s t s w h e n M L S i s e n a b l e d . R u n n i n g M L S m e a n s t h a t t h e r o u t e r d o e s n o t s w i t c h a l l

P a g e 91 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 92: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

p a c k e t s i n a f l o w , s o o n l y N e t f l o w d a t a -e x p o r t a n d n o t i n t e r f a c e c o u n t e r s g i v e r e l i a b l e V L A N a c c o u n t i n g . Y o u c a n u s e a S P A N p o r t a n d a s w i t c h p r o b e t o c a p t u r e a p a c k e t s t r e a m f o r a p a r t i c u l a r p o r t , t r u n k , o r V L A N a n d u p l o a d t h e p a c k e t s t o d e c o d e w i t h a R M O N m a n a g e m e n t p a c k a g e . T h e S P A N p o r t i s S N M P -c o n t r o l l a b l e t h r o u g h t h e S P A N g r o u p i n t h e C I S C O -S T A C K -M I B , s o t h i s p r o c e s s i s e a s y t o a u t o m a t e . T h e T r a f f i c D i r e c t o r m a k e s u s e o f t h e s e f e a t u r e s w i t h i t s r o v i n g a g e n t f e a t u r e . T h e r e a r e c a v e a t s t o s p a n n i n g a w h o l e V L A N . E v e n i f y o u u s e a 1G b p s p r o b e , t h e e n t i r e p a c k e t s t r e a m f r o m o n e V L A N o r e v e n o n e 1G b p s f u l l -d u p l e x p o r t c a n e x c e e d t h e b a n d w i d t h o f t h e S P A N p o r t . I f t h e S P A N p o r t i s c o n t i n u o u s l y r u n n i n g a t f u l l b a n d w i d t h , c h a n c e s a r e d a t a i s b e i n g l o s t . R e f e r t o C o n f i g u r i n g t h e C a t a l y s t S w i t c h e d P o r t A n a l y z e r ( S P A N ) F e a t u r e f o r m o r e d e t a i l s . R e com m e nda tion C i s c o r e c o m m e n d s t h a t R M O N t h r e s h o l d s a n d a l e r t i n g b e d e p l o y e d i n o r d e r t o h e l p n e t w o r k m a n a g e m e n t i n a m o r e i n t e l l i g e n t w a y t h a n S N M P p o l l i n g a l o n e . T h i s r e d u c e s n e t w o r k m a n a g e m e n t t r a f f i c o v e r h e a d a n d a l l o w s t h e n e t w o r k t o a l e r t i n t e l l i g e n t l y w h e n s o m e t h i n g h a s c h a n g e d f r o m t h e b a s e l i n e . R M O N n e e d s t o b e d r i v e n b y a n e x t e r n a l a g e n t s u c h a s T r a f f i c D i r e c t o r ; t h e r e i s n o C L I s u p p o r t . I s s u e t h e s e c o m m a n d s i n o r d e r t o e n a b l e R M O N :

set sn mp r mon en ab l e set sn mp ex ten d ed r mon n etf l ow en ab l e m od !--- F o r u s e w i t h N A M m o d u l e o n l y .

I t i s i m p o r t a n t t o r e m e m b e r t h a t t h e p r i m a r y f u n c t i o n o f a s w i t c h i s t o f o r w a r d f r a m e s , n o t t o a c t a s a l a r g e m u l t i -p o r t R M O N p r o b e . T h e r e f o r e , a s y o u s e t u p h i s t o r i e s a n d t h r e s h o l d s o n m u l t i p l e p o r t s f o r m u l t i p l e c o n d i t i o n s , k e e p i n m i n d t h a t r e s o u r c e s a r e b e i n g c o n s u m e d . C o n s i d e r a N A M m o d u l e i f y o u a r e s c a l i n g u p R M O N . A l s o r e m e m b e r t h e c r i t i c a l p o r t r u l e : o n l y p o l l a n d s e t t h r e s h o l d s o n t h e p o r t s i d e n t i f i e d a s i m p o r t a n t i n t h e p l a n n i n g s t a g e . M e m ory R e q uire m e nts R M O N m e m o r y u s a g e i s c o n s t a n t a c r o s s a l l s w i t c h p l a t f o r m s r e l a t i n g t o s t a t i s t i c s , h i s t o r i e s , a l a r m s , a n d e v e n t s . R M O N u s e s a b u c k e t i n o r d e r t o s t o r e h i s t o r i e s a n d s t a t i s t i c s o n t h e R M O N a g e n t ( t h e s w i t c h , i n t h i s c a s e ) . T h e b u c k e t s i z e i s d e f i n e d o n t h e R M O N p r o b e ( S w i t c h P r o b e ) o r R M O N a p p l i c a t i o n ( T r a f f i c D i r e c t o r ) , t h e n s e n t t o t h e s w i t c h i n o r d e r t o b e s e t . T y p i c a l l y , m e m o r y c o n s t r a i n t s a r e o n l y a c o n s i d e r a t i o n o n o l d e r S u p e r v i s o r E n g i n e s w i t h l e s s t h a n 32M B o f D R A M . R e f e r t o t h e s e g u i d e l i n e s :

� A p p r o x i m a t e l y 450 K o f c o d e s p a c e i s a d d e d t o t h e N M P i m a g e i n o r d e r t o s u p p o r t m i n i -R M O N ( w h i c h i s f o u r g r o u p s o f R M O N : s t a t i s t i c s , h i s t o r y , a l a r m s , a n d e v e n t s ) . T h e d y n a m i c m e m o r y r e q u i r e m e n t f o r R M O N v a r i e s b e c a u s e i t d e p e n d s o n t h e r u n -t i m e c o n f i g u r a t i o n . T h e r u n -t i m e R M O N m e m o r y u s a g e i n f o r m a t i o n f o r e a c h m i n i -R M O N g r o u p i s e x p l a i n e d h e r e :

� E t h e r n e t S t a t i s t i c s g r o u p —T a k e s 80 0 b y t e s f o r e a c h s w i t c h e d E t h e r n e t / F E i n t e r f a c e . � H i s t o r y g r o u p —F o r t h e E t h e r n e t i n t e r f a c e , e a c h c o n f i g u r e d h i s t o r y c o n t r o l e n t r y w i t h 50 b u c k e t s t a k e s a p p r o x i m a t e l y 3.6K B m e m o r y s p a c e a n d 56 b y t e s f o r e a c h a d d i t i o n a l b u c k e t .

P a g e 92 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 93: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

� A l a r m s a n d E v e n t s g r o u p s —T a k e s 2.6K B f o r e a c h c o n f i g u r e d a l a r m a n d i t s c o r r e s p o n d i n g e v e n t e n t r i e s .

� T o s a v e t h e R M O N -r e l a t e d c o n f i g u r a t i o n t a k e s a p p r o x i m a t e l y 20 K N V R A M o f s p a c e i f t h e s y s t e m t o t a l N V R A M s i z e i s 256K o r m o r e a n d 10 K N V R A M o f s p a c e i f t h e t o t a l N V R A M s i z e i s 128K .

N etw o rk T ime P ro to c o l

T h e N T P , R F C 130 5 , s y n c h r o n i z e s t i m e k e e p i n g a m o n g a s e t o f d i s t r i b u t e d t i m e -s e r v e r s a n d c l i e n t s a n d a l l o w s e v e n t s t o b e c o r r e l a t e d w h e n s y s t e m l o g s a r e c r e a t e d o r o t h e r t i m e -s p e c i f i c e v e n t s o c c u r . N T P p r o v i d e s c l i e n t t i m e a c c u r a c i e s , t y p i c a l l y w i t h i n a m i l l i s e c o n d o n L A N s a n d u p t o a f e w t e n s o f m i l l i s e c o n d s o n W A N s , r e l a t i v e t o a p r i m a r y s e r v e r s y n c h r o n i z e d t o C o o r d i n a t e d U n i v e r s a l T i m e ( U T C ) . T y p i c a l N T P c o n f i g u r a t i o n s u t i l i z e m u l t i p l e r e d u n d a n t s e r v e r s a n d d i v e r s e n e t w o r k p a t h s i n o r d e r t o a c h i e v e h i g h a c c u r a c y a n d r e l i a b i l i t y . S o m e c o n f i g u r a t i o n s i n c l u d e c r y p t o g r a p h i c a u t h e n t i c a t i o n i n o r d e r t o p r e v e n t a c c i d e n t a l o r m a l i c i o u s p r o t o c o l a t t a c k s . O p e ra tiona l O v e rv ie w

N T P w a s f i r s t d o c u m e n t e d i n R F C 958 , b u t h a s e v o l v e d t h r o u g h R F C 1119 ( N T P v e r s i o n 2) a n d i s n o w i n i t s t h i r d v e r s i o n a s d e f i n e d i n R F C 130 5 . I t r u n s o v e r t h e U D P p o r t 123. A l l N T P c o m m u n i c a t i o n u s e s U T C , w h i c h i s t h e s a m e t i m e a s G r e e n w i c h M e a n T i m e . A cce s s ing P ub l ic T im e S e rv e rs T h e N T P s u b n e t p r e s e n t l y i n c l u d e s o v e r 50 p u b l i c p r i m a r y s e r v e r s s y n c h r o n i z e d d i r e c t l y t o U T C b y r a d i o , s a t e l l i t e , o r m o d e m . N o r m a l l y , c l i e n t w o r k s t a t i o n s a n d s e r v e r s w i t h a r e l a t i v e l y s m a l l n u m b e r o f c l i e n t s d o n o t s y n c h r o n i z e t o p r i m a r y s e r v e r s . T h e r e a r e a b o u t 10 0 p u b l i c s e c o n d a r y s e r v e r s s y n c h r o n i z e d t o t h e p r i m a r y s e r v e r s t h a t p r o v i d e s y n c h r o n i z a t i o n t o o v e r 10 0 ,0 0 0 c l i e n t s a n d s e r v e r s o n t h e I n t e r n e t . T h e c u r r e n t l i s t s a r e m a i n t a i n e d o n t h e L i s t o f P u b l i c N T P S e r v e r s p a g e , w h i c h i s u p d a t e d r e g u l a r l y . T h e r e a r e n u m e r o u s p r i v a t e p r i m a r y a n d s e c o n d a r y s e r v e r s n o t n o r m a l l y a v a i l a b l e t o t h e p u b l i c a s w e l l . F o r a l i s t o f p u b l i c N T P s e r v e r s a n d i n f o r m a t i o n a b o u t h o w t o u s e t h e m , c o n s u l t t h e U n i v e r s i t y o f D e l a w a r e T i m e S y n c h r o n i z a t i o n S e r v e r w e b s i t e . S i n c e t h e r e i s n o g u a r a n t e e t h a t t h e s e p u b l i c I n t e r n e t N T P s e r v e r s w i l l b e a v a i l a b l e , o r t h a t t h e y p r o d u c e t h e c o r r e c t t i m e , i t i s s t r o n g l y a d v i s e d t h a t o t h e r o p t i o n s b e c o n s i d e r e d . T h i s c o u l d i n c l u d e t h e u s e o f v a r i o u s s t a n d a l o n e G l o b a l P o s i t i o n i n g S e r v i c e ( G P S ) d e v i c e s d i r e c t l y c o n n e c t e d t o a n u m b e r o f r o u t e r s . A n o t h e r p o s s i b l e o p t i o n i s t h e u s e o f v a r i o u s r o u t e r s c o n f i g u r e d a s S t r a t u m 1 m a s t e r s , a l t h o u g h t h i s i s n o t r e c o m m e n d e d . S tra tum E a c h N T P s e r v e r a d o p t s a s t r a t u m t h a t i n d i c a t e s h o w f a r a w a y f r o m a n e x t e r n a l s o u r c e o f t i m e t h e s e r v e r i s . S t r a t u m 1 s e r v e r s h a v e a c c e s s t o s o m e k i n d o f e x t e r n a l t i m e s o u r c e , s u c h a s a r a d i o c l o c k . S t r a t u m 2 s e r v e r s o b t a i n t i m e d e t a i l s f r o m a n o m i n a t e d s e t o f S t r a t u m 1 s e r v e r s , w h i l e S t r a t u m 3 s e r v e r s o b t a i n t i m e d e t a i l s f r o m S t r a t u m 2 s e r v e r s , a n d s o o n .

P a g e 93 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 94: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

S e rv e r P e e r R e l a tions h ip � A s e r v e r i s o n e t h a t r e s p o n d s t o c l i e n t r e q u e s t s , b u t d o e s n o t t r y t o i n c o r p o r a t e a n y d a t e i n f o r m a t i o n f r o m a c l i e n t t i m e s o u r c e .

� A p e e r i s o n e t h a t r e s p o n d s t o c l i e n t r e q u e s t s , b u t t r i e s t o u s e t h e c l i e n t r e q u e s t s a s b e i n g a p o t e n t i a l c a n d i d a t e f o r a b e t t e r t i m e s o u r c e a n d t o a i d i n s t a b i l i z a t i o n o f i t s c l o c k f r e q u e n c y .

� I n o r d e r t o b e a t r u e p e e r , b o t h s i d e s o f t h e c o n n e c t i o n m u s t e n t e r i n t o a p e e r r e l a t i o n s h i p r a t h e r t h a n h a v e o n e u s e r a p e e r a n d t h e o t h e r u s e r a s e r v e r . I t i s a l s o r e c o m m e n d e d t h a t p e e r s e x c h a n g e k e y s s o t h a t o n l y t r u s t e d h o s t s t a l k t o e a c h o t h e r a s p e e r s .

� I n a c l i e n t r e q u e s t t o a s e r v e r , t h e s e r v e r a n s w e r s t h e c l i e n t a n d f o r g e t s t h a t t h e c l i e n t e v e r a s k e d a q u e s t i o n ; i n a c l i e n t r e q u e s t t o a p e e r , t h e s e r v e r a n s w e r s t h e c l i e n t a n d k e e p s s t a t e i n f o r m a t i o n a b o u t t h e c l i e n t t o t r a c k h o w w e l l i t i s d o i n g a t t i m e k e e p i n g a n d w h a t s t r a t u m s e r v e r i t i s r u n n i n g . N ote : C a t O S c a n o n l y a c t a s a n N T P c l i e n t .

I t i s n o p r o b l e m f o r a n N T P s e r v e r t o h a n d l e m a n y t h o u s a n d s o f c l i e n t s . H o w e v e r , h a n d l i n g h u n d r e d s o f p e e r s h a s a m e m o r y i m p a c t , a n d t h e s t a t e m a i n t e n a n c e c o n s u m e s m o r e C P U r e s o u r c e s o n t h e b o x a s w e l l a s b a n d w i d t h . P ol l ing T h e N T P p r o t o c o l a l l o w s a c l i e n t t o q u e r y a s e r v e r a n y t i m e i t w i s h e s . I n f a c t , w h e n N T P i s f i r s t c o n f i g u r e d i n a C i s c o d e v i c e , i t s e n d s o u t e i g h t q u e r i e s i n r a p i d s u c c e s s i o n a t N T P _ M I N P O L L ( 24 = 16 s e c o n d ) i n t e r v a l s . T h e N T P _ M A X P O L L i s 214 s e c o n d s ( w h i c h i s 16,384 s e c o n d s o r 4 h o u r s , 33 m i n u t e s , 4 s e c o n d s ) , t h e m a x i m u m t i m e i t t a k e s b e f o r e N T P p o l l s a g a i n f o r a r e s p o n s e . A t p r e s e n t , C i s c o d o e s n o t h a v e a m e t h o d t o m a n u a l l y f o r c e t h e P O L L t i m e t o b e s e t b y t h e u s e r .

T h e N T P p o l l i n g c o u n t e r s t a r t s a t 26 ( 64) s e c o n d s a n d i s i n c r e m e n t e d b y p o w e r s o f t w o ( a s t h e t w o s e r v e r s s y n c w i t h e a c h o t h e r ) , t o 210 . T h a t i s , y o u c a n e x p e c t t h e s y n c m e s s a g e s t o b e s e n t a t a n i n t e r v a l o f 64, 128, 256, 512, o r 10 24 s e c o n d s p e r c o n f i g u r e d s e r v e r o r p e e r . T h e t i m e v a r i e s b e t w e e n 64 s e c o n d s a n d 10 24 s e c o n d s a s a p o w e r o f t w o b a s e d o n t h e p h a s e -l o c k e d -l o o p t h a t s e n d s a n d r e c e i v e s p a c k e t s . I f t h e r e i s a l o t o f j i t t e r i n t h e t i m e , i t p o l l s m o r e o f t e n . I f t h e r e f e r e n c e c l o c k i s a c c u r a t e a n d t h e n e t w o r k c o n n e c t i v i t y c o n s i s t e n t , y o u s e e t h e p o l l -t i m e s c o n v e r g e o n 10 24 s e c o n d s b e t w e e n e a c h p o l l . I n t h e r e a l w o r l d , t h i s m e a n s t h a t t h e N T P P o l l I n t e r v a l c h a n g e s a s t h e c o n n e c t i o n b e t w e e n t h e c l i e n t a n d s e r v e r c h a n g e s . T h e b e t t e r t h e c o n n e c t i o n , t h e l o n g e r t h e p o l l i n t e r v a l , m e a n i n g t h a t t h e N T P c l i e n t h a s r e c e i v e d e i g h t r e s p o n s e s f o r i t s l a s t e i g h t r e q u e s t s ( t h e p o l l i n t e r v a l i s t h e n b e d o u b l e d ) . A s i n g l e m i s s e d r e s p o n s e c a u s e s t h e p o l l i n t e r v a l t o b e h a l v e d . T h e p o l l i n t e r v a l s t a r t s o u t a t 64 s e c o n d s a n d g o e s t o a m a x i m u m o f 10 24 s e c o n d s . I n t h e b e s t c i r c u m s t a n c e s , i t t a k e s a l i t t l e o v e r t w o h o u r s f o r t h e p o l l i n t e r v a l t o g o f r o m 64 s e c o n d s t o 10 24 s e c o n d s . B roa dca s ts N T P b r o a d c a s t s a r e n e v e r f o r w a r d e d . T h e ntp b roa dca s t c o m m a n d c a u s e s t h e r o u t e r t o o r i g i n a t e N T P b r o a d c a s t s o n t h e i n t e r f a c e o n w h i c h i t i s c o n f i g u r e d . T h e ntp b roa dca s t cl ie nt c o m m a n d c a u s e s t h e r o u t e r o r s w i t c h t o l i s t e n t o N T P b r o a d c a s t s o n t h e i n t e r f a c e o n w h i c h i t i s c o n f i g u r e d .

P a g e 94 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 95: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

N T P T ra f f ic L e v e l s T h e b a n d w i d t h u t i l i z e d b y N T P i s m i n i m a l , s i n c e t h e i n t e r v a l b e t w e e n p o l l i n g m e s s a g e s e x c h a n g e d b e t w e e n p e e r s u s u a l l y r a t c h e t s b a c k t o n o m o r e t h a n o n e m e s s a g e e v e r y 17 m i n u t e s ( 10 24 s e c o n d s ) . W i t h c a r e f u l p l a n n i n g , t h i s c a n b e m a i n t a i n e d w i t h i n r o u t e r n e t w o r k s o v e r t h e W A N l i n k s . T h e N T P c l i e n t s m u s t p e e r t o l o c a l N T P s e r v e r s , n o t a l l t h e w a y a c r o s s t h e W A N t o t h e c e n t r a l s i t e c o r e r o u t e r s w h o w i l l b e t h e s t r a t u m 2 s e r v e r s . A c o n v e r g e d N T P c l i e n t u s e s a p p r o x i m a t e l y 0 .6 b i t s / s e c o n d p e r s e r v e r . R e com m e nda tion M a n y c u s t o m e r s h a v e N T P c o n f i g u r e d i n c l i e n t m o d e t o d a y o n t h e i r C a t O S p l a t f o r m s , s y n c h r o n i z e d f r o m s e v e r a l r e l i a b l e f e e d s f r o m t h e I n t e r n e t o r a r a d i o c l o c k . H o w e v e r , a s i m p l e r a l t e r n a t i v e t o s e r v e r m o d e w h e n o p e r a t i n g a l a r g e n u m b e r o f s w i t c h e s i s t o e n a b l e N T P i n b r o a d c a s t c l i e n t m o d e o n t h e m a n a g e m e n t V L A N i n a s w i t c h e d d o m a i n . T h i s m e c h a n i s m a l l o w s a n e n t i r e d o m a i n o f C a t a l y s t s t o r e c e i v e a c l o c k f r o m a s i n g l e b r o a d c a s t m e s s a g e . H o w e v e r , t h e a c c u r a c y o f t i m e k e e p i n g i s m a r g i n a l l y r e d u c e d b e c a u s e t h e i n f o r m a t i o n f l o w i s o n e -w a y . U s i n g l o o p b a c k a d d r e s s e s a s t h e s o u r c e o f u p d a t e s c a n a l s o h e l p w i t h c o n s i s t e n c y . S e c u r i t y c o n c e r n s c a n b e a d d r e s s e d i n t h e s e t w o w a y s :

� F i l t e r i n g s e r v e r u p d a t e s � A u t h e n t i c a t i o n

T i m e c o r r e l a t i o n o f e v e n t s i s e x t r e m e l y v a l u a b l e i n t w o c a s e s : t r o u b l e s h o o t i n g a n d s e c u r i t y a u d i t s . C a r e m u s t b e t a k e n i n o r d e r t o p r o t e c t t h e t i m e s o u r c e s a n d d a t a , a n d e n c r y p t i o n i s r e c o m m e n d e d s o t h a t k e y e v e n t s a r e n o t e r a s e d e i t h e r i n t e n t i o n a l l y o r u n i n t e n t i o n a l l y . C i s c o r e c o m m e n d s t h e s e c o n f i g u r a t i o n s :

C a ta l y s t C onf ig ura tion set n tp b r oad castcl i en t en ab l e set n tp au then ti cati on en ab l e set n tp k ey k ey !--- T h i s i s a M e s s a g e D i g e s t 5 ( M D 5 ) h a s h . set n tp ti mez on e < z on e n ame> set n tp su mmer ti me < d ate chan g e d etai l s>

A l te rna te C a ta l y s t C onf ig ura tion !--- T h i s m o r e t r a d i t i o n a l c o n f i g u r a t i o n c r e a t e s !--- m o r e c o n f i g u r a t i o n w o r k a n d N T P p e e r i n g s . set n tp cl i en t en ab l e set n tp ser v er I P ad d res s of ti m e s erv er set ti mez on e z one nam e

P a g e 95 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 96: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

C isc o D isc o v ery P ro to c o l C D P e x c h a n g e s i n f o r m a t i o n b e t w e e n a d j a c e n t d e v i c e s o v e r t h e d a t a l i n k l a y e r a n d i s e x t r e m e l y h e l p f u l i n t h e d e t e r m i n a t i o n o f t h e n e t w o r k t o p o l o g y a n d p h y s i c a l c o n f i g u r a t i o n o u t s i d e o f t h e l o g i c a l o r I P l a y e r . S u p p o r t e d d e v i c e s a r e m a i n l y s w i t c h e s , r o u t e r s , a n d I P p h o n e s . T h i s s e c t i o n h i g h l i g h t s s o m e o f t h e e n h a n c e m e n t s o f C D P v e r s i o n 2 o v e r v e r s i o n 1. O p e ra tiona l O v e rv ie w C D P u s e s S N A P e n c a p s u l a t i o n w i t h t y p e c o d e 20 0 0 . O n E t h e r n e t , A T M , a n d F D D I , t h e d e s t i n a t i o n m u l t i c a s t a d d r e s s 01-00-0c-cc-cc-cc, H D L C p rotocol ty p e 0x 2 000 i s u s e d . O n T o k e n R i n g s , t h e f u n c t i o n a l a d d r e s s c 0 0 0 .0 80 0 .0 0 0 0 i s u s e d . C D P f r a m e s a r e s e n t p e r i o d i c a l l y e v e r y m i n u t e b y d e f a u l t . C D P m e s s a g e s c o n t a i n o n e o r m o r e s u b -m e s s a g e s t h a t a l l o w t h e d e s t i n a t i o n d e v i c e s t o g a t h e r a n d s t o r e i n f o r m a t i o n a b o u t e v e r y n e i g h b o r d e v i c e . C D P v e r s i o n 1 s u p p o r t s t h e s e p a r a m e t e r s :

set su mmer ti me d ate c h ange d etai l s

R oute r conf ig ura tion !--- T h i s i s a s a m p l e r o u t e r c o n f i g u r a t i o n t o d i s t r i b u t e !--- N T P b r o a d c a s t i n f o r m a t i o n t o t h e C a t a l y s t b r o a d c a s t c l i e n t s . n tp sou r ce l oop b ack 0 n tp ser v er I P ad d res s of ti m e s erv er n tp u p d ate-cal en d ar cl ock ti mez on e z one nam e cl ock su mmer -ti me d ate c h ange d etai l s n tp au then ti cati on k ey k ey n tp access-g r ou p ac c es s -l i s t !--- T o f i l t e r u p d a t e s t o a l l o w o n l y t r u s t e d s o u r c e s o f N T P i n f o r m a t i o n . I n ter f ace to c am pu s / m anagem ent V L A N c ontai ni ng s w i tc h s c 0 n tp b r oad cast

P a ra m e te r T y p e D e s crip tion 1 D e v i c e -I D H o s t n a m e o f t h e d e v i c e o r

h a r d w a r e s e r i a l n u m b e r i n A S C I I . 2 A d d r e s s T h e L 3 a d d r e s s o f t h e i n t e r f a c e

t h a t h a s s e n t t h e u p d a t e . 3 P o r t -I D T h e p o r t o n w h i c h t h e C D P u p d a t e

h a s b e e n s e n t .

D e s c r i b e s t h e f u n c t i o n a l c a p a b i l i t i e s o f t h e d e v i c e :

P a g e 96 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 97: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

I n C D P v e r s i o n 2, a d d i t i o n a l p r o t o c o l f i e l d s h a v e b e e n i n t r o d u c e d . C D P v e r s i o n 2 s u p p o r t s a n y f i e l d , b u t t h e o n e s l i s t e d c a n b e p a r t i c u l a r l y u s e f u l i n s w i t c h e d e n v i r o n m e n t s a n d a r e u s e d i n C a t O S . N ote : W h e n a s w i t c h r u n s C D P v 1, i t d r o p s v 2 f r a m e s . W h e n a s w i t c h r u n n i n g C D P v 2 r e c e i v e s a C D P v 1 f r a m e o n a n i n t e r f a c e , i t s t a r t s t o s e n d o u t C D P v 1 f r a m e s o u t o f t h a t i n t e r f a c e i n a d d i t i o n t o C D P v 2 f r a m e s .

R e com m e nda tion C D P i s e n a b l e d b y d e f a u l t a n d i s e s s e n t i a l t o g a i n v i s i b i l i t y o f a d j a c e n t d e v i c e s a n d f o r t r o u b l e s h o o t i n g . I t i s a l s o u s e d b y n e t w o r k m a n a g e m e n t a p p l i c a t i o n s t o b u i l d L 2 t o p o l o g y m a p s . I s s u e t h e s e c o m m a n d s i n o r d e r t o s e t u p C D P :

set cd p en ab l e !--- T h i s i s t h e d e f a u l t . set cd p v er si on v 2 !--- T h i s i s t h e d e f a u l t .

I n p a r t s o f t h e n e t w o r k w h e r e a h i g h l e v e l o f s e c u r i t y i s r e q u i r e d ( s u c h a s I n t e r n e t -f a c i n g D M Z s ) , C D P m u s t b e t u r n e d o f f a s s u c h :

set cd p d i sab l e port range

4 C a p a b i l i t i e s

R o u t e r : 0 x 0 1 T B B r i d g e : 0 x 0 2 S R B r i d g e : 0 x 0 4 S w i t c h : 0 x 0 8 ( P r o v i d e s L 2 a n d / o r L 3 s w i t c h i n g ) H o s t : 0 x 10 I G M P c o n d i t i o n a l f i l t e r i n g : 0 x 20 T h e B r i d g e o r S w i t c h d o e s n o t f o r w a r d I G M P r e p o r t p a c k e t s o n n o n -r o u t e r p o r t s . R e p e a t e r : 0 x 40

5 V e r s i o n A c h a r a c t e r s t r i n g c o n t a i n i n g t h e s o f t w a r e v e r s i o n ( s a m e a s i n s h ow v e rs ion) .

6 P l a t f o r m H a r d w a r e p l a t f o r m , s u c h a s W S -C 50 0 0 , W S -C 60 0 9, o r C i s c o R S P .

P a ra m e te r T y p e D e s crip tion 9 V T P

D o m a i n T h e V T P D o m a i n , i f c o n f i g u r e d o n t h e d e v i c e .

10 N a t i v e V L A N

I n d o t 1q , t h i s i s t h e u n t a g g e d V L A N .

11 F u l l / H a l f D u p l e x

T h i s f i e l d c o n t a i n s t h e d u p l e x s e t t i n g o f t h e s e n d i n g p o r t .

P a g e 97 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 98: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

T h e s h ow cdp ne ig h b ors c o m m a n d d i s p l a y s t h e l o c a l C D P t a b l e . E n t r i e s m a r k e d w i t h a s t a r ( * ) i n d i c a t e a V L A N m i s m a t c h ; e n t r i e s m a r k e d w i t h a # i n d i c a t e a d u p l e x m i s m a t c h . T h i s c a n b e a v a l u a b l e h e l p f o r t r o u b l e s h o o t i n g .

>show cd p n ei g hb or s * - i n d i c a t e s v l a n m i s m a t c h . # - i n d i c a t e s d u p l e x m i s m a t c h . P o r t D e v i c e -I D P o r t -I D P l a t f o r m ----- ------------------ ------- ------------ 3/ 1 T B A 0 40 6 0 10 3( s w i -2) 3/ 1 W S -C 6 50 6 3/ 8 T B A 0 330 0 0 8 1( s w i -3) 1/ 1 W S -C 6 50 6 15/ 1 r t r -1-m s f c V L A N 1 c i s c o C a t 6 k -M S F C 16 / 1 M S F C 1b V l a n 2 c i s c o C a t 6 k -M S F C

O th e r O p tions S o m e s w i t c h e s , l i k e t h e C a t a l y s t 650 0 / 60 0 0 , h a v e t h e a b i l i t y t o s u p p l y p o w e r b y w a y o f U T P c a b l e s t o I P p h o n e s . I n f o r m a t i o n r e c e i v e d b y w a y o f C D P a s s i s t s p o w e r m a n a g e m e n t o n t h e s w i t c h . A s I P p h o n e s c a n h a v e a P C c o n n e c t e d t o t h e m , a n d b o t h d e v i c e s c o n n e c t t o t h e s a m e p o r t o n t h e C a t a l y s t , t h e s w i t c h h a s t h e a b i l i t y t o p u t t h e V o I P p h o n e i n a s e p a r a t e V L A N , t h e a u x i l i a r y . T h i s a l l o w s t h e s w i t c h t o e a s i l y a p p l y a d i f f e r e n t Q u a l i t y o f S e r v i c e ( Q o S ) f o r t h e V o I P t r a f f i c . I n a d d i t i o n , i f t h e a u x i l i a r y V L A N i s m o d i f i e d ( f o r e x a m p l e , i n o r d e r t o f o r c e t h e p h o n e t o u s e a s p e c i f i c V L A N o r s p e c i f i c t a g g i n g m e t h o d ) , t h i s i n f o r m a t i o n i s s e n t t o t h e p h o n e b y w a y o f C D P .

N ote : C a t a l y s t 290 0 a n d 350 0 X L s w i t c h e s d o n o t c u r r e n t l y s u p p o r t C D P v 2.

S ec u r i ty Conf i g u r a ti on I d e a l l y , t h e c u s t o m e r h a s a l r e a d y e s t a b l i s h e d a s e c u r i t y p o l i c y t o h e l p d e f i n e w h a t t o o l s a n d t e c h n o l o g i e s f r o m C i s c o a r e q u a l i f i e d . N ote : C i s c o I O S S o f t w a r e s e c u r i t y , a s o p p o s e d t o C a t O S , i s d e a l t w i t h i n m a n y d o c u m e n t s , s u c h a s C i s c o I S P E s s e n t i a l s .

B a sic S ec urity F ea tures

P a ra m e te r T y p e D e s crip tion

14 A p p l i a n c e I D A l l o w s t h e V o I P t r a f f i c t o b e d i f f e r e n t i a t e d f r o m o t h e r t r a f f i c , a s b y s e p a r a t e V L A N -i d ( a u x i l i a r y V L A N ) .

16 P o w e r C o n s u m p t i o n

T h e a m o u n t o f p o w e r a V o I P p h o n e c o n s u m e s , i n m i l l i w a t t s .

P a g e 98 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 99: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

P a s s w ords C o n f i g u r e a u s e r l e v e l p a s s w o r d ( l o g i n ) . P a s s w o r d s a r e c a s e s e n s i t i v e i n C a t O S 5.x a n d l a t e r , a n d c a n b e f r o m 0 t o 30 c h a r a c t e r s i n l e n g t h , i n c l u d i n g s p a c e s . S e t t h e e n a b l e p a s s w o r d :

set p asswor d pas s w ord set en ab l ep ass pas s w ord

A l l p a s s w o r d s m u s t m e e t m i n i m u m l e n g t h s t a n d a r d s ( f o r e x a m p l e , s i x c h a r a c t e r s m i n i m u m , a m i x o f l e t t e r s a n d n u m b e r s , u p p e r - a n d l o w e r -c a s e l e t t e r s ) f o r l o g i n a n d e n a b l e p a s s w o r d s w h e n u s e d . T h e s e p a s s w o r d s a r e e n c r y p t e d u s i n g t h e M D 5 h a s h i n g a l g o r i t h m . I n o r d e r t o a l l o w f o r m o r e f l e x i b i l i t y i n m a n a g i n g p a s s w o r d s e c u r i t y a n d d e v i c e a c c e s s , C i s c o r e c o m m e n d s t h e u s e o f a T A C A C S + s e r v e r . R e f e r t o t h e T A C A C S + s e c t i o n o f t h i s d o c u m e n t f o r m o r e i n f o r m a t i o n . S e cure S h e l l U t i l i z e S S H e n c r y p t i o n i n o r d e r t o p r o v i d e s e c u r i t y f o r T e l n e t s e s s i o n s a n d o t h e r r e m o t e c o n n e c t i o n s t o t h e s w i t c h . S S H e n c r y p t i o n i s s u p p o r t e d f o r r e m o t e l o g i n s t o t h e s w i t c h o n l y . Y o u c a n n o t e n c r y p t T e l n e t s e s s i o n s t h a t a r e i n i t i a t e d f r o m t h e s w i t c h . S S H v e r s i o n 1 i s s u p p o r t e d i n C a t O S 6.1, a n d v e r s i o n 2 s u p p o r t w a s a d d e d i n C a t O S 8.3. S S H v e r s i o n 1 s u p p o r t s t h e D a t a E n c r y p t i o n S t a n d a r d ( D E S ) a n d T r i p l e -D E S ( 3-D E S ) e n c r y p t i o n m e t h o d s , a n d S S H v e r s i o n 2 s u p p o r t s t h e 3-D E S a n d A d v a n c e d E n c r y p t i o n S t a n d a r d ( A E S ) e n c r y p t i o n m e t h o d s . Y o u c a n u s e S S H e n c r y p t i o n w i t h R A D I U S a n d T A C A C S + a u t h e n t i c a t i o n . T h i s f e a t u r e i s s u p p o r t e d w i t h S S H ( k 9) i m a g e s . R e f e r t o H o w t o C o n f i g u r e S S H o n C a t a l y s t S w i t c h e s R u n n i n g C a t O S f o r d e t a i l s .

set cr yp to k ey r sa 1 0 2 4

I n o r d e r t o d i s a b l e v e r s i o n 1 f a l l b a c k a n d a c c e p t v e r s i o n 2 c o n n e c t i o n s , i s s u e t h i s c o m m a n d : set ssh mod e v 2

IP P e rm it F il te rs T h e s e a r e f i l t e r s t o s a f e g u a r d a c c e s s t o t h e m a n a g e m e n t s c 0 i n t e r f a c e t h r o u g h T e l n e t a n d o t h e r p r o t o c o l s . T h e s e a r e p a r t i c u l a r l y i m p o r t a n t w h e n t h e V L A N u s e d f o r m a n a g e m e n t a l s o c o n t a i n s u s e r s . I s s u e t h e s e c o m m a n d s i n o r d e r t o e n a b l e I P a d d r e s s a n d p o r t f i l t e r i n g :

set i p p er mi t en ab l e set i p p er mi t I P ad d res s m as k T el net| s s h | s nm p| al l

H o w e v e r , i f T e l n e t a c c e s s i s r e s t r i c t e d w i t h t h i s c o m m a n d , a c c e s s t o C a t O S d e v i c e s c a n o n l y b e a c h i e v e d t h r o u g h a f e w t r u s t e d e n d -s t a t i o n s . T h i s s e t u p c a n b e a h i n d r a n c e i n t r o u b l e s h o o t i n g . K e e p i n m i n d t h a t i t i s p o s s i b l e t o s p o o f I P a d d r e s s e s a n d t o f o o l f i l t e r e d a c c e s s , s o t h i s i s o n l y t h e f i r s t l a y e r o f p r o t e c t i o n .

P a g e 99 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i t c ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 100: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

P ort S e curity C o n s i d e r u t i l i z i n g p o r t s e c u r i t y i n o r d e r t o p e r m i t o n l y o n e o r s e v e r a l k n o w n M A C a d d r e s s e s t o p a s s d a t a o n a p a r t i c u l a r p o r t ( i n o r d e r t o s t o p s t a t i c e n d s t a t i o n s f r o m b e i n g s w a p p e d f o r n e w s t a t i o n s w i t h o u t c h a n g e c o n t r o l , f o r e x a m p l e ) . T h i s i s p o s s i b l e b y w i t h s t a t i c M A C a d d r e s s e s .

set p or t secu r i ty m od / port en ab l e M A C ad d res s

T h i s i s a l s o p o s s i b l e b y l e a r n i n g r e s t r i c t e d M A C a d d r e s s e s d y n a m i c a l l y . set p or t secu r i ty port range en ab l e

T h e s e o p t i o n s c a n b e c o n f i g u r e d : � s e t p ort s e curity mo d / p o r t a g e t i me v al u e —s p e c i f i e s t h e d u r a t i o n f o r w h i c h a d d r e s s e s o n t h e p o r t a r e s e c u r e d b e f o r e a n e w a d d r e s s c a n b e l e a r n e d . V a l i d t i m e i n m i n u t e s i s 10 - 1440 . D e f a u l t i s n o a g i n g .

� s e t p ort s e curity mo d / p o r t m a x im um v al u e —k e y w o r d t h a t s p e c i f i e s t h e m a x i m u m n u m b e r o f M A C a d d r e s s e s t o s e c u r e o n t h e p o r t . V a l i d v a l u e s a r e 1 ( d e f a u l t ) - 10 25.

� s e t p ort s e curity mo d / p o r t v iol a tion s h utdow n—s h u t s d o w n p o r t ( d e f a u l t ) i f v i o l a t i o n o c c u r s a s w e l l a s s e n d s s y s l o g m e s s a g e ( d e f a u l t ) a n d d i s c a r d s t h e t r a f f i c .

� s e t p ort s e curity mo d / p o r t s h utdow n t i me v al u e —d u r a t i o n f o r w h i c h a p o r t r e m a i n s d i s a b l e d . V a l i d v a l u e s a r e 10 - 1440 m i n u t e s . D e f a u l t i s p e r m a n e n t l y s h u t d o w n

W i t h C a t O S 6.x a n d l a t e r , C i s c o h a s i n t r o d u c e d 80 2.1x a u t h e n t i c a t i o n t h a t a l l o w s c l i e n t s t o a u t h e n t i c a t e t o a c e n t r a l s e r v e r b e f o r e p o r t s c a n b e e n a b l e d f o r d a t a . T h i s f e a t u r e i s i n t h e e a r l y s t a g e s o f s u p p o r t o n s u c h p l a t f o r m s a s W i n d o w s X P , b u t c a n b e c o n s i d e r e d a s t r a t e g i c d i r e c t i o n b y m a n y e n t e r p r i s e s . R e f e r t o C o n f i g u r i n g P o r t S e c u r i t y f o r i n f o r m a t i o n o n h o w t o c o n f i g u r e p o r t s e c u r i t y o n s w i t c h e s t h a t r u n C i s c o I O S S o f t w a r e . L og in B a nne rs C r e a t e a p p r o p r i a t e d e v i c e b a n n e r s t o s t a t e s p e c i f i c a l l y t h e a c t i o n s t a k e n f o r u n a u t h o r i z e d a c c e s s . D o n o t a d v e r t i s e s i t e n a m e o r n e t w o r k d a t a t h a t c o u l d p r o v i d e i n f o r m a t i o n t o u n a u t h o r i z e d u s e r s . T h e s e b a n n e r s p r o v i d e r e c o u r s e i n c a s e a d e v i c e i s c o m p r o m i s e d a n d t h e p e r p e t r a t o r i s c a u g h t : .

# set b an n er motd ^C * * * U n au thor i z ed A ccess P r ohi b i ted * * * * * * A l l tr an sacti on s ar e l og g ed * * * ------------- N oti ce B oar d ------------- ----Con tact J oe Ci sco at 1 8 0 0 g o ci sco f or access p r ob l ems---- ^C

P h y s ica l S e curity D e v i c e s m u s t n o t b e a c c e s s i b l e p h y s i c a l l y w i t h o u t p r o p e r a u t h o r i z a t i o n , s o t h e e q u i p m e n t m u s t b e i n a c o n t r o l l e d ( l o c k e d ) s p a c e . i n o r d e r t o e n s u r e t h a t t h e n e t w o r k s t a y s o p e r a t i o n a l a n d u n a f f e c t e d b y

P a g e 10 0 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 101: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

m a l i c i o u s t a m p e r i n g o f e n v i r o n m e n t a l f a c t o r s , a l l e q u i p m e n t m u s t h a v e p r o p e r U P S ( w i t h r e d u n d a n t s o u r c e s w h e r e p o s s i b l e ) a n d t e m p e r a t u r e c o n t r o l ( a i r c o n d i t i o n i n g ) . R e m e m b e r , i f p h y s i c a l a c c e s s i s b r e a c h e d b y a p e r s o n w i t h m a l i c i o u s i n t e n t , d i s r u p t i o n t h r o u g h p a s s w o r d r e c o v e r y o r o t h e r m e t h o d s i s m u c h m o r e l i k e l y .

T ermina l A c c ess C o ntro l l er A c c ess C o ntro l S y stem B y d e f a u l t , n o n -p r i v i l e g e d a n d p r i v i l e g e d m o d e p a s s w o r d s a r e g l o b a l a n d a p p l y t o e v e r y u s e r t h a t a c c e s s e s t h e s w i t c h o r r o u t e r , e i t h e r f r o m t h e c o n s o l e p o r t o r t h r o u g h a T e l n e t s e s s i o n a c r o s s t h e n e t w o r k . T h e i r i m p l e m e n t a t i o n o n n e t w o r k d e v i c e s i s t i m e -c o n s u m i n g a n d n o n -c e n t r a l i z e d . I t i s a l s o d i f f i c u l t t o i m p l e m e n t a c c e s s r e s t r i c t i o n s u s i n g a c c e s s l i s t s t h a t c a n b e p r o n e t o c o n f i g u r a t i o n e r r o r s . T h r e e s e c u r i t y s y s t e m s a r e a v a i l a b l e t o h e l p c o n t r o l a n d p o l i c e a c c e s s t o n e t w o r k d e v i c e s . T h e s e u s e c l i e n t / s e r v e r a r c h i t e c t u r e s t o p l a c e a l l s e c u r i t y i n f o r m a t i o n i n a s i n g l e c e n t r a l d a t a b a s e . T h e s e t h r e e s e c u r i t y s y s t e m s a r e :

� T A C A C S + � R A D I U S � K e r b e r o s

T A C A C S + i s a c o m m o n d e p l o y m e n t i n C i s c o n e t w o r k s a n d i s t h e f o c u s o f t h i s c h a p t e r . I t p r o v i d e s t h e s e f e a t u r e s :

� A u t h e n t i c a t i o n —t h e i d e n t i f i c a t i o n a n d v e r i f i c a t i o n p r o c e s s f o r a u s e r . S e v e r a l m e t h o d s c a n b e u s e d t o a u t h e n t i c a t e a u s e r , b u t t h e m o s t c o m m o n i n c l u d e s a c o m b i n a t i o n o f u s e r n a m e a n d p a s s w o r d .

� A u t h o r i z a t i o n —o f v a r i o u s c o m m a n d s c a n b e g r a n t e d o n c e a u s e r i s a u t h e n t i c a t e d . � A c c o u n t i n g —t h e r e c o r d i n g w h a t a u s e r i s d o i n g o r h a s d o n e o n t h e d e v i c e .

R e f e r t o C o n f i g u r i n g T A C A C S + , R A D I U S , a n d K e r b e r o s o n C i s c o C a t a l y s t S w i t c h e s f o r m o r e d e t a i l s . O p e ra tiona l O v e rv ie w T h e T A C A C S + p r o t o c o l f o r w a r d s u s e r n a m e s a n d p a s s w o r d s t o t h e c e n t r a l i z e d s e r v e r , e n c r y p t e d o v e r t h e n e t w o r k u s i n g M D 5 o n e -w a y h a s h i n g ( R F C 1321 ) . I t u s e s T C P p o r t 49 a s i t s t r a n s p o r t p r o t o c o l ; t h i s o f f e r s t h e s e a d v a n t a g e s o v e r U D P ( u s e d b y R A D I U S ) :

� C o n n e c t i o n o r i e n t e d t r a n s p o r t � S e p a r a t e a c k n o w l e d g e m e n t t h a t a r e q u e s t h a s b e e n r e c e i v e d ( T C P A C K ) , r e g a r d l e s s o f h o w l o a d e d t h e b a c k e n d a u t h e n t i c a t i o n m e c h a n i s m i s c u r r e n t l y

� I m m e d i a t e i n d i c a t i o n o f a s e r v e r c r a s h ( R S T p a c k e t s ) D u r i n g a s e s s i o n , i f a d d i t i o n a l a u t h o r i z a t i o n c h e c k i n g i s n e e d e d , t h e s w i t c h c h e c k s w i t h T A C A C S + t o

P a g e 10 1 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 102: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

d e t e r m i n e i f t h e u s e r i s g r a n t e d p e r m i s s i o n t o u s e a p a r t i c u l a r c o m m a n d . T h i s p r o v i d e s g r e a t e r c o n t r o l o v e r t h e c o m m a n d s t h a t c a n b e e x e c u t e d o n t h e s w i t c h w h i l e d e -c o u p l i n g f r o m t h e a u t h e n t i c a t i o n m e c h a n i s m . U s i n g c o m m a n d a c c o u n t i n g , i t i s p o s s i b l e t o a u d i t t h e c o m m a n d s a p a r t i c u l a r u s e r h a s i s s u e d w h i l e a t t a c h e d t o a p a r t i c u l a r n e t w o r k d e v i c e .

W h e n a u s e r a t t e m p t s a s i m p l e A S C I I l o g i n b y a u t h e n t i c a t i n g t o a n e t w o r k d e v i c e w i t h T A C A C S + , t h i s p r o c e s s t y p i c a l l y o c c u r s :

� W h e n t h e c o n n e c t i o n i s e s t a b l i s h e d , t h e s w i t c h c o n t a c t s t h e T A C A C S + d a e m o n t o o b t a i n a u s e r n a m e p r o m p t , w h i c h i s t h e n d i s p l a y e d t o t h e u s e r . T h e u s e r e n t e r s a u s e r n a m e , a n d t h e s w i t c h c o n t a c t s t h e T A C A C S + d a e m o n i n o r d e r t o o b t a i n a p a s s w o r d p r o m p t . T h e s w i t c h d i s p l a y s t h e p a s s w o r d p r o m p t t o t h e u s e r , w h o t h e n e n t e r s a p a s s w o r d t h a t i s a l s o s e n t t o t h e T A C A C S + d a e m o n .

� T h e n e t w o r k d e v i c e e v e n t u a l l y r e c e i v e s o n e o f t h e s e r e s p o n s e s f r o m t h e T A C A C S + d a e m o n : � A C C E P T —t h e u s e r i s a u t h e n t i c a t e d a n d s e r v i c e c a n b e g i n . I f t h e n e t w o r k d e v i c e i s c o n f i g u r e d t o r e q u i r e a u t h o r i z a t i o n , a u t h o r i z a t i o n b e g i n s a t t h i s t i m e .

� R E J E C T —t h e u s e r h a s f a i l e d t o a u t h e n t i c a t e . T h e u s e r c a n b e d e n i e d f u r t h e r a c c e s s o r i s p r o m p t e d t o r e t r y t h e l o g i n s e q u e n c e d e p e n d i n g o n t h e T A C A C S + d a e m o n .

� E R R O R —a n e r r o r o c c u r r e d a t s o m e t i m e d u r i n g a u t h e n t i c a t i o n . T h i s c a n b e e i t h e r a t t h e d a e m o n o r i n t h e n e t w o r k c o n n e c t i o n b e t w e e n t h e d a e m o n a n d t h e s w i t c h . I f a n E R R O R r e s p o n s e i s r e c e i v e d , t h e n e t w o r k d e v i c e t y p i c a l l y t r i e s t o u s e a n a l t e r n a t i v e m e t h o d i n o r d e r t o a u t h e n t i c a t e t h e u s e r .

� C O N T I N U E —t h e u s e r i s p r o m p t e d f o r a d d i t i o n a l a u t h e n t i c a t i o n i n f o r m a t i o n . � U s e r s m u s t f i r s t s u c c e s s f u l l y c o m p l e t e T A C A C S + a u t h e n t i c a t i o n b e f o r e t h e y p r o c e e d t o T A C A C S + a u t h o r i z a t i o n .

� I f T A C A C S + a u t h o r i z a t i o n i s r e q u i r e d , t h e T A C A C S + d a e m o n i s a g a i n c o n t a c t e d a n d r e t u r n s a n A C C E P T o r R E J E C T a u t h o r i z a t i o n r e s p o n s e . I f a n A C C E P T r e s p o n s e i s r e t u r n e d , t h e r e s p o n s e c o n t a i n s d a t a i n t h e f o r m o f a t t r i b u t e s t h a t a r e u s e d t o d i r e c t t h e E X E C o r N E T W O R K s e s s i o n f o r t h a t u s e r , a n d d e t e r m i n e t h e c o m m a n d s t h a t t h e u s e r c a n a c c e s s .

R e com m e nda tion C i s c o r e c o m m e n d s t h e u s e o f T A C A C S + , a s i t c a n b e e a s i l y i m p l e m e n t e d u s i n g C i s c o S e c u r e A C S f o r

P a g e 10 2 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 103: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

N T , U n i x , o r o t h e r t h i r d -p a r t y s o f t w a r e . T A C A C S + f e a t u r e s i n c l u d e d e t a i l e d a c c o u n t i n g t o p r o v i d e s t a t i s t i c s o n c o m m a n d u s a g e a n d s y s t e m u s a g e , M D 5 e n c r y p t i o n a l g o r i t h m , a n d a d m i n i s t r a t i v e c o n t r o l o f a u t h e n t i c a t i o n a n d a u t h o r i z a t i o n p r o c e s s e s . I n t h i s e x a m p l e , l o g i n a n d e n a b l e m o d e s u s e t h e T A C A C S + s e r v e r f o r A u t h e n t i c a t i o n a n d c a n f a l l b a c k t o l o c a l a u t h e n t i c a t i o n i f t h e s e r v e r i s u n a v a i l a b l e . T h i s i s a n i m p o r t a n t b a c k d o o r t o l e a v e i n m o s t n e t w o r k s . I s s u e t h e s e c o m m a n d s i n o r d e r t o s e t u p T A C A C S + :

set tacacs ser v er s erv er I P p r i mar y set tacacs ser v er s erv er I P !--- R e d u n d a n t s e r v e r s a r e p o s s i b l e . set tacacs attemp ts 3 !--- T h i s i s t h e d e f a u l t . set tacacs k ey k ey !--- M D 5 e n c r y p t i o n k e y . set tacacs ti meou t 1 5 !--- L o n g e r s e r v e r t i m e o u t ( 5 i s d e f a u l t ) . set au then ti cati on l og i n tacacs en ab l e set au then ti cati on en ab l e tacacs en ab l e set au then ti cati on l og i n l ocal en ab l e set au then ti cati on en ab l e l ocal en ab l e !--- T h e l a s t t w o c o m m a n d s a r e t h e d e f a u l t ; t h e y a l l o w f a l l b a c k !--- t o l o c a l i f n o T A C A C S + s e r v e r a v a i l a b l e .

O th e r O p tions I t i s p o s s i b l e t o u s e T A C A C S + a u t h o r i z a t i o n t o c o n t r o l t h e c o m m a n d s e a c h u s e r o r u s e r -g r o u p c a n e x e c u t e o n t h e s w i t c h , b u t i t i s d i f f i c u l t t o m a k e a r e c o m m e n d a t i o n b e c a u s e a l l c u s t o m e r s h a v e i n d i v i d u a l r e q u i r e m e n t s i n t h i s a r e a . R e f e r t o C o n t r o l l i n g A c c e s s t o t h e S w i t c h U s i n g A u t h e n t i c a t i o n , A u t h o r i z a t i o n , a n d A c c o u n t i n g f o r m o r e i n f o r m a t i o n . F i n a l l y , a c c o u n t i n g c o m m a n d s p r o v i d e a n a u d i t t r a i l o f w h a t e a c h u s e r t y p e d a n d c o n f i g u r e d . T h i s i s a n e x a m p l e u s i n g t h e c o m m o n p r a c t i c e o f r e c e i v i n g t h e a u d i t i n f o r m a t i o n a t t h e e n d o f t h e c o m m a n d :

set accou n ti n g con n ect en ab l e star t-stop tacacs+ set accou n ti n g ex ec en ab l e star t-stop tacacs+ set accou n ti n g system en ab l e star t-stop tacacs+ set accou n ti n g comman d s en ab l e al l star t-stop tacacs+ set accou n ti n g u p d ate p er i od i c 1

T h i s c o n f i g u r a t i o n h a s t h e s e f e a t u r e s : � T h e conne ct c o m m a n d e n a b l e s a c c o u n t i n g o f o u t b o u n d c o n n e c t i o n e v e n t s o n t h e s w i t c h s u c h a s

P a g e 10 3 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 104: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

T e l n e t . � T h e e x e c c o m m a n d e n a b l e s a c c o u n t i n g o f l o g i n s e s s i o n s o n t h e s w i t c h s u c h a s o p e r a t i o n s s t a f f . � T h e s y s te m c o m m a n d e n a b l e s a c c o u n t i n g o f s y s t e m e v e n t s o n t h e s w i t c h s u c h a s r e l o a d o r r e s e t . � T h e com m a nds c o m m a n d e n a b l e s a c c o u n t i n g o f w h a t w a s e n t e r e d o n t h e s w i t c h , f o r b o t h s h ow a n d c o n f i g u r a t i o n c o m m a n d s .

� P e r i o d i c u p d at e s e v e r y m i n u t e t o t h e s e r v e r a r e h e l p f u l i n o r d e r t o r e c o r d w h e t h e r u s e r s a r e s t i l l l o g g e d i n .

Conf i g u r a ti on Ch ec k l i st T h i s s e c t i o n p r o v i d e s a s u m m a r y o f t h e r e c o m m e n d e d c o n f i g u r a t i o n s , e x c l u d i n g s e c u r i t y d e t a i l s . I t i s e x t r e m e l y h e l p f u l t o l a b e l a l l p o r t s .. I s s u e t h i s c o m m a n d i n o r d e r t o l a b e l t h e p o r t s :

set p or t d escr i p ti on d es c ri pti v e nam e

U s e t h i s k e y i n c o n j u n c t i o n w i t h t h e C o m m a n d t a b l e s l i s t e d :

G l ob a l C onf ig ura tion C om m a nds

K e y : B ol d te x t - r e c o m m e n d e d c h a n g e N o r m a l t e x t - d e f a u l t , r e c o m m e n d e d s e t t i n g

C om m a nd C om m e nt s e t v tp dom a in name p a s s w ordx

P r o t e c t a g a i n s t u n a u t h o r i z e d V T P u p d a t e s f r o m n e w s w i t c h e s .

s e t v tp m ode tra ns p a re nt

S e l e c t V T P m o d e p r o m o t e d i n t h i s d o c u m e n t . R e f e r t o t h e V L A N T r u n k i n g P r o t o c o l s e c t i o n o f t h i s d o c u m e n t f o r m o r e d e t a i l s .

s e t s p a n t r e e e n a b l e a l l E n s u r e t h a t S T P i s e n a b l e d o n a l l V L A N s .

s e t s p a ntre e root v l an R e c o m m e n d e d t o p o s i t i o n r o o t ( a n d s e c o n d a r y r o o t ) b r i d g e s p e r V L A N .

s e t s p a ntre e b a ck b one f a s t e na b l e

E n a b l e r a p i d S T P c o n v e r g e n c e f r o m i n d i r e c t f a i l u r e s ( o n l y i f a l l s w i t c h e s i n d o m a i n s u p p o r t t h e

P a g e 10 4 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 105: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

f e a t u r e ) . s e t s p a ntre e up l ink f a s t e na b l e

E n a b l e r a p i d S T P c o n v e r g e n c e f r o m d i r e c t f a i l u r e s ( f o r a c c e s s l a y e r s w i t c h e s o n l y ) .

s e t s p a ntre e p ortf a s t b p du-g ua rd e na b l e

E n a b l e p o r t t o b e s h u t d o w n a u t o m a t i c a l l y i f t h e r e i s a n u n a u t h o r i z e d S p a n n i n g T r e e e x t e n s i o n .

s e t udl d e na b l e E n a b l e u n i d i r e c t i o n a l l i n k d e t e c t i o n ( n e e d p o r t l e v e l c o n f i g u r a t i o n a s w e l l ) .

s e t te s t dia g l e v e l com p l e te

E n a b l e f u l l d i a g n o s t i c s a t b o o t u p ( d e f a u l t o n C a t a l y s t 450 0 / 40 0 0 ) .

s e t t e s t p a c k e t b u f f e r s u n 3: 30

E n a b l e p o r t b u f f e r e r r o r c h e c k i n g ( a p p l i e s t o C a t a l y s t 550 0 / 50 0 0 o n l y ) .

s e t l o g g i n g b u f f e r 50 0 M a i n t a i n m a x i m u m i n t e r n a l s y s l o g b u f f e r .

s e t l og g ing s e rv e r I P ad d r es s

C o n f i g u r e t a r g e t s y s l o g s e v e r f o r e x t e r n a l s y s t e m m e s s a g e l o g g i n g .

s e t l og g ing s e rv e r e na b l e A l l o w t h e e x t e r n a l l o g g i n g s e r v e r . s e t l o g g i n g t i m e s t a m p e n a b l e

E n a b l e t i m e s t a m p s o f m e s s a g e s i n t h e l o g .

s e t l og g ing l e v e l s p a ntre e 6 de f a ul t

I n c r e a s e d e f a u l t S T P s y s l o g l e v e l .

s e t l og g ing l e v e l s y s 6 de f a ul t

I n c r e a s e d e f a u l t S y s t e m s y s l o g l e v e l .

s e t l o g g i n g s e r v e r s e v e r i t y 4

A l l o w t h e e x p o r t o f t h e h i g h e r s e v e r i t y s y s l o g o n l y .

s e t l og g ing cons ol e dis a b l e

D i s a b l e t h e c o n s o l e u n l e s s t r o u b l e s h o o t i n g .

s e t s nm p com m unity re a d-onl y s t r i ng

C o n f i g u r e t h e p a s s w o r d t o a l l o w r e m o t e d a t a c o l l e c t i o n .

s e t s nm p com m unity re a d-w rite s t r i ng

C o n f i g u r e t h e p a s s w o r d t o a l l o w r e m o t e c o n f i g u r a t i o n .

s e t s nm p com m unity re a d-w rite -a l l s t r i ng

C o n f i g u r e t h e p a s s w o r d t o a l l o w r e m o t e c o n f i g u r a t i o n i n c l u d i n g p a s s w o r d s . E n a b l e S N M P t r a p s t o t h e N M S

P a g e 10 5 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 106: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

H os t P orts C onf ig ura tion C om m a nds

s e t s nm p tra p e na b l e a l l s e r v e r f o r f a u l t a n d e v e n t a l e r t s . s e t s nm p tra p s er v er ad d r es s s t r i ng

C o n f i g u r e t h e a d d r e s s o f t h e N M S t r a p r e c e i v e r .

s e t s nm p rm on e na b l e E n a b l e R M O N f o r l o c a l s t a t i s t i c g a t h e r i n g . R e f e r t o t h e R e m o t e M o n i t o r i n g s e c t i o n o f t h i s d o c u m e n t f o r m o r e d e t a i l s .

s e t ntp b roa dca s tcl ie nt e na b l e

E n a b l e a c c u r a t e s y s t e m c l o c k r e c e p t i o n f r o m a n u p s t r e a m r o u t e r .

s e t ntp tim e z one z o ne name

S e t t h e l o c a l t i m e z o n e f o r t h e d e v i c e .

s e t ntp s um m e rtim e d at e c h ang e d et ai l s

C o n f i g u r e s u m m e r t i m e i f a p p l i c a b l e f o r t h e t i m e z o n e .

s e t ntp a uth e ntica tion e na b l e

C o n f i g u r e e n c r y p t e d t i m e i n f o r m a t i o n f o r s e c u r i t y p u r p o s e s .

s e t ntp k e y k ey C o n f i g u r e t h e e n c r y p t i o n k e y .

s e t c d p e n a b l e E n s u r e n e i g h b o r d i s c o v e r y i s e n a b l e d ( e n a b l e d o n p o r t s b y d e f a u l t a s w e l l ) .

s e t ta ca cs s e rv e r I P ad d r es s p rim a ry

C o n f i g u r e t h e a d d r e s s o f t h e A A A s e r v e r .

s e t ta ca cs s e rv e r I P ad d r es s

R e d u n d a n t A A A s e r v e r s i f p o s s i b l e .

s e t t a c a c s a t t e m p t s 3 A l l o w 3 p a s s w o r d a t t e m p t s f o r t h e A A A u s e r a c c o u n t .

s e t ta ca cs k e y k ey S e t t h e A A A M D 5 e n c r y p t i o n k e y .

s e t ta ca cs tim e out 15 A l l o w l o n g e r s e r v e r t i m e o u t ( f i v e s e c o n d s i s d e f a u l t ) .

s e t a uth e ntica tion l og in ta ca cs e na b l e

U s e A A A f o r a u t h e n t i c a t i o n f o r l o g i n .

s e t a uth e ntica tion e na b l e ta ca cs e na b l e

U s e A A A f o r a u t h e n t i c a t i o n f o r e n a b l e m o d e .

s e t a u t h e n t i c a t i o n l o g i n l o c a l e n a b l e

D e f a u l t ; a l l o w s f a l l b a c k t o l o c a l i f n o A A A s e r v e r a v a i l a b l e .

s e t a u t h e n t i c a t i o n e n a b l e l o c a l e n a b l e

D e f a u l t ; a l l o w s f a l l b a c k t o l o c a l i f n o A A A s e r v e r a v a i l a b l e .

P a g e 10 6 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 107: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

S e rv e r C onf ig ura tion C om m a nds

U nus e d P orts C onf ig ura tion C om m a nds

C om m a nd C om m e nt

s e t p ort h os t p o r t r ang e R e m o v e u n n e c e s s a r y p o r t p r o c e s s i n g . T h i s m a c r o s e t s s p a n t r e e P o r t F a s t e n a b l e , c h a n n e l o f f , t r u n k o f f .

s e t u d l d d i s a b l e p o r t r ang e

R e m o v e u n n e c e s s a r y p o r t p r o c e s s i n g ( d i s a b l e d o n c o p p e r p o r t b y d e f a u l t ) .

s e t p o r t s p e e d p o r t r ang e a u t o

U s e a u t o n e g o t i a t i o n w i t h u p -t o -d a t e h o s t N I C d r i v e r s .

s e t p o r t t r a p p o r t r ang e d i s a b l e

N o n e e d f o r S N M P t r a p s f o r g e n e r a l u s e r s ; t r a c k k e y p o r t s o n l y .

C om m a nd C om m e nt

s e t p ort h os t p o r t r ang e

R e m o v e u n n e c e s s a r y p o r t p r o c e s s i n g . T h i s m a c r o s e t s s p a n t r e e P o r t F a s t e n a b l e , c h a n n e l o f f , t r u n k o f f .

s e t u d l d d i s a b l e p o r t r ang e

R e m o v e u n n e c e s s a r y p o r t p r o c e s s i n g ( d i s a b l e d o n c o p p e r p o r t b y d e f a u l t ) .

s e t p ort s p e e d p o r t r ang e 1 0 | 1 0 0

U s u a l l y c o n f i g u r e s t a t i c / s e r v e r p o r t s ; o t h e r w i s e , u s e a u t o n e g o t i a t i o n .

s e t p ort dup l e x p o r t r ang e f u l l | h al f

U s u a l l y s t a t i c / s e r v e r p o r t s ; o t h e r w i s e , u s e a u t o n e g o t i a t i o n .

s e t p ort tra p p o r t r ang e e na b l e

K e y s e r v i c e p o r t s m u s t s e n d t r a p t o N M S .

C om m a nd C om m e nt s e t s p a n t r e e p o r t f a s t p o r t r ang e d i s a b l e

E n a b l e n e c e s s a r y p o r t p r o c e s s i n g a n d p r o t e c t i o n f o r S T P .

s e t p ort dis a b l e p o r t r ang e D i s a b l e u n u s e d p o r t s .

s e t v l a n u nu s ed d u mmy v l an p o r t r ang e

D i r e c t u n a u t h o r i z e d t r a f f i c t o u n u s e d V L A N i f t h e p o r t i s e n a b l e d .

P a g e 10 7 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 108: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

Inf ra s tructure P orts ( s w itch -s w itch , s w itch -route r)

N etP r o D i sc u ssi on F or u m s - F ea tu r ed Conv er sa ti ons N e t w o r k i n g P r o f e s s i o n a l s C o n n e c t i o n i s a f o r u m f o r n e t w o r k i n g p r o f e s s i o n a l s t o s h a r e q u e s t i o n s ,

s e t trunk p o r t r ang e of f D i s a b l e p o r t f r o m t r u n k i n g u n t i l a d m i n i s t e r e d . s e t p ort ch a nne l p o r t r ang e m ode of f

D i s a b l e p o r t f r o m c h a n n e l i n g u n t i l a d m i n i s t e r e d .

C om m a nd C om m e nt s e t u d l d e n a b l e p o r t r ang e

E n a b l e u n i d i r e c t i o n a l l i n k d e t e c t i o n ( n o t d e f a u l t o n c o p p e r p o r t s ) .

s e t udl d a g g re s s iv e -m ode e na b l e p o r t r ang e

E n a b l e a g g r e s s i v e m o d e ( f o r d e v i c e s t h a t s u p p o r t i t ) .

s e t p o r t n e g o t i a t i o n p o r t r ang e e n a b l e

A l l o w d e f a u l t G E a u t o n e g o t i a t i o n o f l i n k p a r a m e t e r s .

s e t p ort tra p p o r t r ang e e na b l e

A l l o w S N M P t r a p s f o r t h e s e k e y p o r t s .

s e t trunk p o r t r ang e of f D i s a b l e f e a t u r e i f n o t u s i n g t r u n k s . s e t trunk mo d / p o r t d es i r ab l e I S L | d o t 1 q | neg o t i at e

I f u s i n g t r u n k s , d o t 1q i s p r e f e r r e d .

cl e a r trunk mo d / p o r t v l an r ang e

L i m i t S T P d i a m e t e r b y p r u n i n g V L A N s f r o m t r u n k s w h e r e t h e y a r e n o t n e e d e d .

s e t p ort ch a nne l p o r t r ang e m ode of f D i s a b l e f e a t u r e i f n o t u s i n g c h a n n e l s . s e t p ort ch a nne l p o r t r ang e m ode de s ira b l e

I f u s i n g c h a n n e l s , t h i s e n a b l e s P A g P .

s e t p o r t c h a n n e l a l l d i s t r i b u t i o n i p b o t h

A l l o w L 3 s o u r c e / d e s t i n a t i o n l o a d b a l a n c i n g i f u s i n g c h a n n e l s ( d e f a u l t o n C a t a l y s t 650 0 / 60 0 0 ) .

s e t trunk mo d / p o r t none g otia te I S L | d o t 1 q

D i s a b l e D T P i f t r u n k i n g t o r o u t e r , C a t a l y s t 290 0 X L , 350 0 , o r o t h e r v e n d o r .

s e t p ort ne g otia tion mo d / p o r t dis a b l e

N e g o t i a t i o n c a n b e i n c o m p a t i b l e f o r s o m e o l d G E d e v i c e s .

P a g e 10 8 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1

Page 109: Best Practices for Catalyst 6500 Series Switches Running CatOS Configuration and Management

s u g g e s t i o n s , a n d i n f o r m a t i o n a b o u t n e t w o r k i n g s o l u t i o n s , p r o d u c t s , a n d t e c h n o l o g i e s . T h e f e a t u r e d l i n k s a r e s o m e o f t h e m o s t r e c e n t c o n v e r s a t i o n s a v a i l a b l e i n t h i s t e c h n o l o g y .

R el a ted I nf or m a ti on � C om m on C a tO S E rror M e s s a g e s on C a ta l y s t 4 5 00/4 000 S e rie s S w itch e s � C om m on C a tO S E rror M e s s a g e s on C a ta l y s t 5 000/5 5 00 S e rie s S w itch e s � C om m on C a tO S E rror M e s s a g e s on C a ta l y s t 6 5 00/6 000 S e rie s S w itch e s � L A N P roduct S up p ort � L A N S w itch ing T e ch nol og y S up p ort � T e ch nica l S up p ort & D ocum e nta tion - C is co S y s te m s

A l l c o n t e n t s a r e C o p y r i g h t © 20 0 6-20 0 7 C i s c o S y s t e m s , I n c . A l l r i g h t s r e s e r v e d . I m p o r t a n t N o t i c e s a n d P r i v a c y S t a t e m e n t .

N e t P r o D i s c u s s i o n F o r u m s - F e a t u r e d C o n v e r s a t i o n s f o r L A N N e t w o r k I n f r a s t r u c t u r e : L A N R o u t i n g a n d S w i t c h i n g P r o b l e m C 3560 w i t h I P -P h o n e a v a y a ,P l s - N o v 29, 20 0 7 T e m p e r a t u r e V a l u e i n C A T 3560 - N o v 29, 20 0 7 P r o b l e m s w i t h b i d i r e c t i o n a l N A T - N o v 29, 20 0 7 650 9 i m a g e p r o b l e m - N o v 29, 20 0 7 G L B P C o n f i g u r a t i o n r e q . - N o v 29, 20 0 7 N e t w o r k I n f r a s t r u c t u r e : G e t t i n g S t a r t e d w i t h L A N s h a n d s -o n p r a c t i c e ... - N o v 29, 20 0 7 10 0 B a s e T X m a x i m u m n u m b e r o f s e g m e n t s - N o v 29, 20 0 7 W h y i s C l o c k S e t u n s t a b l e ? - N o v 29, 20 0 7 S S A P ? - N o v 29, 20 0 7 d i f f e r e n c e b e t w e e n s h c o n f i g a n d s h r u n c o n f i g - N o v 28, 20 0 7

P a g e 10 9 o f 10 9C i s c o - B e s t P r a c t i c e s f o r C a t a l y s t 450 0 / 40 0 0 , 550 0 / 50 0 0 , a n d 650 0 / 60 0 0 S e r i e s S w i ...

11/ 29/ 20 0 7h t t p : / / k b a s e / p a w s / s e r v l e t / V i e w F i l e / 13414/ 10 3.x m l ? c o n v e r t P a t h s = 1


Recommended