Cisco ASR 9000 · ASR 9000 fabric Fizički se nalazi na RSP-u ali je logički potpuno odvojen...

Cisco ASR 9000

© 2008 Cisco Systems, Inc. All rights reserved. Cisco ConfidentialPresentation_ID 1

ðorñe Vulović, Systems Engineer, CCIE #16582

ASR 9000 – na prvi pogled

� Optimizovan za L2/L3 10GE i 100GE agregaciju

� Dizajniran za 400Gbpspropusnog opsega po slotu

2© 2008 Cisco Systems, Inc. All rights reserved. Cisco ConfidentialPresentation_ID

� Baziran na IOS XR operativnom sistemu

� Nadzor i upravljanje sa ANA sistemom

Carrier Class OS – IOS-XRModular Components Applications Architecture

IS-IS

QoS

Distributed Middleware

BGP

Multicast

Distributed Service Separation

MPLS Multicast

RIP BGPOSPF ISIS

ManageabilitySecurityHost

RoutingComposite


Designed for Scale, HA, and PerformanceFor IP NGN Applications Next Generation Architecture

OAM

VLAN

MAC

Subs

OAM

VLAN

MAC

Subs

OAM

VLAN

MAC

SubsLC1

Distributed Service Separation

LC2 LCn

ForwardingBaseAdmin

Line Card

HostComposite

ASR 9000Šasije


Šasije

ASR 9010� 10 slotova

8 linijskih kartica2 RSP-a

� Visina 21 RU� AC i DC napajanje


� AC i DC napajanje� Protok vazduha spreda prema

pozadi

ASR 9006� 6 slotova

4 linijskih kartica2 RSP-a

� Visina 10 RU� AC i DC napajanje


� AC i DC napajanje� Protok vazduha sa strane

Elementi ASR 9010 i ASR 9006 šasijaVoñice za kablove sa poklopcem

RSP (0-1)

Protok vazduha spreda-pozadi

Ventilatori

Linijske kartice

Protok vazduha sa strane


Linijske kartice(0-3, 4-7)

Ventilatori

Šest modularnih napajanjaTri modularna

napajanja

RSP (0-1)

Linijske kartice(0-3)

Ulaz vazduha

Voñice za kablove

ASR 9010 napajanje i hlañenje� Kapacitet hlañenja po slotu od

750W � Dvostruki horizontalni

ventilatori ispod linijskih kartica� AC napajanja od 3kW

LINECARD


� DC napajanja od 2kW ili 1.5 kW

� Konfiguracije napajanja:Predviñeno 5+1 DC ili 3+3 ACTrenutno 3+1 DC ili 2+2 AC

FAN

AIR

PWR

DS

Redundansa ASR 9000 hardvera� Redundantni RSP/Fabric� Redudantna napajanja� Redundantni ventilatori� Hardverska podrška za Master/Slave RSP arbitraciju� Hardverska podrška za notifikaciju RSP switchover-a


� Hardverska podrška za notifikaciju RSP switchover-aostatku sistema� Redundantne EOBC (~upravljački Ethernet) putanje; svaka linijska kartica ima po jedan GE link prema svakom RSP-u;� OIR LK/RSP/Ventilatora nema uticaja na operaciju

fabric-a tako da nema gubitka paketa

ASR 9000RSP & Fabric


RSP & Fabric

RSP� Vrši funkcije kontrolne ravni (control plane) i upravljanja� Dual Core CPU sa 4GB DRAM-a� 2MB NVRAM, 2GB interni bootdisk, 2 eksterna CF slota� Dva Out-of-band 10/100/1000 interfejsa za nadzor i upravljanje� Konzolni i AUX port� USB portovi za prenos fajlova� Hard disk od 40GB


� Hard disk od 40GB

Konzolni portAUX portEthernet OOB

portovi

ALARMBITSCF slotovi Statusne LED

Statusne LED

Timing Domain

Arhitektura RSP-a

CPU

4GB MEM

HDDCF card

Ether

Clock TimeFPGA

BITS

Mgt Eth


CPU Complex Fabric Interface

EOBC/Control Plane GE

CPU

I/O FPGA

Mgt EthConsole

PuntFPGA

NVRAM Boot Flash

EtherSwitch

Front Panel

Arbitration4G CFAux

AlarmCrossbarFabricASIC

ArbitrationFabricInterface

CrossbarFabricASIC

ASR 9000 fabric

� Fizički se nalazi na RSP-u ali je logički potpuno odvojen

� Sadrži centralni arbitar za upravaljanje pristupa fabric-u

� Četiri klase za diferencijaciju saobraćaja na ulasku u fabric:


fabric:Dve prioritetne klase (P1, P2)Dve best effort klase (BE)

� Sprečava HOLB (Head Of Line Blocking) pomoću VOQ mehanizma

� Razdvojeni redovi za unicast i multicast saobraćaj

ASR 9000 fabric ASIC-i (1)� Fabric se sastoji od dva Crossbar Fabric ASIC-a; � 40Gbps linijska kartica i RSP ima jedan ASIC za

interfejs sa fabric-om (Fabric Interface ASIC);80 Gbps linijska kartica će imati dva takva ASIC-a

� Svaki Fabric Interface ASIC ima po jedan 23 Gbps kanal prema svakom Crossbar Fabric ASIC-u


kanal prema svakom Crossbar Fabric ASIC-u

ASR 9000 fabric ASIC-i (2)

CrossbarFabricASIC

CrossbarFabricASIC

ArbitrationFabric Interface Fabric Interface

and VOQRSP0

23 Gbps po fabric kanalu8x23Gbps =184Gbps sa 2xRSP4x23Gbps=92Gbps sa 1xRSP


RSP1

Single-Fabric 40G Linecard

Arbitration

CrossbarFabricASIC

CrossbarFabricASIC

Fabric Interfaceand VOQ and VOQ

Fabric Interfaceand VOQ

Dual-Fabric 80G Linecard

RSP0

4x23Gbps =92Gbps sa 2xRSP, 2x23Gbps=46Gbps sa 1xRSP

Fabric Load SharingCrossbarFabricASIC

CrossbarFabricASIC

ArbitrationFabric Interface

and VOQFabric Interface

and VOQRSP0 4 3 2 1


RSP1

Arbitration

CrossbarFabricASIC

CrossbarFabricASIC

� Unicast saobraćaj se šalje kroz prvi dostupan link prema fabric-u� Svaki ASIC za interfejs prema fabric-u sadrži logiku za re-sekvenciranje frejmova; kašnjenje u

resekvenciranju se meri u nanosekundama

Super-frejming mehanizam� Više unicast frejmova (do 32) prema istom odredištu

se može agregirati u jedan super frejm� Značajno poboljšava ukupan protok prema fabric-u

Packet 1


MaksimalniSuper frejm

Packet 1

Packet 1Packet 2Packet 3

MinimalniSuper frejm

Packet 1Packet 2

Arbitracija u fabric-u� Pristup fabric-u se kontroliše pomoću centralnog arbitracionog ASIC-a

� U jednom trenutku samo jedan arbitracioni ASIC vrši arbitraciju� Algoritam arbitracije prepoznaje QoS i obezbeñuje da da P1 klasa ima prioritet prema P2 klasi pre čemu obe te klase imaju prioritet prema neprioritetnim klasama


� Arbitracija obezbeñuje jednak pristup propusnom opsegu svim linijskim karticama

� Arbitracija se vrši relativno prema izlaznom (egress) NPU na izlaznoj linijskoj kartici

Virtualni Izlazni Redovi (Virtual Output Queues – VOQs)

� Kapacitet fabric kanala prema izlaznom modulu se reprezentuje sa Virtualnim Izlaznim Redovima (Virtual Output Queues – VOQs) na ulazu u fabric sa ulaznog modula

� Izlazni modul sadrži po jedan VOQ za svaku od četiri klase saobraćaja svakog NPU-a na izlaznom modulu:


klase saobraćaja svakog NPU-a na izlaznom modulu:Jedan NPU obuhvata:Jedan fizički10G port (neblokirajuća linijska kartica)Dva fizička10G porta (blokirajuća linijska kartica)Deset 10/100/1000 portova

� Za svaki primljeni paket, arbitar odreñuje da li za njega ima mesta u odgovarajućem VOQ ili ne

VOQ-evi i izlazni fabric redovi

DRRDRR

DRR

Port 0

Port 1

Port 2

Egress SchedulerCrossbarFabricASIC

CrossbarFabricASIC

Arbitration

RSP0

DRRDRR

DRR

Slot 0/Port 0

Slot 0/Port 1

.

.

Ingress Scheduler


136 ulaznih VoQ-ova:8 odredišnih LK * 4 10G portova/LK * 4 klasa/port** == 128 VoQ-ova2 odredišna RSP-a * 1 10G port/RSP * 4 klasa/port == 8 VoQ zaRSP-eve4 reda za multicast

EgressFabric Interface ASIC

DRRDRR

DRRPort 2

Port 3

Multicast

Egress Scheduler

20 izlaznih redova:4 klasa/port * 4 porta/LK (unicast) == 164 multicast klasa == 4

RSP1

Arbitration

CrossbarFabricASIC

CrossbarFabricASIC

IngressFabric Interface ASIC

DRRDRR

DRR

Slot 9/Port 2

Slot 9/Port 3

Multicast

Ingress Scheduler

ASR 9000Linijske kartice


Linijske kartice

ASR 9000 linijske kartice (1)� Trenutno dostupne linijske kartice:

4x10GE40x1GE8x 10GE (2:1 oversubscription)

� IP, Ethernet, MPLS A9K-8T/4-E


� IP, Ethernet, MPLS L2VPN/L3VPN servisi� 1M IPv4 ruta� 1M MAC adresa� 32000 L2/L3 interfejsa� 384k redova

A9K-40GE-B

A9K-4T-B

ASR 9000 linijske kartice (2)� Memorijske varijante:

BaseExtended (isti broj ruta, 2x više interfejsa, 3x više redova)

A9K-8T/4-E


A9K-40GE-B

A9K-4T-B

A9K-8T/4-E Extended memory option8 port Ten Gig

40Gig line rate network processor

Komponente ASR 9000 linijskih kartica� ASIC za interfejs prema fabric-u

Sadrži jedan bidirekcioni 23 Gbps kanal prema svakom Crossbar Fabric ASIC-uSa dva RSP-a u sistemu, svaka linijska kartica ima 4x23 Gbps=92 Gbps propusnog opsega kroz fabricSadrži tabelu za replikaciju multicast saobraćaja i vrši replikaciju prema Bridge FPGA

� Bridge FPGAPovezuje NPU i ASIC za interfejs prema fabric-u; vrši konverziju izmeñu NPU zaglavlja i fabric zaglavljaSadrži hardverske redove za sistemski QoS


Sadrži hardverske redove za sistemski QoSSadrži tabelu za replikaciju multicast saobraćaja i vrši replikaciju prema NPU-ovima

� Trident NPU (Network process unit)Glavni procesor paketa, vrši L2 i L3 lookup kao i replikaciju multicast saobraćaja

� CPUIstovetan CPU kao na RSP-uOdreñeni protokoli kao BFD, CFM, ARP se distribuiraju na CPU-ove linijskih karticaLokalni proces dobija FIB tabelu sa RP-a i programira hardverske tabele na NPU, Bridge FPGA-u i Fabric interface ASIC-u

Arhitektura A9K-4T-B linijske kartice

10GE PHYNPU 0

Bridge

CPU

2GB memory2GB flash

XFP 3

Example: A9K-4T-B

CrossbarFabricASIC

CrossbarFabricASIC


via backplane

10GE PHY

10GE PHY

10GE PHY

NPU 1

NPU 2

NPU 3

Bridge FPGA 0

Bridge FPGA 1

GigE EOBC

Network Clocking

XFP 2

XFP 1

XFP 0

RSP1

Arbitration

CrossbarFabricASIC

CrossbarFabricASIC

Arbitration

RSP0

FabricInterface

Arhitektura A9K-8T/4-B linijske kartice

10GE PHY

10GE PHYNPU 0

Bridge

CPU

2GB memory2GB flash

XFP 3

XFP 7

Example: A9K-8T/4-B ~1.5:1 over-subscribed

CrossbarFabricASIC

CrossbarFabricASIC

4x15Gbps

30Gbps

30Gbps,29Mpps uni-directional per NPU


via backplane

10GE PHY

10GE PHY

10GE PHY

10GE PHY

10GE PHY

10GE PHY

NPU 1

NPU 2

NPU 3

Bridge FPGA 0

Bridge FPGA 1

GigE EOBC

Network Clocking

XFP 2

XFP 6

XFP 1

XFP 5

XFP 0

XFP 4

RSP1

Arbitration

CrossbarFabricASIC

CrossbarFabricASIC

Arbitration

RSP0

FabricInterface

4x23Gbps fabric bandwidth

2x30Gbps

30Gbps

60Gbps

Trident Network Process Unit (NPU)

� 10 Gbps bidirekcioni protok sa uključenim servisima-

TRIDENT NPU-

STATS QDR MEMORY

FRAME MEMORY

LOOKUP MEMORY

TCAME

FIB MAC


� 10 Gbps bidirekcioni protok sa uključenim servisima� Četiri pridružene memorije:

TCAM memorija se koristi za VLAN tag, QoS i ACL klasifikacijuLookup memorija čuva FIB tabelu, tabelu MAC adresa i CEF susedstvaStats QDR memorija čuva statistike interfejsa itd.Frame memorija je bafer za sve redove

� Base i Extended memorijske opcije imaju istu veličinu Lookupmemorije (tj. maksimalni broj ruta) ali različite veličine ostalih memorija

ASR 9000Arhitektura prosleñivanja


prosleñivanja saobraćaja

Prosleñivanje paketa na ASR 9000� Prosleñivanje paketa je u potpunosti

distribuirano na linijske kartice� Two-stage prosleñivanje:

Prvi (ulazni) lookup se radi na ulaznoj linijskoj kartici i daje izlazni Switch Fabric Port (SFP)


izlazni Switch Fabric Port (SFP)Drugi (izlazni) lookup se radi na izlaznoj linijskoj kartici i daje izlazni fizički port

� ARP/CEF Adjacency informacija je lokalna na kartici

Put paketa – ulazna linijska kartica

NPU 0

CrossbarFabricASIC

CrossbarFabric

13

2

Prvi lookup na ulaznom NPU-u; vraća odredišni NPU (Switch Fabric Port – SFP)


NPU 1

NPU 2

NPU 3

Bridge FPGA 0

Bridge FPGA 1

RSP1

Arbitration

ASIC

CrossbarFabricASIC

CrossbarFabricASIC

Arbitration

RSP0

FabricInterface

4 5

Put paketa – izlazna linijska kartica

NPU 0

CrossbarFabricASIC

CrossbarFabric

Drugi lookup se vrši na izlaznom NPU; vraća odredišni port kao i informacije za packet rewrite

4

35


NPU 1

NPU 2

NPU 3

Bridge FPGA 0

Bridge FPGA 1

RSP1

Arbitration

ASIC

CrossbarFabricASIC

CrossbarFabricASIC

Arbitration

RSP0

FabricInterface

12

ASR 9000Prosleñivanje L3 paketa


paketa

Pregled L3 kontrolne ravni

LDP RSVP-TEBGP

ISIS

OSPF

EIGRPStatic

LSD RIB RP


FIB Adjacency

LC NPU

ARP

AIBSW FIB

LC CPUAIB: Adjacency Information BaseRIB: Routing Information BaseFIB: Forwarding Information BaseLSD: Label Switch Database

rx-adj

from wireIngress NPU

Prosleñivanje L3 paketa

TCAM rxIDB L3FIB rx-TE-adj rx LAG

Packet classification

source interface information

L3 FIB lookup

Next-hopECMP load balancing

LAG hashingTE next-

hop

Packet rewriteAdding NP header

rewriteSFPswitch fabric port (egress NPU)

SFP: switch fabric port = egress NPU, tell the system where to forward the packet


Egress NPU

L3FIBtx-adjTE-NH-adjtx-adj

rewrite

txIDB

NP TypeL3_UNICASTMPLS_LER

MPLS_LER_DISP…

L3 FIB lookupTE-NH-

adjtx-adjtx LAG Next-hop

ECMP load balancing (from

ingress hashing result)Backup TE

Primary TEdestination interface info

to wire

Fabric

LAG hashing

NP type: tell egress NPU the type of lookup it should execute, such as L3 unicast lookup, MPLS label switch, MPLS label disposition, etc

ASR 9000Prosleñivanje L2 paketa


paketa

Prosleñivanje L2 paketa� L2 servisi:

Point-to-point; prenos frejmova izmeñu dva logička porta bez učenja MAC adresaMulti-point; bridžovanje izmeñu dva logička porta bazirano na naučenim MAC adresama; logički port je lokalni L2 interfejs ili VPLS/EoMPLS PW

� L2 strukture:


� L2 strukture:XID – logički interfejs; loklani XID je lokalni L2 (pod)interfejs ; globalni XID je PW ili link bundleL2VPN LDI (loadinfo); ako je logički port PW onda mu se pridružuje L2VPN LDI za impoziciju MPLS labele i prosleñivanjeTabela bridž domena; sadrži listu logičkih interfejsa na NPU-u i pointer na tabelu MAC adresaTabela MAC adresa

TCAM rxIDB



L2VPN next-hop

SFP+XID

L2VPN LDI SFPNormal L3 MPLS

forwarding, EoMPLS label imposition

AC

XID txIDB

AC

To-AC

To-PW

Prosleñivanje L2 paketa u point-to-point servisima


L3 FIB

L3 FIB lookup

L2VPN next-hop

SFP+XID

L2VPN LDI SFP

Normal L3 MPLS forwarding, VC and IGP label swap

PWL3 FIB

Normal L3 MPLS label switching

PWTo-AC

To-PW

Fabric

Label deposition

TCAM rxIDB



L2VPN next-hop

SFP+XID

L2VPN LDI SFPNormal L3 MPLS

forwarding, EoMPLS label imposition

AC

XID txIDB

AC

To-AC

To-PWMAC+BD

MAC and BD

lookup

Prosleñivanje L2 paketa u multi-point servisima


L3 FIB

L3 FIB lookupEoMPLS label deposition

L2VPN next-hop

SFP+XID

L2VPN LDI SFP

Normal L3 MPLS forwarding, EoMPLS label imposition

PWL3 FIB

Normal L3 MPLS label switching

PWTo-AC

To-PWMAC+BD

MAC and BD

lookup

Fabric

TCAM rxIDB



AC

XID txIDB

ACMAC + BDMAC and Bridge-Domain lookup

FGID+MGID

BD

Bridge-Domain lookup

Flooding L2 paketa u multi-point servisima


L3 FIBPW

L2VPN LDIEoMPLS label

imposition and MPLS forwarding

PW

MAC + BDMAC and

Bridge-Domain lookup

flooding replication

Replicate per bridge port (AC or PW)L3 FIB lookup

EoMPLS label deposition

Fabric

FIGD – Fabric Group IDMGID – Multicast Group IDUsed for efficient multicast/flooding packet replication, refer to “multicast architecture”

ASR 9000Prosleñivanje multicast paketa


multicast paketa

ASR 9000 multicast arhitektura� Kontrolna ravan

Svi multicast protkoli se izvršavaju na RP-uCPU na linijskoj kartici obrañuje posebne multicast pakete (softverskoprosleñivane)

� Ravan prosleñivanja podatakaMulticast prosleñivanje je u potpunosti distribuirano na linijske karticeTwo stage prosleñivanje


� Hardverska replikacija paketaReplikacija multicast paketa se vrši unutar fabric-a odnosno izlazne linijske kartice; ulazna linijska kartica nikad ne vrši replikacijuMulticast paketi se repliciraju isključivo u hardveru; multicast je line rate i u slučaju potpuno popunjene šasije

� L2 vs. L3 multicastL2 i L3 multicast imaju razdvojene kontrolne ravni ali zajedničku ravan podataka

Pregled L3 multicast kontrolne ravni� PIM i IGMP paketi se šalju direktno na RSP CPU� RSP CPU ažuira MRIB tabelu� MRIB tabela se distribuira na LK gde se zapisuje u

MFIB tabelu; na osnovu MRIB tabele se kreira FPOE tabela na fabric-u koja definiše replikaciju kroz fabric

� CPU na linijskoj kartici programira MGID (Multicast


� CPU na linijskoj kartici programira MGID (Multicast Group ID) tabele na Fabric ASIC-u, FPGA-ovima i NPU-ovima koja definiše replikaciju na tim elementima

LC2T0

B0FabricInterface

T1

Replikacija u Fabricu �repliciranje paketa na izlaznu LK prema FGID & FPOE tabelama

Replikacija u Frabric interface ASIC-u� repliciranje paketa na Bridge FPGA prema MGID tabeli

Replikacija u Bridge FPGA� repliciranje paketa na NPU prema MGID tabeli

Replikacija u NPU� repliciranje paketa na izlazne portove

1 2 3

4

LC1T0

Replikacija multicast paketa


FabricInterface

B1 T2

T3

IGMP joinsMulticast Source

portove

Switch Fabric

1 23

4

T0B0

FabricInterface

B1

T1

T2

T3 LC3T0

B0FabricInterface

B1

T1

T2

T3

FGID MGIDMGID

FIGD – Fabric Group IDMGID – Multicast Group IDFPOE – Fabric Point of Exit

IGMP joins 2MGID3

MGID

4

4

IGMP joins

Miercom ASR9000 Test Report


http://www.miercom.com/dl.html?fid=20090827&type=report

Cisco Networkers 25-28. januar 2010.BarselonaRegistrujte se



Date post:	28-Mar-2020
Category:	Documents
Upload:	others
View:	8 times
Download:	0 times

Cisco ASR 9000 · ASR 9000 fabric Fizički se nalazi na RSP-u ali je logički potpuno odvojen...

Documents