電信網路的難題

• 規格不一(T-Carrier/E-Carrier/SDH...)

• 多種協定架構(ATM/Frame Relay/ISDN...)

• 管理困難• 查修及維護困難度高，需大量人力• 需要同步信號

2

PSTN TopologyIP

IP Phone

IP

IP Phone

User

Service

Routing

PSTN

3

PSTN Protocols Stack

Internet

Coxal Cabling

SDH

ATM TDM

DSL POTSLeaseLine

A/VServices

IP

VPN

Dialup

IPTVServices

NetworkServices

VoIPServices

Optical CablingWireless Cabling

PrivateNet

4

SDH Add Drop Mux

5

SONET/SDHADM-MSPP

6

T1 to E1 Translate

7

Carrier Frame SizeFrame Size Payload Speed Ratio

T1

T2

T3

E1

E2

E3

OC1/STM0

OC3/STM1

OC12/STM4

OC48/STM16

OC192/STM64

OC768/STM256

193 1536 1544 99.48%

1176 6144 6312 97.34%

4760 43008 44736 96.14%

240 1920 2048 93.75%

848 7680 8448 90.91%

1536 30720 34368 89.39%

6480 49536000 51840000 95.56%

19440 149760000 155520000 96.30%

77760 600768000 622080000 96.57%

311040 2404800000 2488320000 96.64%

1244160 9620928000 9953280000 96.66%

4976640 38485440000 39813120000 96.67%

8

Virtual Line

9

Ethernet Frame Format

Premble DA SA Type Payload FCS

1518 bytes

8 byte 6 byte 6 byte 2 byte 46-1500 byte 4 byte

Premble DA SA 0x8100 FCS

1522 bytes

8 byte 6 byte 6 byte 2 byte 46-1500 byte 4 byte

Type

2 byte

CoS PayloadVID

2 byte

Premble DA SA 0x88A8 FCS

1526 bytes

8 byte 6 byte 6 byte 2 byte 46-1500 byte 4 byte

Type

2 byte

CCoS Payload

CVID

2 byte

PCP/DES

VID

2 byte

Premble DA SA0x88E7 FCS

1536 bytes

8 byte 46-1500 byte 4 byte

Type

2 byte

CCoS Payload

CVID

2 byte

SCoSB-DA B-SA

6 byte 6 byte

0x88A8 I-SID

2 byte

Ethernet II Frame

CFI

0x8100

2 byte

CFI

0x8100

2 byte

CFI

CFI

BCoS

BVID

CFI

2 byte 2 byte 2 byte 3 byte 6 byte 6 byte

Premble DA SA Length Payload FCS

1518 bytes

7 byte 6 byte 6 byte 2 byte 46-1500 byte 4 byte

SFD

10

Ethernet Frame Evolution

Payload

SA

DA

Payload

VID

SA

DA

Payload

S-VID

SA

DA

C-VID

Payload

S-VID

SA

DA

C-VID

B-VID

B-SA

B-DA

I-SID802.3 802.1Q 802.1ad

802.1ah

Provider backbone bridges

Provider bridgesVirtual LAN

SA: Source MAC addressDA: Destination MAC addressVID: VLAN IDC-VID: Customer VIDS-VID: Service VIDI-SID: Service IDB-VID: Backbone VIDB-DA: Backbone DAB-SA: Backbone SA

11

Frame Semantic

• VLAN Cross Connect identifier has local port scope

• Frame format as defined in IEEE 802.1Q

• VLAN Cross Connect tagged frame allows up to 4K VLANs per port

Destination MAC Source MAC TPID Ether Type / Len Data FCSTCI

PCPCFI

VXC ID12-bit VLAN Cross Connect IDup to 4K VLANs per port

VXC-TAG

12

Service Model

• At the boundary of the VLAN-XC domain, the VLAN ID of the outer tag (C-tag or S-Tag) can be used to associate the frame with a particular VLAN-XC connection.

• If required, the outer tag (C-tag or S-tag) is preserved and transparently transported within the VLAN-XC domain

Destination MAC Source MAC Ether Type / Len Data FCSC-tag

Destination MAC Source MAC Ether Type / Len Data FCSS-tag C-tag

13

• Extended VLAN Cross Connect

• Frame Format as defined in IEEE 802.1ad

• VLAN Cross Connect tagged frame allows up to 16M VLANs per port

Frame Semantic

Destination MAC Source MAC TPID Ether Type / Len Data FCSTCI

PCPCFI

VLAN ID

TPID TCI

PCPCFI

VLAN ID

EVXC ID24-bit VLAN Cross Connect ID

up to 16M VLANs per Port

EVXC-TAG

14

VLAN Cross Connect with CE-VLAN Preservation Example

Destination MAC

Source MAC

CE-VLAN

Destination MAC

Source MAC

VXC=1024

CE-VLAN

Destination MAC

Source MAC

VXC=236

CE-VLAN

Destination MAC

Source MAC

VXC=2636

CE-VLAN

Destination MAC

Source MAC

CE-VLAN

L2

Frame

L2

Frame

L2

Frame

L2

Frame

L2

Frame

VLAN Cross Connect Connection

PE-Node PE-NodeP-NodeP-Node

Port 6Port 3 Port 2 Port 8 Port 4 Port 12 Port 6 Port 9

15

Extended VLAN Cross Connect Example

Destination MAC

Source MAC

CE-VLAN

Destination MAC

Source MAC

EVXC=12045

CE-VLAN

Destination MAC

Source MAC

EVXC=645

CE-VLAN

Destination MAC

Source MAC

VXC=15320

CE-VLAN

Destination MAC

Source MAC

CE-VLAN

L2

Frame

L2

Frame

L2

Frame

L2

Frame

L2

Frame

VLAN Cross Connect Connection

PE-Node PE-NodeP-NodeP-Node

Port 6Port 3 Port 2 Port 8 Port 4 Port 12 Port 6 Port 9

16

Scalability

• VLAN Cross Connect can be naturally extended to work with hierarchical domains using tunneling

• Uses standard VLAN stacking

MACEVXCTag

MACEVXCTag

MACEVXCTag

MACEVXCTag

MACEVXCTag

EVXCTag

MACEVXCTag

EVXCTag

Level n+1

Level n Level n

17

Ethernet Jumbo Frame一般的 Ethernet Frame Size 是以資料長度 1500 bytes 加上 18 bytes 的表頭所組成的。不論是 10Mbps 或是 10Gbps 都因為相容需要，而使用相同的 MTU。會選擇使用 1500bytes 的長度是因為早期的 10Mbps 的 Ethernet 使用 CSMA/CD 及同軸電纜，傳輸錯誤率並不低，若傳輸有錯誤發生時，所需重送的資料量就比較大，而且大的 Frame Size 代表傳送及接收時，都需要大量的記憶體作為 Buffer。但以今日的記憶體及處理器，相對網路傳輸速度需求而言，是較低的價格，而且利用光纖傳輸的品質，比銅纜好很多，所以將 Frame Size 放大是可以預見的。在 Internet 2 (I2) 的骨幹網路上就已經測試使用 4KByte和9KByte 的Jumbo Frame 多年。

而且其他非Ethernet的協定也都使用較大的Frame Size，若Ethernet也使用較大的Frame Size可以減少封包的切割，並可加快傳輸速度。

18

Media Type Speed Frame MTU Maximum Frame Length

Ethernet 10 Mbps 1500 1518

802.3 10 Mbps 1518 1536

802.3u 100 Mbps 1518 1536

802.3z/ab 1 Gbps 1518 1536

802.3ae/an 10 Gbps 1518 1536

802.3ba 100 Gbps 1518? 1536?

802.5 4 Mbps 4528 4550

802.5 16 Mbps 18173 18200

802.5 100 Mbps 18173 18200

802.11g 54 Mbps 2312 2346

FDDI 100 Mbps 4352 4470

Fiber Channel 2 Gbps 65280 65280

POS/OC48 2.5 Gbps 9180 9180

ATM/AAL5 9180 9180

Standard Frame Size

19

Jumbo Frame Benefit

• Lower Overhead of Packets

• High Utilization of Connection

• High Transmission Rate

• Low CPU Utilization

• Improved Performance of Transmission

20

Jumbo Frame Requirement

• Low Transport Error Rates

• High Speed Connection

• Hardware Buffer Size Limitation

• Long Size of Packet Aware

21

Jumbo Frame Problem

• Conjunction occur problem

• Short Size Packets

• Transmission Error problem

• Difficult to QoS

• Large Hardware Buffer

• Longer Delay

22

Ethernet Jumbo Frame

1.5K Frame = 1500 * 8 + 368 = 12368 bit4K Frame = 4000 * 8 = 32000 +368 bit9K Frame = 9000 * 8 = 72000 +368 bit16K Frame = 16000 * 8 = 128000 +368 bit32K Frame = 32000 * 8 = 256000 +368 bit64K Frame = 64000 * 8 = 512000 +368 bit

FrameSize (in bit)=IFG+SFD+DMAC+SMAC+Q+Q+Length+Payload+FCS=(96/8)+8+6+6+4+4+2+Payload+4=46+Payload=368+(Payload*8)

23

Frame Speed

Frame Size Ratio 10Mb10Mb 100Mb100Mb 1Gb1Gb 10Gb10Gb 100Gb100Gb

Frame/Sec Throughput Frame/Sec Throughput Frame/Sec Throughput Frame/Sec Throughput Frame/Sec Throughput

0.046K

1.5K

4K

9K

16K

32K

64K

736 50.00% 13587 5000000 135870 50000000 1358696 500000000 13586957 5000000000 135869565 50000000000

12368 97.02% 809 9702458 8085 97024580 80854 970245796 808538 9702457956 8085382 97024579560

32368 98.86% 309 9886307 3089 98863075 30895 988630746 308947 9886307464 3089471 98863074642

72368 99.49% 138 9949149 1382 99491488 13818 994914880 138183 9949148795 1381826 99491487950

128368 99.71% 78 9971332 779 99713324 7790 997133242 77901 9971332419 779010 99713324193

256368 99.86% 39 9985646 390 99856456 3901 998564563 39006 9985645634 390064 99856456344

512368 99.93% 20 9992818 195 99928177 1952 999281766 19517 9992817662 195172 99928176623

24

因為現在的 CPU大都使用中斷方式，處理因正常處理程序執行之外發生的事件，利用中斷可以有效的處理在相同的時間，發生事件而引發需執行的不同程序。假設網路處理單元需要 1000 個 CPU clock cycle 處理一個中斷服務，而中斷可以占用所有計算資源的一半。

當10Mb ethernet 使用最大為1500 byte 的 Frame size，最多產生每秒 810 個中斷，所以至少需要的處理速度為 1.6MHz。 810x1000x2=1620000=1.6MHz

而以10Gb Ethernet 而言，使用 1500byte Frame 就需要 1.6GHz。 808538x1000x2= 1617076000=1.6GHz.

若是使用 64Kbyte Frame 的話卻只需要 39MHz。 19517x1000x2=39034000Hz=39MHz.

若是 100Gb ethernet 使用 1500byte Frame 的話需要 16GHz。 8085382x1000x2=16170764000=16GHz.

但換成 64Kbyte Frame 只需要 390MHz。 195172x1000x2=390344000=390.34MHz

這樣使得使用較低階的 CPU 傳送全速 100Gb 的資料成為可能。

25

但是為何 Jumbo Frame 沒有全面取代原本的1500byte 的 Ethernet frame size ?

原因除了要向前版相容，以免因換用 Jumbo Frame 而需要將全部的網路設備更換。還有就是因為換了較大的 Frame Size 而造成 Buffer 變小，而有可能原本更換為 Jumbo Frame 是要加快傳輸速度，結果可能因為 Buffer 變小而反而變慢。

但為何 Line Speed 的 Switch 需要使用到 Buffer ?

事實上因為在 Switch 時會需要查 Forwarding Table 及對 Frame 作一些錯誤防止的處理，所以利用內部的 Buffer 先將資料暫存，等到檢查無誤之後，再傳送。或者是因為 QoS 的考慮，而需要將具有高優先的資料先行傳送，而低優先的資料，就只有先暫存在 Buffer 中了。

26

例如原本使用 1500byte 時，網路設備的 Buffer 最多可以暫存256個 Frame 的資料。 1500x256=384000=384KByte ，而以一部 24 port 的 Lan switch 來說也只要 384x24=9216=9.216MByte 的空間就可以了，換成每片4Mbit 的晶片，三片就可以工作得很好。這樣的空間可以處理10Mbit Ethernet大約一秒的 delay。但是換成 4K Jumbo Frame 時就只有 384000/4000=96個 Frame，而換成 9K Frame 只有 384000/9000=42個Frame，而 16K Frame 只有 384000/16000=24個 Frame。

以原本的設計，因 QoS 設計，區分為 4 個等級時，每個 Queue 還可以放 256/4=64 個 Frame ，這樣子在 QoS 的調整上還足以應付需求。 若為 9K Frame 時，每個 Queue 只可以放 10 個 Frame 的資料，而 16K Frame 更只有24/4＝6 個，這樣 Buffer 很容易就會滿了，而發生資料遺失。所以要使用 Jumbo Frame 時，在設計 QoS 時需要注意到這些細節作調整。

27

Line Protection

28

STP Multiple Path Protection

29

Ring Protection

30

RPR Station Structure

31

RPR Architecture

32

RPR Operation

Failure Bandwidth Allocation

33

ITU-T G.8032 Topology

34

Line Protection Summary

反應時間 頻寬效率 架構 硬體需求

STP ＞50ms 一般 Loop None

RPR <50ms 高 Ring Need

ERPS <50ms 一般 Loop None

35

OAM Standards

• IEEE standards 802.3ah EFM OAM for access link

• IEEE standards 802.1ag CFM - Connectivity Fault Management on link layer

• ITU Y.1730 / Y1731 Ethernet OAM

• MPLS OAM

• MEF-16 OAM

36

Fault Fault Detection

Fault Notification

Fault Verification

Fault Isolation Repair Repair

Verification

Link

ServiceTransportService

Transport

ServiceLevel

Agreement

802.3ahEFM OAM SNMP

802.3ahEFM OAM

802.3ahEFM OAM RSTP

802.3ahEFM OAM

IEEE 802.1ag CFM / ITU-T Y.1731IEEE 802.1ag CFM / ITU-T Y.1731IEEE 802.1ag CFM / ITU-T Y.1731IEEE 802.1ag CFM / ITU-T Y.1731 MSTP802.1agY.1731

MPLS VCCD/BFDMPLS VCCD/BFDMPLS VCCD/BFDMPLS VCCD/BFD MSTP LSP Ping

MEF Service OAMMEF Service OAMMEF Service OAMMEF Service OAM MEF

OAM Protocol Matrix

37

Access CustomerAccessCoreCustomer

Service Provider

802.3ah802.3ah

End to End OAM

802.1ag

802.1ag 802.1ag 802.1ag

CE CEU-PE U-PE

OperatorDomain

OperatorDomain

OperatorDomain

OAM in networks

38

IEEE 802.3ah OAM

• Define in IEEE 802.3ah Ethernet First Mile section 57.

• Use MAC sublayer multicast slow protocol

• Monitor link operation

• Remote fault indication

• Remote loopback control

39

OAM functions

• Auto discovery

• Unidirectional fault signaling

• Remote loopback test

• Link monitoring

• Critical Events

• Layer 2 variable retrieval

• Organization specific extensions

40

OAM Sublayer Block

Multiplexer Parser

Control

MAC Data request MAC Data Indication

MAC Data IndicationMAC Data request

OAM requestLoopback Frame

CTRL OAM request CTRL OAM Indication

OAM CTRLRequest

OAM CTRLIndication

OAM PDUIndication

OAM PDURequest

OAM Sublayer block diagrom

41

OAM Remote Loopback

Physical

MAC

MAC Control

OAM

OAMClient

MACClient

Physical

MAC

MAC Control

OAM

OAMClient

MACClient

Medium

LocalDTE

RemoteDTE

OAM Remote Loopback

42

IEEE 802.1ag CFM

• Continuity Check packet type

• Layer 2 Ping packet type

• Layer 2 Trace Route packet type

• Per services fault isolation with VLAN

• Uses domains to contain OAM flows and bound OAM responsibilities

43

ITU-T Y.1731

• Alarm Indication Signal (Eth-AIS)

• Remote Defect Indication (Eth-RDI)

• Locked Signal (Eth-LCK)

• Test Signal (Eth-TEST)

• Performance Monitoring (Eth-PM)

• Frame Loss Measurement (Eth-LM)

• Frame Delay Measurement (Eth-DM)

44

MPLS OAM

• Label Switched Path (LSP) Ping

• Label Switched Path (LSP) Traceroute

• Virtual Circuit Connection Verification (VCCV)

• Bi-directional Forwarding Detection (BFD)

• Fast Re-Route

45

MFE OAM

• Point to point Ethernet Virtual Circuit (EVC) Performance Monitoring (PM)

• Point to multi-point EVC PM

• Multi-point to multi-point EVC PM

• EVC Fault management

46

PWE3 Reference Model

CE1 PE1 CE2PE2

Emulated Service

PSN Tunnel

Pseudo Wire

Customer Edge 1 Customer Edge 2

Provider Edge 1 Provider Edge 2

PW1

PW2

Attachment Circuit Attachment Circuit

PWE3 reference model

Physical Link Physical LinkLogical Link

Reference Clock

47

Protocol Stack Reference ModelEmulated Service

TDM/ATM/FR/Ethernet

PayloadEncapsulation

PSN

PW Demultiplexer

PSN Tunnel

PSN

Physical Layers

Emulated ServiceTDM/ATM/FR/Ethernet

PayloadEncapsulation

PW Demultiplexer

PSN Tunnel

PSN

Physical Layers

PSN Tunnel

Pseudo Wire

Emulated Service

PWE3 Protocol Stack Reference Model

48

TDMoIP for UDP/IPIP Header

Length

Flags

IP TOS

Identification

IP Version Total Length

Fragment Offset

Time to Live Protocol IP Header Checksum

Source IP address

Destination Ip address

Source Port Number Destination Port Number

UDP ChecksumUDP Length

PT RTP Sequence Number

Timestamp

SSRC Identifier

Sequence Number

Adapted Payload

RTV P X CC M

RES L R M RES Length

TDMoIP Packet format for UDP/IP

RFC-5087

49

NS-2Simulation

50

Simulation Parameters

• 1.5/4/9/16Kbps Frame Size

• 10/100/1000/10000 Packets Queue Size

• 10Mbps for 64Kbps DS0

• 100Mbps for 1.544/2.048Mbps T1/E1

• 1Gbps for 44.736/34.68Mbps T3/E3

• 10Gbps for 155.52Mbps STM1

• 80% Bandwidth

51

Sim Throughput

52

53

54

55

56

57

58

Sim Delay

59

60

61

62

63

64

65

Sim Loss

66

67

68

69

70

71

72

Simulation Result

Connections

DS0 125

T1/E1 51/39

T3/E3 17/23

STM1 51各項測試表現以1000<Queue Size <10000 為最佳

80% DS0 in Structure DS0 Only

Performance

10Mbps 125 125 100%100Mbp

s1224/1170 1250 97.92%/93.6%

1Gbps 11424/11040 12500 91.4%/88.32%

10Gbps 102816 125000 82.26%

10Gbps Ethernet以80%頻寬傳輸125000 DS0，若是附加到STM1 Frame則只有102816 DS0，佔82.26%，而和總頻寬10Gbps相比為62.8％。這對9.95328Gbps的STM64的96.66%是較差，但是若將價格及管理花費，還有維護的方便等一起加進來考量，就不算太差。

73

Conclusion

74

PSTN v.s. Carrier Grade Ethernet

75

Next GenerationPSTN TopologyPOTS Phone POTS Phone

User

Service

Routing

Carrier Grade Ethernet

76

Carrier-Grade Ethernet

77

使用乙太網路作為基礎傳輸的好處

• 傳輸速度已達10Gbps，但價格卻是逐年下降。

• 傳輸距離可達數百公里。

• 可減化傳輸協定的層級。

• 可利用光纖Ethernet傳輸，錯誤率低，較銅線可靠穩定。

78

使用乙太網路作為基礎傳輸的好處

• 擴充性高

• 維護非常簡單

• 設備價格較低。• 使用單一架構，可簡化網路。• 架設、測試、維護簡單。• Overhead較少

79

使用乙太網路作為基礎傳輸的好處

• 乙太網路的連接已可從LAN至MAN而至WAN。

• 可利用VLAN作虛擬線路設定，並區分不同服務等級。

• 網路拓蹼可為環狀或樹狀架構或混合。

• 已支援OAM及時管理及監控。

80

Technology

• VLAN/VLAN stacking (IEEE 802.1Q/ad/ah)

• Extending the Spanning Tree concept (IEEE 802.1D/S/W)

• Resilient Packet Ring (IEEE 802.17)

• MPLS (ITU-T 8110.1/8112/8121)

• Ethernet OAM (IEEE 802.3ah/802.1ag/ITU-T Y.1731)

81

Protocol Layer FunctionalityScalability QoS/TE Resilience OAM

IP Subnet, NAT DSCP Re-Routing Ping, Trace route etc.

Ethernet VLAN Switching

12/24 bitLabel space

GMPLS-based TE,802.1p prioritization

1:1 protection switching

802.1ag

EthernetMAC-in-MAC

46,46+12 bitLabel space

GMPLS-based TE,802.1p prioritization

1:1 protection switching

802.1ag

EthernetT-MPLS

20 bitLabel space

GMPLS-based TE,Prioritization EXP bits

1:1 protection switching, Fast Re-Route

802.1ag,LSP ping/LSP traceroute

EthernetPHY

10/100/1000Mbps10/100Gbps

802.17 RPR 802.3ah

WDM DWDM Standby channels

Fiber bundles Redundant fibers

82

802.1Q VLAN

802.1ah MAC-in-MAC 802.3ah OAM

802.1ad Q-in-Q

802.1aq OAM

802.1ad Q-in-Q

802.3

802.1D/S/W STP/RSTP/MSTP

802.17 RPR

802.1Q VLAN

802.1Q VLAN

802.2

PWE3

IP

PWE3

T-Carrier/E-Carrier/SONET/SDH

Audio/Video/Data Services

MPLS

PSTN

VPLS

VoIP

Virtual Circuit

TCP/UDP

SNMP

1588 PTP

Ethernet Protocols Stack

83

The End

84