Network Diagrams of WIDE BackboneAPNIC-Cyclades 4/15 seil 4/184/144/4 GbE2 GbE1 DIX-IE GbE3 cisco1...

Network Diagrams of WIDE Backbone

櫨山寛章 ([email protected]) 堀場勝広 ([email protected])

中村遼 ([email protected]) 上野幸杜 ([email protected])

岡本裕子 ([email protected])

岡村耕二 ([email protected])

竹内奏吾 ([email protected])

西村浩二 ([email protected])

小林和真 ([email protected])

岡本慶大 ([email protected])

中村素典 ([email protected])

Glenn Mansfield Keeni ([email protected])

齋藤武夫 ([email protected]) 土井一夫 ([email protected])

松本智 ([email protected])

金丸翔 ([email protected])

彌冨輝彦 ([email protected])

厚谷有輝 ([email protected])

安藤大祐 ([email protected])

井手幹 ([email protected]

土本康生 ([email protected])

長谷部克幸 ([email protected]) 山本成一 ([email protected])

田原裕市郎 ([email protected])

関谷勇司 ([email protected]) 加藤朗 ([email protected])

平成 24 年 1 月 25 日

本ドキュメントでは、WIDE backbone と各 NOC の現状について述べる。

1

1 はじめにWIDEバックボーンネットワークは国内はもとより San Fransico, Losangels,

Bangkokなど海外にも拠点（NOC, Network Operation Center）を持つ広大なレイヤー 2 およびレイヤー 3ネットワークである。WIDE バックボーンネットワークの運用はTwo Working Groupに参加する各NOCの運用者による定常的な運用にささえられている。各接続組織の対外接続ネットワークとして活用されるだけではなく、インターネットの新技術を開発している研究者、開発者らの新技術の運用実験の場としても頻繁にWIDE バックボーンネットワーク活用されている。本年度のTwo ワーキンググループの活動報告として、WIDEバックボーンネットワークの運用報告を行い、最後に今後のWIDEバックボーン運用についての展望を述べる。

2

2 WIDEバックボーンの運用本節では、WIDEバックボーンの各拠点での 2010年 12月 16日から 2011年 12

月 31日までの運用報告と 2011年 12月 31日現在のWIDEバックボーンのネットワーク構成を報告する。図 1は 2011年 12月現在のWIDEバックボーンの概略図である。

図 1: WIDEバックボーントポロジ

3

2.1 San Francisco

サンフランシスコNOC(sanfrancisco)は、2004年 4月からそれまでの sanjoseに代わり稼働した新しい NOCで、Los Angelesから OC-3により接続されていた。その後 OC-3 から 100M Ethernet に変更された。主な接続先は、PAIXや ISC である。2010年 9月の Los Angeles NOC 撤収にともない、2010年 10月に Los Angeles

と San Francisco 間の回線も廃止され、専用線による接続の無い独立NOC として存在する。

• (2011/05/10) データセンター電源メンテナンスに伴う機器メンテナンス

• (2011/07/30) データセンター電源障害に伴う一部機器の電源断発生

catalyst1.sanfrancisco

hitachi1.sanfrancisco

pc4.sanfrancisco

Layer1/2

wm2

e2/0 e2/3

PAIXISC

e2/2e2/1

e0/0

wm1

cisco1.sanfranciscoge0/1

VLAN6667101

VLAN 66

VLAN110111113

VLAN 66

VLAN13

e0/2 e0/3

SFO-E-DNS-JP

wm0RAC

raritan

e.sfo-rtr

$Id: sanfrancisco.eps,v 1.2 2011-12-31 06:18:23 sekiya Exp $

pc5.sanfrancisco Fa0/15

Fa0/1

Fa0/2

Fa0/7

Fa0/17

Fa0/21 Fa0/18 Fa0/22

Fa0/24

Fa0/5

seil1

Fa0/14

図 2: San Francisco NOC

4

2.2 仙台

東北地方太平洋沖地震による停電のため、2011/3/11 14:48 ～ 2011/3/14 16:15

過ぎまで外部接続性が失われた。なお、施設に大きな被害はなかった。また、pc9 を利用プロジェクトの終了に伴い、撤去した。

• (2011/03/11) 東北地方太平洋沖地震による停電のため停止。

• (2011/03/14) 外部接続性復旧。

• (2011/08/24) pc9 廃止。

Cyber Solutions Inc.

.26

::a

em0

pc10

::8 .24

2001:200:0:1C07::/64

foundry4.nezu

2001:200:0:7000:/64

203.178.138.16/28

.21

::5

pc5fxp0

foundry3.nezu

203.178.136.180/30

em1FastEthernet0

FastEthernet1

cisco1VLAN311

::82001:200:0:7F0:/64

pc13

.29

::d

em0

.19

::3

pc3

図 3: 仙台 NOC

5

2.3 筑波

筑波 NOCは、2009年 3月に筑波大学学術情報メディアセンター内に新たに設置された NOCで、システム情報工学研究科産学間連携推進室をはじめとする周辺の研究組織を収容している。2011年 9月WIDE合宿にて運用メンバーの追加を行った。

• (2011/9/7) 運用メンバー 2名が twoに参加

• (2011/10/15) 電気事業法に基づく電気設備の定期点検のため停止

• (2011/10/16) 電気事業法に基づく電気設備の定期点検のため停止

• (2011/11/10) FTPサーバのハードウェア交換

.tsukuba学術情報メディアセンター

.notemachi

第三エリア地地区

ns1.tsukuba ns2.tsukuba mail1.tsukuba ftp1.tsukuba ftp2.tsukuba

203.178.132.65/26

SINET L2 VLAN

CampusNetworkCampusNetworkCampusNetworkCampusNetworkCampusNetworkCampusNetworkCampusNetworkCampusNetwork

Vlan Stack

vlan 2045

.cisco2.notemachi

.cisco1.tsukuba

.extreme1.tsukuba

.extreme2.tsukuba

.bladecenter-sw1.tsukuba

.nortel1.tsukuba

203.178.136.85/262001:200:0:7c01:2

noc203.178.132.65/262001:200:0:7c*::12001:200:1c8:*:*:1loopback203.178.136.17/322001:200:0:7c00::/128vlan 2045203.178.136.86/262001:200:0:7c01:1

GE3/1GE3/2

GE0/31GE0/30

GE0/6

GE0/25

GE0/32

GE0/1

GE0/2

GE0/23

GE0/16

L3

L2

GigabitEther

VLAN

vlan id

ip address

interface

v6ip.tsukuba.wide.ad.jp

.bsd1.tsukuba

図 4: 筑波 NOC

6

2.4 根津

根津 NOC は、WIDE 関東地区の重要な接続拠点として、東京大学、JGN-X 等との接続を行っている。また WIDE クラウドの拠点としても重要な機器が設置されている。

• (2011/09/21) nezu-kote 線回線借用

• (2011/09/21) nezu-yagami 線回線借用

• (2011/09/25) 東京大学法定点検のため停電

eth2/8

ti0

eth4/2eth1/1

U-TOKYO

ITC-4F-415

DataReservoir

eth2/3

pc3.nezu

foundry3.nezu

callmanager2

ti0

pc7.nezuGMA-1001

YAGAMI

$Id: nezu.eps,v 1.2 2011-12-26 12:25:34 yama Exp $+9hours(JST)

eth3/20

eth4/8 KANEKO-ALLIED

wm1

eth3/13

JGN2-BI4K-eth1/5

JGN2-GS4K-eth4/1foundry4.nezu

eth5/4

eth4/2

Otemachi

eth5/3

JGN2 GS4K

foundry5.nezu

eth2/5

eth3/1

To DataReservoir

To x448-n7f@NTT otemachi

U-TOKYO

foundry1.hongo

eth1/2eth1/1

foundry2.nezu

foundry1.nezu

eth3/9

eth3/10

eth1

eth17

eth1/7

eth1/6

tap.nezu

eth3/4

eth1/2eth1/3

foundry7.nezu

eth1/5

eth1/8

nezu.linux-ipv6 eth2/1

mawi.nezu eth2/4

nautilus6 eth2/8

orange.kame eth2/7

eth2/1

eth2/2

eth5/2

eth7/1

U-TOKYO ENG-BLD 1

eth7/2 a10.nezu

vm1.nezu

vm2.nezu

vm4.nezu

vm6.nezu

cloud-net1.nezu

eql.nezu

vm5.nezu eth2/10

eth1/1/16

eth1/1/17

eth1/1/18

eth1/1/12

eth1/1/8

eth1/1/19

eth1/1/23

sekiya-esxi.nezu eth2/11

図 5: 根津 NOC

7

2.5 NTT 大手町

NTT大手町 NOC(notemachi)は、1999年終りから稼働した比較的新しい NOC

で、現在、関西方面、北陸方面への L2 網、JGN-X 、APAN-JP の接続拠点として重要な立場にある。また、日本のインターネットトラフィック交換の 1拠点として、DIX-IE 、 T-LEX を設置し ISP および学術研究NWを収容している。

• (2011/03) 計画停電対策として慶應義塾大学との臨時BGP接続追加

• (2011/06) Interop 2011 Tokyoと接続

• (2011/06) 明星大学収容変更 (koteから note)

• (2011/12) t-lex環境構成変更 (foundry1.t-lex 撤去、foundry2.t-lex 更新)

foundry1cat1.t-lex

pc1.t-lex

5/1

5/3

1/2

f2.ote

1/4

1/7

rt50i

2/5

clk

2/6

3/3

1/5

3/13/2

DR-HIRAKI

1/7

f5.nezu1/1

2/1

apan

1/8

NTT-EASTMETRO-ETHER

2/131/6

2/12

gmx1004

2/18

cisco2

taishitadojima

2/1

taishitakomatsu

3/22/3

f6.ote1/2

5/1 5/2

{1,2}/3

foundry2.t-lex

$Id: notemachi.eps,v 1.2 2011-12-26 11:54:37 yama Exp $ +9H(JST)

2/8

2/9melco1

2/15fe3miyakawa-sw

2/24

miyakawa-sjc

tehe

1/4 JGN-XNTT otemachi

6/1

ASCC:GMX-B2

4/14

cat3512-MII0/1 SX

7/35

mawinotemachi

4/15

A7A01224N

4/64/7

JAIST-shinagawaIPv4-kokatsuTF

2/2

KEIO-DMC

ge-0/3/1

juniper1

0/60/12

soum

seil.noteH-Cable

traceback-verio

xfow-collector

pc1

ti0fxp1ge-0/3/0

4/37/117/12

7/7

7/5 7/3

4/97/2

SINET

1/6

traceback-verio7/10

3/1

NAOJ

Tokyo6to4

7/6

UNISYS

7/8

RIPE/NCC(A4C)

3/4

x448-n7fe49

e50

1/2

1/14/4

Hubmgmt1

6/2

5/2wm0 bge1

e1

図 6: NTT 大手町 NOC

8

2.6 KDDI 大手町

KDDI 大手町 NOC は WIDE バックボーンの中でも中核を担う重要な NOC となっており、外部組織接続が最も多い NOC となっている。 10GbE によるバックボーンが導入され、NTT大手町 NOCとの連携がより強まり、WIDEから DIX-IE

への接続拠点となっている。

• (2011/06) 明星大学収容変更 (koteから note)

• (2011/09) kote-nezu線回線借用

• (2011/10) SonyCSLアクセス回線変更

• (2011/12) PCHの設備置換

NEZU(f4.nezu-e2/4)

e2/4

CUC

e1/1

NTTOtemachi

(c2.note-Ten2/3)

(f1.riho-m)

e1/2

foundry6

TITECH

e1/3

MIRAIKAN

e1/4

alala1

e2/1

Ten0/1

Ten0/0 DIX-IE

TsukubaWAN

e8/1

APAN(ms3-e1/3)

GRAPEAPAN

e8/7 e8/8 e8/24

WIDE KDDI Otemachi NOC

cisco7Gi0/0/0

Gi1/0/0

foundry33/3 e1/1

e4/3

e1/4

mawi

mirror

e8/17

e8/21

hitachi1

e8/22

juniper1

e8/35e8/36e8/3

foundry21/2

foundry1

2/15

Otemachi23F

1/3

KDDILAB

2/2

VoIPgate

2/3

CUC

2/42/5

PoweredEthernet7points

dendai

2/9

SonyCSL

2/10

pc16

2/12

ae0

irc

2/132/14

2/16

JSAT

2/17

NICTNAG

3/6

JPRSIPv6

2/19

2/22

dgre

pc10

pc13

pc15

Otemachi 9Fsegment

3/1

NTTOtemachi

(f1.note-e1/4)

GMX

3/5

NAIST21F

3/7

APANfor AI3

3/8

4/5

risingsun.isc

wireless

4/72/0-3

KeioMITA

4/20

NIHONUniv.

4/19

fxp0

detector

4/17

cyclades1

y6

RouteViews

4/3

AI3-PC

4/12

new-y.ip6.int

4/23

PCH-Server

4/21

APNIC-Cyclades

4/15

seil

4/44/144/18

e4/8-11 GbE2

GbE1

DIX-IE

GbE3

cisco1

e26e7

e9e1 fa1/0/0

e0/0e0/4

DNS IMnet

ATM3/0

c1.note

NEZU

cisco3

e0/5

2011/12/26

foundry7

e8/33

e49

pc18

e3

mirror mirror

e1e2 e47

LIVEDOOR

e8/34

alaxala2

g0/1

pc17

e33

SEIJO(a1.seijo-Ten0/25)

Ten0/2

図 7: KDDI 大手町 NOC

9

2.7 八王子

八王子NOCは、東京工科大学内に設置され、八王子周辺のWIDE参加組織を収容するNOCである。現在のリーフサイトは、東京工科大学のみである。八王子NOCに設置されているPCの老朽化にともない、新たにサーバを 1台追

加し、今までのPC群 (sun1, pc1, pc5)を仮想マシンに置き換えた。ハイパーバイザー用のOSにはLinux(Ubuntu)を用い、KVMによる完全仮想化を採用した。新サーバでは、ハードウェアサポートによる遠隔管理機能のあるものを採用したため、OSのインストールから電源 ON/OFFまで遠隔から操作できるようになり、メンテナンス性が向上した。

• (2011/03/02-2011/04/12) 新サーバ環境構築、既存PC(sun1, pc1, pc5)の仮想マシン化作業。sun1, pc1, pc5 の OS を FreeBSD 6 系から 8 系へバージョンアップ。

.129

cisco4

.134

teu.ac.jp

203.178.137.128/282001:200:0:2800::/64

GbE0/1

GbE0/0

WIDE Hachioji NOC

1G

163.215.0.0/16

.139 [VLAN21]

[VLAN21]

KDDI Otemachi NOC

eth 2/5

foundry2.otemachieth 3/6

2011/12/14

.140

pc1em0

bay1.137

::11

foundry6.otemachieth 8/22

atomis1

Line2

Line1Line0

.130 ATM1/0.2[1/33] 203.178.141.128/30

.129FE0/0

cisco1

100M

PoweredEthernet

em1

pc5

.135::2

em0

.141::4

pc2fxp1

fxp0

.132 .142

eth0.21 eth1

pc6

.130::5

em0sun1

teu.ac.jp2001:200:1a8::/48

図 8: 八王子 NOC

10

2.8 矢上

• (2010/08/11) 定期保安点検による停電

cisco17400

foundry1BI4000

10G(KNNYF)fujisawanezu

10G(KNNYF)

e2/5

pc4

e2/7

e2/18

e2/6NTT

metro ether

hitachitoshiba

YAGAMI NOC TOPOLOGY (Layer1)

e2/22

NTT-EAST Flets

nec1e4/6

tera-lab

hiyoshi(kyoseikan)

MM2

e1/2 e1/1

e4/4

e2/23

e1/4alaxala

K2

e4/1

foundry2 MLX4

e4/1

e1/3

MM1

e2/4

e2/1

TTNetMedia Conv

HITACHIGR2000-4S

e2/2

e2/3

e2/19

NTT Business Ether We2/8

line3

line6

line7

yokogawa

line5

図 9: 矢上 NOC Layer-1 トポロジ

11

YAGAMI NOC TOPOLOGY (Layer2)

nec1

foundry1

vlan4: K-N-N-Y-F

vlan37: FLAB-YAGAMI-NEZU-UTOKYO

vlan161: NDKN(1)vlan163: NDKN(2)vlan165: NDKN(3)vlan167: NDKN(4)vlan169: NDKN(5)vlan171: NDKN(6)vlan180: F-Y-N-O-Nvlan181: N-O-N-Y-F

vlan3790: Yokosuka-IEEAF-SL-NL-SL-ICSD

vlan3704: JGN2-TohokuUniv

vlan3860: JGNv6-sfcvlan3861: JGNv6-yamagata

vlan28: NTTv6-1/NTT-EAST-FLETS(N-N-Y-F)vlan100: yagami NOC

vlan53: T-LEX

vlan39: TTnet:Tokyo2vlan40: TTnet:Kanagawa1/TTnet:Fujisawa

vlan35: NTT-EAST (N-N-Y-F)

vlan160: FYN->OND

vlan122: TOSHIBA-WIDE-v4vlan123: TOSHIBA-WIDE-v6

vlan191: YAGAMI-ALAXALA

vlan45: Nezu Yagami-Fujisawa-P2P

vlan20: USC-KEIO

vlan190: YAGAMI-K2

vlan46: Nezu Yagami-Fujisawa-P2P

vlan59: AI3-WIDECAMP-GLOBALvlan75: Fujisawa-StarBEDvlan77: IPv40kokatsu-K2-dojimavlan78: IPv4-kokatsu-K2-note

vlan91: YAGAMI-RACvlan92: Nezu-Hiyoshi-Twister

vlan96: AI3:Fujisawa-Yagami

vlan112: STUDIO-DV

vlan130: Eclipsevlan131: K2-BACKUPvlan150: KMDvlan151: Kyoseikan

vlan192: K2-v4-KOKATSU

vlan650: ccbank-demovlan900: SEA-LOOP1vlan901: SEA-LOOP2

vlan3110: DMC-KMDvlan3703: JGN2-Tsuruoka

vlan3764: NEDU-LA

vlan4021: KAMEvlan4095: CONTROL-VLAN

e4/1

e4/2

e4/3

e4/4

e4/5

e4/6

e4/7

e4/8

e2/1

e2/2 e2/3 e2/4 e2/5 e2/6 e2/7 e2/8

e2/9

e2/10

e2/11

e2/12

e2/13

e2/14

e2/15

e2/16

e2/17

e2/18

e2/19

e2/20

e2/21

e2/22

e2/23

e2/24

e2/25

e3/1e3/2

foundry2

e4/1e1/1

e1/2e1/3

e1/4 e4/20

e4/19

e4/18

e4/17

e4/16

e4/15

e4/14

e4/13

e4/12

e4/11

e4/10

e4/9

e4/8

e4/7

e4/6

e4/5

e4/4

e4/3

e4/2

eth0

eth1

pc4

eth0/0.100

eth0/0.35

cisco1

vlan1

vlan4

vlan28

vlan35

NTT Metro

EtherHITACHI

GR2000-4S

TTNet

Media Conv

e1/1

vlan37

vlan40

vlan78vlan77vlan91vlan95

NTT Business

Ether W

vlan96vlan100

vlan122

vlan123vlan131

vlan190

vlan299

vlan3777 vlan4021

vlan192

vlan39

K2HITACHI

GR2000-4S

MM2

MM1

vlan1

vlan6,79

vlan20,31,49,59

vlan75,112,3703

vlan3704,3790

vlan45

vlan46

vlan53,160,161,163

vlan165,167,169,171

vlan180,181,650

vlan3860,3861

vlan92,97,99

vlan130,197,297

vlan298,900,901

vlan3110,3764vlan130

vlan151

vlan950,951 vlan191

vlan150

vlan4095

K-N-N-Y-F

Nezu

Hiyoshi

(Kyoseikan)Alaxala

vlan1: Default-vlan

vlan6: CLOUD-NAT

vlan49: APAN-AI3

vlan79: CLOUD-EQL

vlan97: Miraikan-Hiyoshivlan99: DMC-Hiyoshi vlan197: Miraikan-Hiyoshi

vlan297: DMC-Hiyoshivlan298: DMC-Hiyoshivlan299: DMC-Hiyoshi/dmc-hiyoshi-yagami-3

vlan950: BGP-TEST1vlan951: BGP-TEST2

vlan3777: JGN-WIDE-V6TRANS-3777

vlan95: FujiXerox

vlan40

vlan1412: JGN-TeraLab

vlan1412

vlan1414, 1415

vlan1412: JGN-KMD-201105avlan1415: JGN-KMD-201105b

vlan31: [None]


cisco1

foundry1 foundry2 pc4

nec1

203.178.141.80/28vlan:100

.81 .91.86 .87Yagami NOC

203.178.138.224/27vlan:2K-N-N-Y-F

203.178.138.224/27vlan:4K-N-N-Y-F

.242 .240 .251 .245

eth0

eth1

NTT-EAST Flets

ATM:100

Tera-lab

vlan: 3

vlan: 39

vlan: 40

vlan:122

vlan: 45

vlan: 46

vlan:150

vlan:95

vlan: 190

vlan: 191

vlan: 192

TTnet:Tokyo2

TTnet:Kanagawa1

TOSHIBA-IPv4

Nezu-Yagami-P2P

Yagami-Fujisawa-P2P

KMD

FujiXerox

YAGAMI-K2

YAGAMI-ALAXALA

K2-v4-KOKATSU

vlan: 151

Kyoseikan


12

2.9 新川崎

新川崎 NOCは、K2タウンキャンパス内の村井研究室を拠点とした NOCである。K2タウンキャンパス村井研究室はこれまで矢上NOCの下部組織として運用されてきたが、リーフ組織への回線提供を行うため、2005年後半よりNOCとして運用していた。2008年度の構成変更にて、リーフ組織であったアラクサラの接続先が矢上 NOC へと変更となったため、一時 NOC ではなくなったが、2009年度に IPv4 枯渇 TF がリーフ組織として接続したため、再び NOC としての機能を担うこととなった。

• (2011/12/16) 新川崎 K2 タウンキャンパス付近共同溝工事によるファイバ借用発生

13

K2 backbone 203.178.140.32/28

vlan4000

Shinkawasaki NOC topology Map(Layer3)

nec1.k2

Yagami

.33

$Id: shinkawasaki.eps,v 1.2 2011-12-31 06:18:23 sekiya Exp $+9hours(JST)

vlan190

KAME

USAGI

IPv4-Kokatsu

Shinkawasaki NOC topology Map(Layer2)

nec1.k2

Yagami

vlan77,78,190,192,4021

KAME

USAGI

IPv4-Kokatsu

0/1

0/3

vlan78

.45

pc2.k2

pc2.k2

0/7

vlan4021

vlan4022

vlan4000

K2-iCar

0/5

K2-iCar

vlan140

0/4

vlan77,192

203.178.140.0/27

203.178.141.192/27

203.178.141.96/28

図 12: 新川崎 NOC

14

2.10 藤沢

藤沢NOCは慶應義塾大学湘南藤沢キャンパス内にあり、慶應義塾大学や村井研究室の他、周辺の研究組織を収容している。同時にXCASTやAI3との接続、VoIP関連サービス (CallManager, VoiceGateway)などを行っている。

• (2011/3/14) 東日本大震災に伴う輪番停電によって縮小構成に変更

• (2011/9/2) ISIの計測ホストを設置

• (2011/10/8) 輪番停電による縮小構成から復帰

• (2011/12/4) SFC構内全域の変電設備の定期保安点検による構内停電

foundry2

eth2/3

eth1/1

vlan105vm1

vm2

pict4

gma1

vivi

gn.asahikawa

pc35(mizutani-mawi)

pict1

traceback

sh-rac

pc5(moca)

voip-2052

pict2

pc1(mcast)

envmon1

pict5

pict3

netfpga0.baba

pc14(usagi)

cisco18(MCU)

SOI-Vserver

pc11(BGPDUMP)

pc33(csaw)

vlan103 eth5

eth29

vlan102

eth9

vlan104

WIDE-AI3

vlan205 satellite eth1

c3800.ai3

eth 44vlan140

cisco6

cisco10

cisco9

cisco12

cisco15

cisco17

cisco18

Equal Logic

eth21

eth16

eth18

eth20

eth22

eth23

eth24

eth25

eth26

eth27

eth28

eth30

eth31

eth35

eth32

eth40

eth43

eth45

eth13

eth15

eth14

eth35

eth36

eth37

eth38

NDA

eth4/1-6

eth4/7-10

vlan106 xtr

eth4/19

eth4/20

fe1

fe0

Fujitsu Kawasaki, SANNO Univ

BUNKYO Univ

nfs1.sfceth4/12

pc4(internetits)eth3/2

VLAN ID

4

6

31

40

41

42

44

46

49

71

79

100

101

102

103

105

106

107

140

150

205

501

Description

K-N-N-Y-F

Cloud-NAT

AI3(N-D-N-K-F)

TTnet:Primary

TTnet:Backup

TTnet:Otemachi

K-N-N-Y-F9k

Yagami-Fujisawa-P2P

APAN-AI3

NAIST-FUJISAWA-evlan

CLOUD-EQL

Fujisawa-1.net

Fujisawa-2.net

Fujisawa-3.net

Fujisawa-4.net

Fujisawa-Cloud

LISP-EID-Segment

ISI-Pinger-Project

WIDE-AI3-BGP

SOI

ai3-satelite

SOI-Cloud-NAT-MAP

vlan100

vlan31

vlan49eth 2/2 eth 49

juniper3xe-0/0/0

xe-0/0/1

xe-0/0/2

KEIO

SFC

eth1/3

juniper2xe-0/0/0

xe-0/0/1

xe-0/0/2

KEIO

SFC

eth1/2

nec1

eth4/14 fa0

hitachi3te-3/0eth1/2

Ogashiwa-Lab v6tun0

eth2/1 te-0-25alaxala3.sfc

Powerd Cometh4/14vlan40 TTnet:Primary

vlan41 TTnet:BackUp

vlan42 TTnet:Otemachi

sh.wideeth4/15

voip-gateeth4/16vlan110

alaxala1ge-0/1eth3/3 Nara-eVLAN

vlan 71:Naist-Fujisawa-P2P

ge-0/5

ISI-Pinger

vlan 107

ge-0/6

ge-0/7

ge-0/8

ge-0/2

ge-0/9SOI-Shyochositsu

vlan150

SOI-ITC-NODE-ROOM-patch ABF-57-5-17

vlan49

vlan31

juniper1.sfceth4/10

図 13: 藤沢 NOC Layer-2 トポロジ図

15

cisco2

[KNNYF]203.178.138.224/272001:200:0:1c04::/64

.249

gi3/1/0.4 gi3/1/0.46

[YAGAMI P2P]203.178.136.92/30

.94

[NAIST P2P]203.178.136.204/30

[CallManager1]203.178.136.97/30

gi2/1/2.104.97

cisco15.98

[FUJISAWA-1.net]203.178.137.64/272001:200:0:1001::/64

gi3/0/0.100

(Virtual IP = .65).75

[FUJISAWA-3.net]203.178.141.224/272001:200:0:1003::/64

[FUJISAWA-4.net]203.178.138.96/272001:200:0:1004::/64

gi2/1/2.102

(Virtual IP = .225).239

gi2/1/2.103

(Virtual IP = .97).103

Juniper3

xe-0/0/0.100

.89

[KEIO-ITC] xe-0/0/1

[KEIO-SFC] xe-0/0/2

Juniper2

xe-0/0/0.100

[KEIO-ITC] xe-0/0/1

[KEIO-SFC] xe-0/0/2

.94

cisco9

fa1/0.100 fa1/0.102 fa1/0.103

.77

.238

.102

[Bunkyo-Univ] Serial3/0

.81 cisco3

cisco10

.237

fa0

serial0

serial3

[SANYO]

[FUJITSU KAWASAKI]

cisco6

.232

fa0

serial0[NDA]

.83 cisco5

.78 cisco11

.231 cisco12(gatekeeper)

.82 dlink1

.93 envmon1.69 pc1(mcast)

.99 pc8(SOI)

[FUJISAWA-Cloud]203.178.138.64/282001:200:0:1005::/64

.68 pxtr

.70 xtr

.71 detr

.66 vm1

.67 vm2

.85 pc10(sh.wide)

.80 pc4(internetits)

.84 pc5(moca)

.104 pc11(BGPDUMP)

.106 pc12(IRC)

.66 blackout

.67 foundry3.sfc

.70 pc29(ITSP)

.71 cnrs-wide

.72 ping-checker

.74 foundry2.sfc

.87 alaxala3.sfc

.88 juniper1.sfc

.90 juniper1

.91 foundry4

.92 hitachi3

.227 pc14(USAGI)

.254 accelar1

.98 pc27(AsahikawaNOC)

.100 pc17(SOI)

.101 pc18(IRC)

.105 pc25(SOI-WWW)

.107 ai3

.108 traceback

.110 voip-2051

.111 voip-2052

.112 pc37(SOI)

.113 pict1

.115 pict3

.118 pict4

.120 cisco18

.114 pict2

.116 sh-rac

.117 pict-mgmt

.119 cisco17

.121 dcs.cisco18

.122 csaw

.123 pc28(AsahikawaNOC)

.124 gma1

.125 pc35(Mizutani-MAWI)

.126 pict5

[VoIP gateway]203.178.138.109/32

fa-0/0 .109

cisco13

.97ve110

alaxala1

.79

vlan71

vlan107

vlan150

[ISI]203.178.148.16/28[SOI]203.178.140.97/27

vlan100

[AI3]202.249.26.112/30gi2/1/0foundry5

[TTnet:primary]203.178.140.144/29

[TTnet:backup]203.178.140.152/29

[TTnet:Otemachi]203.178.136.116/30

ve40 ve41 ve42.145 .153 .118

ve100 ve105

.65

.86

[Equal Logic]203.178.139.96/27

ve79

.99

図 14: 藤沢 NOC Layer-3 トポロジ図

16

2.11 小松

小松NOCは北陸先端科学技術大学院大学 (JAIST / 石川県能美市)内に設置されたNOCであり、同大学、NICT 北陸 StarBED技術センター (通称: StarBED)

等への接続を収容している。NOC間接続として関東および関西方面に対し複数のリンクを持ち、東阪間リンク障害時の迂回経路としての役割も担っている。

• (2011/03/20) 08:00–17:00 JAIST 全学停電に伴うサービス停止．

JAIS

T

Cisco 3(Cisco7609)

Vlan801

Vl999(Gi3/1)

Po1(Gi1/1,2/1)

SINET3

Po5(Gi3/33)

Gi3/26Gi3/25

Star

BE

D

Cisco7609@StarBED

Cisco 2(Cisco6509)

Notemachi(Taishita-monda)

Te2/2nezu, dojima, fukuoka (JGN-II)

Vl62@Te1/1

Vlan3705,3724,3744

Te1/3

Vl800@Po2(Gi1/2)

Te1/4

WNOC KomatsuIn Japan Advanced Institute of Science and Technology,

Nomi, Ishikawa, Japan.

Vl800@Po2(Gi4/1)

Gi4/3

DISTIX

Juniper1(Juniper M5)

GbE0/0/0

GbE0/1/0

Te1/3

203.178.138.168/30

.170

ct65a.jaist(Cisco6509)

ct65b.jaist(Cisco6509)

Te1/4

Te1/4

ftp

Po101(Gi3/41-48)

(Gi3/41-48)Po2

Po2(Gi3/41-48)

.174

203.178.138.172/30

Po101(Gi3/41-48)

150.99.196.186/30

150.99.196.190/30

.169

203.178.138.64/28

.65

203.178.146.80/28

.93

pc1

pc4

203.178.138.208/29

.211

.210

203.178.136.242/30

.173

図 15: 小松 NOC

17

2.12 堂島

堂島NOCは、WIDEプロジェクトのネットワークにおける西日本のコア拠点となっている。NTTテレパーク堂島第 1ビルと第 3ビルに拠点を構え、NTT大手町NOCとともに 10GigabitEthernetバックボーンの 1点を担ったり、大阪における分散 IX(NSPIXP3)の 1拠点を担ったりしているNOCである。また、第 3ビル内において JGN や SINET とも接続し、西日本方面の多数のNOCとリーフサイトを収容している。

• (2011/2) pc2.dojima 故障にともなう機器入れ替え

• (2011/4) IPv4 アドレス枯渇対応タスクフォース接続構成変更

• (2011/4) pc3.dojima 故障にともなう機器入れ替え

• (2011/7) SINET 接続構成変更

• (2011/12) APAN-JPとのバックアップBGP peerをKDDI大手町から移設

pc3

foundry2foundry1

planetlab0. dojima

yamaha

fxp0

fxp0

WIDE Dojima NOC update Dec 2011

cisco2

gig5/1

e3/1

e2/9

e1/3e2/1

e3/16e3/14 e3/15

10/100/1000BaseTX

1000BaseSX/LX

10Gbase(L,E)R

foundry4

vid:2,3,6,31,61,81,101-105,107,320,321

e1/1

e1/3

fxp0

planetlab1. dojima

e9/3

F root main

(r1.kix)

clk.dojima yamaha1pc1

203.178.138.51/27 (N-D-N)ve2

203.178.138.40/27 (N-D-N)ve2

203.178.133.9/29 (PlanetLab Dojima)ve108203.178.138.81/29 (ProjectM KIX)ve104

203.178.138.45/27 (N-D-N)ve2203.178.133.25/28 (PlanetLab mgmt)ve81203.178.138.81/29 (ProjectM KIX)ve104202.249.38.9/26 (NSPIAP-3)ve100

gig0/0202.249.38.9/26

gig0/1.2203.178.138.47/27

e1/3vid: 3

CKP

seil1. dojima

vid:6,7,31,79,110,111,1371,3013,3451,3732,3791,3883

vid:2,6,29,31,61,70,72,77,79,81,160,162,164,166,168,170,180,3783,3784

SINET Te7/2

e9/2ProjectM KIX

cisco3

ge0/1

RACvm2vm1

e1/1(mgmt)

e1/4 e1/21 e1/22 e1/24

mgmtservice

RAC

e1/20

mgmt

e9/6e9/5

cyclades1

e1/19

e9/7(RAC)e-dns.jp

e1/23

NSPIXP-3

ge0/0

e9/1

planetlab0. dojima

planetlab1. dojima

e3/20 e3/21

Te7/1

melco1

e2/7 e2/8 e2/18

F root sub

IPv4kokatsu

TFe2/16

e2/17

Te3/3

JGN-X

ve2ve3ve7ve61ve76ve101ve102ve103ve105ve106ve107ve3721ve3722ve3723ve3724ve3726ve3727ve3729ve3730ve3760ve3765

203.178.138.45/27210.156.1.130/30203.178.136.169/29203.178.136.238/30211.120.240.89/30203.178.138.94/28203.178.138.237/30203.178.137.113/29203.178.130.30/28203.178.136.177/30203.178.130.12/29203.178.136.133/30203.178.137.249/30203.178.137.253/30203.178.136.105/30203.178.136.229/30203.178.136.209/30203.178.136.201/30203.178.136.197/30203.178.136.110/30203.178.136.69/30

Gifu

NIIT

ATR

Komatsu

Sakyo

Kusa

Hiroshima

Fukuoka

ve3721

ve3722

ve3723

ve3724

ve3726

ve3727

ve3729

ve3730

Notemachive3760

Nagoya-uve3765

notemachi

KUSA

NAIST

SINET

Te3/1

Te2/4

Te3/4

Te1/3

Te1/1

gig5/2

vid:106

vid:6,101,320,321,1371,3013,3417,3451,3761,3763,3783,3791,3883

vid:2,3,31,61,76,77,81,101-105,107

vid:2,3,81,103-105,107

vid:2,3,81,103-105,107

vid:76,77

vid:102

vid:104

vid:105

vid:107

vid:2,101

vid:109

図 16: 堂島 NOCトポロジ

18

2.13 奈良

奈良NOCは奈良先端科学技術大学院大学内にあり、大学およびNOC周辺の研究組織を収容するとともにAIIIと接続している。また、Debian JP等の公式ミラーを始めとする 10以上のミラーを提供するFTPミラー (ftp.nara.wide.ad.jp)をサービスしている。

• (2011/1/12) NTPサーバ (Stratum 2)を cisco2.nara から juniper4.nara へ移行。

• (2011/1/17) cisco2.nara シャットダウン、撤去。

• (2011/3/18) juniper5.nara (MX240) 設置。vm{3,4,5}.naist.wide 設置。

• (2011/3/28) arista1.nara (DCS-7124S) 設置。

• (2011/3/30) 輪番停電に対するサービス分離のため pc2.nara を設置。

• (2011/4/1) 奈良-藤沢線、奈良-左京線を統合。NTT e-VLAN 100Mbpsで、奈良-藤沢 100M保証、奈良-左京 10M保証。VLAN設定は従来のままP2Pとした。

• (2011/6/1) ftp.nara のハードウェアを Sun Fire T2000 から Sun Fire X4540

に移行。収容先を fastiron4.nara から arista1.nara に変更し 10Gbps接続となる。

• (2011/7/13) juniper5.nara より NAIST-AS (AS131158) を経路広告開始。

• (2011/10/23) NAIST法定点検による全学停電。

• (2011/11/17) ntp.nara のハードウェアを TrueTime NTS-200 から Endrun

Tempus LX GPS に移行。

• (2011/12/14) 奈良文化財研究所行きK-Opticom回線を撤去。

• (2011/12/21) pc1.naraのハードウェアを DELL PowerEdge 2650から DELL

PowerEdge R515 に移行。

19

Nara NOC L2 Topology (Dec. 2011)

hitachi2 Dojima

juniper5 SINET

arista1

fas1ron3

fas1ron4

pc1 pc2

catalyst1

NAIST iplab inet-‐lab

inet-‐lab

ae0

xe-‐2/0/0 xe-‐1/0/0 ge-‐1/2/0

2/0

3/0

1/0

0/11

twomine nspixp

AIII Sakyo/Fujisawa DLRD NEC Kansai RC

juniper4 ge-‐0/0/0

0/1/21 0/1/24

0/1/23

0/1/13

0/1/16

netgear2 26

0/1/22

1 ntp

?p

[800-‐801] [6-‐7,30,71, 801-‐802]

[802,3791]

[30-‐31,71]

[901]

[7,801-‐802,901, 3451,3791]

0/1/17 0/3/1

0/2/1

0/1/19

13

9

1 2

4 5 6

0/2/1

0/1/1

0/1/2

0/1/3

0/1/4

[801]

[6-‐7,79,801-‐802, 901-‐903]

Po1 )

[6-‐7,79,801-‐802, 901-‐903]

[751,801,902]

[6,79, 901-‐903]

[6,79, 901-‐903]

[6-‐7,79,801-‐802, 901-‐903]

[7,751, 801-‐802]

[7,801-‐802]

ge-‐2/2/0

[701]

[6-‐7,79, 1371, 3013,3451,3732,

3791,3883]

[6-‐7,79,801-‐802, 901-‐903]

[3451]

[801]

(

Te0/4

Te0/7

Te0/9 Te0/3 Te0/1

[801]

[801]

[801]

[801]

10G

1G

<100M

L3

L2

2011/12/28 yoshihiro-‐[email protected]

PC

図 17: 奈良 NOC Layer-2 トポロジ

Nara NOC L3 Topology (Dec. 2011)

Dojima-‐Nara (VLAN 7) 203.178.136.168/29

SINET

pc1

pc2

nspixp

twomine

ntp

6p

10G

1G

<100M

L3

PC

juniper4

Nara-‐1 (VLAN 801) 203.178.137.160/27 2001:200:0:801::/64

Nara-‐2 (VLAN 802) 203.178.140.224/27 2001:200:0:802::/64

.171 .172 .173

juniper5

.167 ::4:2

.163 ::2:4 ::1

.166 ::2:5

alaxala1.sakyo

.228 ::4:2

.229 ::2:4 ::1

.230 ::2:5

cisco2.fujisawa .217

.205

.175 ::1:4

.172 ::1:2

.170 ::1:1

.179

.180

.183

ai3-‐nara-‐pc.nara

cisco2.dojima

Nara-‐NAIST (VLAN 901) 203.178.134.0/24, 2001:200:0:9401::/64

Cloud-‐Experiment (VLAN 6) 10.10.0.0/16, 2001:200:dff:fff1::/64

Cloud-‐EQL (VLAN 79) 203.178.139.96/27

Cloud-‐Nara-‐0 (VLAN 902) 203.178.131.128/28, 2001:200:0:9402::/64

Cloud-‐Nara-‐1 (VLAN 903) 203.178.131.144/28, 2001:200:0:9403::/64

.100

sh vm1

.131 ::131

.4.1

vm2

.132 ::132

.4.2

vm3

.133 ::133

.4.3

vm4

.134 ::134

.4.4

vm5

.135 ::135

.4.5

hitachi2

::a

.1 ::1 .64 :1:1

.129 ::1

.145 ::1

Nara-‐Sakyo (VLAN 30) 203.178.136.204/30

Nara-‐Fujisawa (VLAN 71) 203.178.136.216/30

2011/12/28 yoshihiro-‐[email protected]

図 18: 奈良 NOC Layer-3 トポロジ

20

2.14 左京

左京 NOCは京都およびその周辺に存在する組織に対する接続拠点であり京都大学に設置されている。また、遠隔講義実施のためにキャンパスプラザ京都および広島市立大学向けの IPv6接続も提供している。2010年度末で JGN-X京都大学ノードが廃止されることから、SINET4経由の接続に移行する予定である。また、この接続変更に伴って、これまで自動電話庁舎および学術情報メディアセンター南館に設置されていたNOC設備を、2011年末以降に自動電話庁舎および総合研究 5号館の構成に変更して移設する予定である。

• (2011/3/31) NTTコミュニケーションズ回線への切替 (対奈良NOC)

• (2011/4) JGN-X京都大学ノード廃止

• (2011/4/22) ケイ・オプティコム回線撤去 (対奈良NOC旧回線)

• (2011/10/2) 停電 (法定点検)

• (2011/11/7) 対奈良NOC回線障害対応 (メディアコンバータ交換)

• (2011/12/20) L3装置 (IP8800/S3630)を学術情報メディアセンター南館から電話庁舎に移設

21

図 19: 左京 NOC

22

2.15 倉敷

倉敷NOCは、死活監視ツールで監視を行っているが特に大きな問題もなく運用した。

図 20: 倉敷 NOC

23

2.16 広島

広島 NOC は 2011年 3月末日の JGN2plus から JGN-X への移行による JGN-X

側での VLANの廃止により接続が切断された状態にある。現在、NOCの廃止を含めて検討中である。

24

2.17 福岡

福岡 NOC は 2011年 3月末日の JGN2plus から JGN-X への移行による JGN-X

側での VLANの廃止により接続が切断された状態にある。現在、NOCの廃止を含めて検討中である。

25

2.18 バンコク

2007年 5月 15日に設置されたバンコクNOCは、NECTECやUniNETといったタイの学術研究組織との研究活動強化を目的に設立された。今年度も引き続き、WIDEプロジェクトとしての独自の回線は存在しないが、JGN2plusの東京←→新嘉坡←→バンコク回線を利用し、VLANを用いてWIDEインターネットをバンコクまで延長した。IPv4、および IPv6の接続性を提供している。バンコクNOC

は、JGN2plusの新嘉坡・バンコク回線を収容しているNECTECと同じ建物に存在し、そこからUTPケーブルを延伸し、バンコクNOCが存在する部屋にネットワークをひいた。バンコクNOCの主な利用者は、バンコクを中心に活動しているSOI Asiaプロジェクトのメンバーである Patcharee Basu、および関係者になる。今年度も昨年度同様、SOI Asiaプロジェクトで遠隔講義、講演をするための環境が整えられ、様々な授業やイベントへ参加した。イベントの詳細を下に示す。

• (2011/3/10) Unesco Lecture ”Renewable energy technology” by Prof. Hideaki

Ohgaki

• (2011/3/22) Unesco Lecture ”Support strategies to promote renewable en-

ergy (policy), Renewable energy as a tool to empower community” by Dr.

Bundit Fungtammasan

• (2011/3/24) Backbone connection lost by JGN-X new SG-TH circuit instal-

lation.

• (2011/5/8) ”the Japan disaster experience on ICT in the situation of com-

munication breakdown” session at the 2nd THNG Camp

• (2011/5/10-12) AI3/SOI Asia Bi-Annual meeting at Chulalongkorn Univer-

sity

• (2011/5/12-13) the 4th CONNECT-Asia 2011 at Chulalongkorn University

• (2011/5/26) Backbone connection lost by SG-TH circut problem. (1hr)

• (2011/6/11) Backbone connection lost by HK-SG circut problem. (5min)

• (2011/7/4) Backbone connection lost by HK-SG circut problem. (4hrs)

• (2011/7/24) Backbone connection lost by HK-SG circut problem. (1min*2)

• (2011/7/4) Backbone connection lost by HK-SG circut problem. (4hrs)


• (2011/8/22) Backbone connection lost by SG-TH circut problem. (1min*2)

26

• (2011/9/9) Backbone connection lost by SG-TH circut problem. (2hrs)


• (2011/10/16) Backbone connection lost by SG-TH circut problem. (20min)


• (2011/11/22) Backbone connection lost by SG-TH circut problem. (3min)


• (2011/Nov-Dec) Lecture series ”Management of Emerging Businesses” as a

joint-lecture between Keio and Chulalongkorn University

• (2011/12/20) SOI Asia business plan contest 2011

pc1.bangkok

bge0:203.178.138.146/282001:200:0:6009::2

bge1:203.178.140.65/282001:200:0:a800::1

203.178.140.64/282001:200:0:a800::/64

cisco2.notemachi

203.178.138.145/282001:200:0:6009::1

polycom

JGN-X:WIDE-BKK (622Mbps)

pc pc pc

図 21: Bangkok NOC

27

3 twoサーバの移行本節では、two WGがWIDEインターネットの運用管理用に利用してるサーバ

two.wide.ad.jp（以後 twoサーバ）をWIDEクラウド上に移行した作業について報告する。

3.1 背景と概要

twoサーバは 2002年ごろからWIDEインターネットの運用管理に用いられてきた。そのため、ハードウェアの陳腐化によるスペック不足が問題になっていた。twoWGでは、twoサーバの移行計画を検討し cloud WGで運用しているWIDEクラウド環境へのサーバ移行を実施することとなった。当初の移行計画では、現行のtwoサーバシステムを可能な限りそのままクラウド環境へ移することを志向したが、twoサーバでOSとして利用しているNetBSDがWIDEクラウド上で動作不具合が起きる既知の問題があり断念した。次に、WIDEクラウド上で動作するように修正したNetBSDをWIDEクラウド上でクローンし、twoサーバのボリュームを dumpと restoreで移行することを計画した。しかしクローンしたNetBSDサーバはHDDボリュームサイズが小さく、WIDEクラウドにはHDDボリュームを追加する機能が存在しないため、この計画も断念することとなった。最終的に、OS

まで含めた移行は断念し twoサーバ上のデータのみコピーすることにした。WIDE

クラウド上に、Ubuntu Linuxのサーバをセットアップし twoサーバ上のコンテンツとアカウント情報をコピーした。

3.2 移行と構築

twoサーバは two WGメンバーのみが利用するホストであり、公開サービスなどは行なっていないためインフラとしての要素が低く、可能な限りWIDEクラウド環境の実験に協力する構成とした。インターネットへのアクセスは固定の IPアドレスを割り振るのではなく、WIDEクラウドが自動でホストに割り振るアドレスを利用した。EUI-64で付与される IPv6グローバルアドレスとDHCPで付与される IPv4プライベートアドレスを用いている。IPv6では、このアドレスをDNS

のAAAAレコードに登録を行った。IPv4はWIDEクラウドのmap646機構を用いて、IPv4グローバルアドレスと IPv6アドレスのマッピングを実施した。この機構により、twoサーバへの IPv4アクセスは、サーバ側では IPv6アクセスとして認識される。また、この構成を採ることによりWIDEクラウド上での仮想サーバマイグレーションが可能となる。

28

3.3 今後の課題

旧来の twoサーバでは管理用ドキュメント以外に計測ツール類などが稼働していたが、今回の移行作業では環境をそのまま移行できなかったことと、計測ツールが動作している環境が古いため新設サーバ上で稼働させることができなかった。今後、現在のWIDEインターネットに則した計測ツールを新たに作成することで対応したい。

29

4 おわりに本年度もWIDEバックボーンネットワークの安定運用を行ってきた。来年度の計画として、新たに慶應大学大学院メディアデザイン研究科内に日吉NOCの設立とバックボーンのレイヤ 2ネットワークをEtherOAM化することが計画されている。また、引き続きWIDEバックボーンネットワークの安定運用を行っていきつつ，安定したドメイン間 IPv4/IPv6マルチキャストの運用，安定運用のための計測，管理システムの研究開発と運用実験，また，若手の育成や技術伝承による教育活動など，精力的にネットワーク運用と研究開発を行っていく．

5 CopyRight

c⃝2011 WIDE Project Two Working Group

30

Date post:	03-Aug-2020
Category:	Documents
Upload:	others
View:	0 times
Download:	0 times

Network Diagrams of WIDE BackboneAPNIC-Cyclades 4/15 seil 4/184/144/4 GbE2 GbE1 DIX-IE GbE3 cisco1...

Documents