+ All Categories
Home > Documents > JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19...

JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19...

Date post: 04-Jul-2020
Category:
Upload: others
View: 0 times
Download: 0 times
Share this document with a friend
32
LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛
Transcript
Page 1: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

LINEサービスを運用して見えてきた課題

JANOG392017.01.19

LINECorporation三枝慶寛

Page 2: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

LINEサービス概要2

2億2,000万⼈グローバルMAU (2016.9時点)

スマートフォンに特化したメッセンジャーサービスとして2011年6⽉にサービス開始

Page 3: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

サービス開始当初 2011.06~3

DCNetwork DCFacility

数百台規模

• 3kVA/Rack

• 15~20Servers/Rack

• 全体空調Access

Aggregation

Core

1G

2G+2G(STP)

10Gxn

10Gxn

LBLB

• 典型的な3階層ネットワーク• LoadbalancerはL2DSRで構成 • 2005年に利用開始したセンター

Page 4: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

サービス開始当初 2011.06~4

EastWestTraffic対応

数百台規模

2G+2G(STP)10G+10G(MC-LAG)Access

Aggregation

Core

1G

10Gxn

10Gxn

LBLB

• 一番最初に問題になったのはAggregation~Access間の帯域不足• 10Gx2のmultichassisLAGへの変更で対応

Page 5: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

急拡大期 2012~20145

数千台規模

Access

Aggregation

1G

10G+10G(MC-LAG)

10Gxn10Gxn

LBLB LBLB・ ・ ・

• 複数POD• L3DSR

BackendCoreFrontend Core

• サーバーの規模拡大に合わせて、MultiPOD構成に• POD間通信専用のCoreの新設とL3DSRの採用

Page 6: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

急拡大期 2012~20146

数千台規模

LBLB LBLB・ ・ ・

UnknownUnicastFlooding問題

VL10VL20VL30

Access

Aggregation

1G

10G+10G(MC-LAG)

10Gxn10Gxn

BackendCoreFrontend Core

VL10VL20VL30

• VLAN設計+STPの動作によりUnicastFloodingの問題が発生していた

Page 7: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

急拡大期 2012~20147

数千台規模

LBLB LBLB・ ・ ・

原則 1VLAN/Rackに変更

VL10 VL20 VL30 VL40VL100

VL10VL20VL30

Access

Aggregation

1G

10G+10G(MC-LAG)

10Gxn BackendCoreFrontend Core10Gxn

• VLAN設計の変更で対応• ただし一部VLAN(GlobalIP用途やVM用途)は引き続き、Rackまたぎを許容

Page 8: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

急拡大期 2012~20148

数千台規模

DCFacility

• 3kVA/Rack

• 15~20Servers/Rack

• 全体空調

• 8.5kVA/Rack

• 40+Servers/Rack

• 局所空調 (POD単位)

既存DC 新規DC

• サーバーの増加に合わせてデータセンターを拡張• 新しいセンターのSpecをどうやって使いこなすかを検討

Page 9: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

急拡大期 2012~20149

数千台規模

DCFacility

• 47U以上の空間

• 90本のUTPケーブル収容

• 94口以上の電源

• DCの空調仕様への対応

• 1U Server45台/Rack

• ToR Switch二重化

• 電源二重化

• 機器の冷却

やりたいこと 必要なもの

Page 10: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

10

• 51Uラックを採用

• 100口の電源/Rack• UTPケーブル用のケーブルマネージャー設置

Page 11: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

ToR Switch〜 Server Cabling11

Switch

ServerServerServerServerServerServerServerServer

Switch

ServerServerServerServerServerServerServerServer

冷たい空気

暖かい空気

ToRが前面だとケーブルの取り回ししづらい

ServerServerServerServer

ServerServerServerServer

ネットワークインターフェース

SwitchSwitch

ラック断面図

ColdAisle

Page 12: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

12

• ラック背面でケーブリングが完結できるようにパッチパネルを用いた方式を考案

• パッチパネル自体の取り回しづらさが問題となる

Page 13: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

13

• 新しいRackからはパッチパネルではない別の方式を採用

• Rack背面にToR Switchを設置• 背面に設置する場合は、

Airflowで考慮が必要

Page 14: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

ToR Switch〜 Server Cabling14

Switch

ServerServerServerServerServerServerServerServer

Switch

ServerServerServerServerServerServerServerServer

冷たい空気

暖かい空気

ToRを背面に設置すれば取り回しは解決できる

ServerServerServerServer

ServerServerServerServer

ネットワークインターフェース

SwitchSwitch

ラック断面図

ColdAisle

Page 15: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

ToR Switch〜 Server Cabling15

ServerServerServerServerServerServerServerServer

ServerServerServerServerServerServerServerServer

冷たい空気

暖かい空気

ToRを背面に設置&冷たい空気を届ける

ServerServerServerServer

ServerServerServerServer

SwitchSwitch

ネットワークインターフェース

SwitchSwitch

ラック断面図

ColdAisle

Page 16: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

16

• SwitchBox(LINEでの呼称)を用いた方式を考案

• ColdAisleの冷たい空気をSwitchまで送り届ける

Page 17: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

17

BOX外部 22.8℃ BOX内部 23.1℃

SwitchBox外部/内部の温度差

Page 18: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

急拡大期 2012~201418

海外インフラ

通信環境の違い 遠距離

海外で発生した問題

Page 19: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

急拡大期 2012~201419

海外インフラ

海外で発生した問題

LBLB

Application Infra

様々な通信環境への対応 遠距離の問題を解決

Page 20: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

急拡大期 2012~201420

海外インフラ

COREDC

RegionalDC

SG

USDE• RegionalDCでTCPを終端

• Cache

距離が遠い利用者への対策

• Response向上のためにユーザーの近くでTCPを終端

• RegionalDCでデータをキャッシュすることでCOREDC間の帯域削減

Page 21: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

急拡大期 2012~201421

海外インフラ

SiteSelection

COREDC

RegionalDC

SG

USDEConfiguration

file

MCCMNC

Client Server 最適なSite選択

Clientが最適なSiteを選択する仕組みとして、MCC/MNCの情報を参照

Page 22: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

急拡大期 2012~201422

海外インフラ

Peering Traffic比率

95%

COREDC

RegionalDC

SG

USDE

50%

24%37%

Page 23: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

急拡大期 2012~201423

いろいろなEventTraffic

• 事件・事故・災害

• GlobalなEventTraffic

• LocalなEventTraffic

Page 24: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

急拡大期 2012~201424

EventTraffic

日本のあけおめ

Page 25: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

急拡大期 2012~201425

EventTraffic

タイのTraffic Pattern

2016/12/258:00 10:00 22:00

午前8時〜10時(現地時間)にピークが訪れる

Page 26: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

急拡大期 2012~201426

EventTraffic

2015年6月17日 2015年6月18日

19:00頃(日の入り)

0:00

中東地域のTrafficPattern

• ラマダンの期間中に現れるTrafficPattern• 日の入りでTraffic落ち込む• 夜のPeakTrafficの減少

Page 27: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

現在 2015~27

数万台規模

Access

Aggregation

1Gor10G

10Gxn10Gxn

LBLB LBLB・ ・ ・

BackendCore

10Gor40Gx2(MC-LAG)

VL10 VL20 VL30 VL40VL100

FrontendCore

VL10 VL20 VL30 VL40VL100

• Trafficの増加• 2N構造の非効率性• DSRの弱点• IPv6対応

Page 28: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

現在 2015~28

数万台規模

LoadBalancerのArchitecture改善2N

Client LB(2N)

APP

冗長機

LB(N+1)

APPRouterClient

N+1

Statelessでの動作とN+1構造が実現できるものを開発中

Page 29: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

現在 2015~29

数万台規模

IPv6

未対応

• JANOG39発表時現在v6には対応できていない• 2017年中には何らかのTrafficをv6で流したい

Page 30: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

現在 2015~30

海外インフラ

COREDC

RegionalDC

SG

USDE

LocalCache

TH

2Tierから3Tierへ

• ISP内に設置可能なCacheServerを開発

• タイで導入済み

Page 31: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

31

月間平均ResponseTimeとの乖離• ResponseTimeに対して月間と日間の平均の差のグラフ

• 日本は月末にResponseTimeが悪化する傾向が見られる

Page 32: JANOG39 LINE 事後資料LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛 LINEサービス概要 2 2億2,000万 グローバルMAU

ききたいこと

• DC/GlobalNetwork&DCFacilityについて– LINEの取り組みへのコメントや質問– みなさんの悩みや取り組み事例

• 通信事業者の方へ– ネットワークを提供する側の悩み– コンテンツ事業者側が協力できること

32


Recommended