32
LINEサービスを運用して見えてきた課題 JANOG39 2017.01.19 LINE Corporation 三枝慶寛
LINEサービスを運用して見えてきた課題
JANOG392017.01.19
LINECorporation三枝慶寛
LINEサービス概要2
2億2,000万⼈グローバルMAU (2016.9時点）
スマートフォンに特化したメッセンジャーサービスとして2011年6⽉にサービス開始
サービス開始当初 2011.06~3
DCNetwork DCFacility
数百台規模
• 3kVA/Rack
• 15~20Servers/Rack
• 全体空調Access
Aggregation
Core
1G
2G+2G(STP)
10Gxn
10Gxn
LBLB
• 典型的な3階層ネットワーク• LoadbalancerはL2DSRで構成 • 2005年に利用開始したセンター
サービス開始当初 2011.06~4
EastWestTraffic対応
数百台規模
2G+2G(STP)10G+10G(MC-LAG)Access
Aggregation
Core
1G
10Gxn
10Gxn
LBLB
• 一番最初に問題になったのはAggregation~Access間の帯域不足• 10Gx2のmultichassisLAGへの変更で対応
急拡大期 2012~20145
数千台規模
Access
Aggregation
1G
10G+10G(MC-LAG)
10Gxn10Gxn
LBLB LBLB･ ･ ･
• 複数POD• L3DSR
BackendCoreFrontend Core
• サーバーの規模拡大に合わせて、MultiPOD構成に• POD間通信専用のCoreの新設とL3DSRの採用
急拡大期 2012~20146
数千台規模
LBLB LBLB･ ･ ･
UnknownUnicastFlooding問題
VL10VL20VL30
Access
Aggregation
1G
10G+10G(MC-LAG)
10Gxn10Gxn
BackendCoreFrontend Core
VL10VL20VL30
• VLAN設計＋STPの動作によりUnicastFloodingの問題が発生していた
急拡大期 2012~20147
数千台規模
LBLB LBLB･ ･ ･
原則 1VLAN/Rackに変更
VL10 VL20 VL30 VL40VL100
VL10VL20VL30
Access
Aggregation
1G
10G+10G(MC-LAG)
10Gxn BackendCoreFrontend Core10Gxn
• VLAN設計の変更で対応• ただし一部VLAN(GlobalIP用途やVM用途）は引き続き、Rackまたぎを許容
急拡大期 2012~20148
数千台規模
DCFacility
• 3kVA/Rack
• 15~20Servers/Rack
• 全体空調
• 8.5kVA/Rack
• 40+Servers/Rack
• 局所空調 (POD単位)
既存DC 新規DC
• サーバーの増加に合わせてデータセンターを拡張• 新しいセンターのSpecをどうやって使いこなすかを検討
急拡大期 2012~20149
数千台規模
DCFacility
• 47U以上の空間
• 90本のUTPケーブル収容
• 94口以上の電源
• DCの空調仕様への対応
• 1U Server45台/Rack
• ToR Switch二重化
• 電源二重化
• 機器の冷却
やりたいこと 必要なもの
10
• 51Uラックを採用
• 100口の電源/Rack• UTPケーブル用のケーブルマネージャー設置
ToR Switch〜 Server Cabling11
Switch
ServerServerServerServerServerServerServerServer
Switch
ServerServerServerServerServerServerServerServer
冷たい空気
暖かい空気
ToRが前面だとケーブルの取り回ししづらい
ServerServerServerServer
ServerServerServerServer
ネットワークインターフェース
SwitchSwitch
ラック断面図
ColdAisle
12
• ラック背面でケーブリングが完結できるようにパッチパネルを用いた方式を考案
• パッチパネル自体の取り回しづらさが問題となる
13
• 新しいRackからはパッチパネルではない別の方式を採用
• Rack背面にToR Switchを設置• 背面に設置する場合は、
Airflowで考慮が必要
ToR Switch〜 Server Cabling14
Switch
ServerServerServerServerServerServerServerServer
Switch
ServerServerServerServerServerServerServerServer
冷たい空気
暖かい空気
ToRを背面に設置すれば取り回しは解決できる
ServerServerServerServer
ServerServerServerServer
ネットワークインターフェース
SwitchSwitch
ラック断面図
ColdAisle
ToR Switch〜 Server Cabling15
ServerServerServerServerServerServerServerServer
ServerServerServerServerServerServerServerServer
冷たい空気
暖かい空気
ToRを背面に設置&冷たい空気を届ける
ServerServerServerServer
ServerServerServerServer
SwitchSwitch
ネットワークインターフェース
SwitchSwitch
ラック断面図
ColdAisle
16
• SwitchBox(LINEでの呼称)を用いた方式を考案
• ColdAisleの冷たい空気をSwitchまで送り届ける
17
BOX外部 22.8℃ BOX内部 23.1℃
SwitchBox外部/内部の温度差
急拡大期 2012~201418
海外インフラ
通信環境の違い 遠距離
海外で発生した問題
急拡大期 2012~201419
海外インフラ
海外で発生した問題
LBLB
Application Infra
様々な通信環境への対応 遠距離の問題を解決
急拡大期 2012~201420
海外インフラ
COREDC
RegionalDC
SG
USDE• RegionalDCでTCPを終端
• Cache
距離が遠い利用者への対策
• Response向上のためにユーザーの近くでTCPを終端
• RegionalDCでデータをキャッシュすることでCOREDC間の帯域削減
急拡大期 2012~201421
海外インフラ
SiteSelection
COREDC
RegionalDC
SG
USDEConfiguration
file
MCCMNC
Client Server 最適なSite選択
Clientが最適なSiteを選択する仕組みとして、MCC/MNCの情報を参照
急拡大期 2012~201422
海外インフラ
Peering Traffic比率
95%
COREDC
RegionalDC
SG
USDE
50%
24%37%
急拡大期 2012~201423
いろいろなEventTraffic
• 事件・事故・災害
• GlobalなEventTraffic
• LocalなEventTraffic
急拡大期 2012~201424
EventTraffic
日本のあけおめ
急拡大期 2012~201425
EventTraffic
タイのTraffic Pattern
2016/12/258:00 10:00 22:00
午前8時〜10時（現地時間）にピークが訪れる
急拡大期 2012~201426
EventTraffic
2015年6月17日 2015年6月18日
19:00頃（日の入り）
0:00
中東地域のTrafficPattern
• ラマダンの期間中に現れるTrafficPattern• 日の入りでTraffic落ち込む• 夜のPeakTrafficの減少
現在 2015~27
数万台規模
Access
Aggregation
1Gor10G
10Gxn10Gxn
LBLB LBLB･ ･ ･
BackendCore
10Gor40Gx2(MC-LAG)
VL10 VL20 VL30 VL40VL100
FrontendCore
VL10 VL20 VL30 VL40VL100
• Trafficの増加• 2N構造の非効率性• DSRの弱点• IPv6対応
現在 2015~28
数万台規模
LoadBalancerのArchitecture改善2N
Client LB(2N)
APP
冗長機
LB(N+1)
APPRouterClient
N+1
Statelessでの動作とN+1構造が実現できるものを開発中
現在 2015~29
数万台規模
IPv6
未対応
• JANOG39発表時現在v6には対応できていない• 2017年中には何らかのTrafficをv6で流したい
現在 2015~30
海外インフラ
COREDC
RegionalDC
SG
USDE
LocalCache
TH
2Tierから3Tierへ
• ISP内に設置可能なCacheServerを開発
• タイで導入済み
31
月間平均ResponseTimeとの乖離• ResponseTimeに対して月間と日間の平均の差のグラフ
• 日本は月末にResponseTimeが悪化する傾向が見られる
ききたいこと
• DC/GlobalNetwork&DCFacilityについて– LINEの取り組みへのコメントや質問– みなさんの悩みや取り組み事例
• 通信事業者の方へ– ネットワークを提供する側の悩み– コンテンツ事業者側が協力できること
32
