BGP 네트워크 데이터 내의 이상탐지를 위한 데이터 시각화 분석 기법 Visual Analytic Approach for Anomaly Detection in BGP Network Data 요 약 최근 COVID-19 확산으로 인한 인터넷 트래픽의 증가함에 따라 사이버 공격 또한 비례적으로 늘어났다. 사이버 공격으로 인한 피해가 커지면서 사이버보안 솔루션에 대한 요구도 늘어났고 많은 연구가 진행 중이다. 이중 본 연구는 BGP (Border Gateway Protocol) 실 데이터를 수집하여 기존 알고리즘을 활용하여 기존 논문보다 사용자에게 더 직관적인 시공간적 시각화하고, bgpstream.com 에서 제공한 실제 hijacking, BGP leaks 그리고 outage 데이터를 활용하여 이상징후 감지 알고리즘을 검증하고 고도화한다. 키워드 : BGP, 하이재킹, BGP 누출, 자율시스템, 정전 Recently, with the increase in internet traffic due to the spread of COVID-19, cyber attacks have also increased proportionally. As the damage caused by cyber attacks increases, the demand for cybersecurity solution has also increased, and a lot of research is ongoing. Among them, this study proposes a visual analytic approach by collecting real BGP (Border Gateway Protocol) data. It provides users with more intuitive spatiotemporal visualization than existing approaches and verifies and advances the anomaly detection algorithm using actual hijacking, BGP leaks and outage data provided by bgpstream.com. Furthermore, it collects BGP Incident data and verifies the performance of BGP detection algorithm and shows the pattern of BGP Anomaly providing insight to users. Keywords : Border Gateway Protocol, Hijacking, BGP leaks, Outage 1. 서론 2020 년 코로나바이러스 확산으로 인해 사회적 거리두기와 재택근무를 실시함에 따라서, 기업과 개인의 인터넷 사용이 크게 증가했고 트래픽 예상 성장률을 뛰어넘었다. 트래픽이 늘어나면서 사이버 공격으로 인한 피해 또한 커졌고 FBI 에 의하면, 2019 년 사이버 공격으로 인한 경제적 손해만 3.5 billion (약 4 조원)에 이른다. MarketandMarkets 에 의하면, 글로벌 범위로 사이버 보안 시장이 2018 년 기준 $152.712 billion 달러에서 2023 년까지 $286.6 billion 달러로 확장할 것이라고 예측했다. 이에 따라 사이버보안 솔루션에 대한 요구도 늘어났다. 2. BGP 정의 및 경로 선정 원리와 보안 취약성 2.1 BGP 정의 및 특징 BGP (Border Gateway Protocol)는 각 AS (Autonomous System)와 AS 간 사용되는 라우팅 프로토콜이다. BGP 는 AS 간 통신할 때 최적의 경로를 찾아 네트워크 통신 속도를 개선하는 역할을 가지고 있기 때문에 많이 사용되는 프로토콜로서, 이의 특징은 다음과 같다. BGP 의 라우팅 방식은 Path Vector
Transcript
BGP 네트워크 데이터 내의 이상탐지를 위한 데이터
시각화 분석 기법
Visual Analytic Approach for Anomaly Detection in
BGP Network Data
요 약 최근 COVID-19 확산으로 인한 인터넷 트래픽의 증가함에 따라 사이버 공격 또한 비례적으로 늘어났다.
사이버 공격으로 인한 피해가 커지면서 사이버보안 솔루션에 대한 요구도 늘어났고 많은 연구가 진행 중이다. 이중 본 연구는 BGP (Border Gateway Protocol) 실 데이터를 수집하여 기존 알고리즘을 활용하여 기존 논문보다 사용자에게 더 직관적인 시공간적 시각화하고, bgpstream.com 에서 제공한 실제 hijacking, BGP leaks 그리고 outage 데이터를 활용하여 이상징후 감지 알고리즘을 검증하고 고도화한다. 키워드 : BGP, 하이재킹, BGP 누출, 자율시스템, 정전
Recently, with the increase in internet traffic due to the spread of COVID-19, cyber attacks have also increased
proportionally. As the damage caused by cyber attacks increases, the demand for cybersecurity solution has also increased, and a lot of research is ongoing. Among them, this study proposes a visual analytic approach by collecting real BGP (Border Gateway Protocol) data. It provides users with more intuitive spatiotemporal visualization than existing approaches and verifies and advances the anomaly detection algorithm using actual hijacking, BGP leaks and outage data provided by bgpstream.com. Furthermore, it collects BGP Incident data and verifies the performance of BGP detection algorithm and shows the pattern of BGP Anomaly providing insight to users. Keywords : Border Gateway Protocol, Hijacking, BGP leaks, Outage
1. 서론 2020 년 코로나바이러스 확산으로 인해 사회적 거리두기와 재택근무를 실시함에 따라서, 기업과 개인의 인터넷 사용이 크게 증가했고 트래픽 예상 성장률을 뛰어넘었다. 트래픽이 늘어나면서 사이버 공격으로 인한 피해 또한 커졌고 FBI 에 의하면, 2019 년 사이버 공격으로 인한 경제적 손해만 3.5 billion (약 4 조원)에 이른다. MarketandMarkets 에 의하면, 글로벌 범위로 사이버 보안 시장이 2018 년 기준 $152.712 billion 달러에서 2023 년까지 $286.6 billion 달러로 확장할
것이라고 예측했다. 이에 따라 사이버보안 솔루션에 대한 요구도 늘어났다. 2. BGP 정의 및 경로 선정 원리와 보안 취약성 2.1 BGP 정의 및 특징 BGP (Border Gateway Protocol)는 각 AS (Autonomous System)와 AS 간 사용되는 라우팅 프로토콜이다. BGP 는 AS 간 통신할 때 최적의 경로를 찾아 네트워크 통신 속도를 개선하는 역할을 가지고 있기 때문에 많이 사용되는 프로토콜로서, 이의 특징은 다음과 같다. BGP 의 라우팅 방식은 Path Vector
또는 Advanced Distance Vector 방식을 따른다. IGP 에 비해 설정이 복잡하고 경로 조정 시에 여러 가지를 고려해야 하므로 관리자가 적극 개입한다. 따라서, 수렴 속도가 IGP 에 비해 느리며 도메인을 수동으로 설정해 주어야 한다.
2.2 BGP 보안 취약성 및 Prefix Hijacking 이론 관리자가 적극 개입해도 BGP 는 경로 인증하는 시스템이 존재하기 않기 때문에 검증이 안된 AS 가 위조된 경로를 선언할 수 있다. Prefix 가 겹치는 경우, BGP 는 길이가 가장 긴 prefix 위주로 최적의 경로를 선정하고 AS 경로의 길이도 같이 저장한다. 위 특징을 활용하여 Prefix Hijacking 이 자주 일어난다. Prefix Hijacking 은 BGP 의 잘못된 경로를 반복적으로 선언하여 원래 목적지의 네트워크를 변경하여 경로를 위조하는 방식이다. 이러한 방법은 검증이 안 된 AS 가 IP 주소의 prefix 의 소유권을 선언하고 위조된 경로를 구성하여 사용자를 그 목적지로 유도할 수 있다. 이 밖에도, 어떠한 라우터는 BGP 방식으로 최적의 경로를 찾을 때, 더 가깝다는 이유로 인해 그 경로로 유인하기도 한다. 두 번째, 피해자의 prefix subnet 주소를 선언함으로써, 앞에서 다룬 BGP 의 가장 긴 prefix 위주로 선정하는 특징을 활용하여 위조된 경로로 유도한다. 세 번째는 할당되지 않은 prefix 나 길이가 짧은 prefix 를 선언하여 다수의 IP 주소의 소유권을 선언하고 그 잘못된 경로로 유인한다. 3. 기존 BGP 이상징후 감지 알고리즘 IEEE 학회에서 Bahaa (2016)에 의하면, BGP Anomaly 의 종류는 위 그림 11 에서 다양하게 분류가 될 수 있으나, 그에 대한 원인은 네 가지로 구성할 수 있다.
Anomaly type Cause
All anomaly excluding Direct
Intended type
Abrupt Volume change and update
of BGP
Link Failure Connection between uncommon
AS and AS with long path
Direct intended and unintended
anomaly
When the number of hops changes
rapidly and the prefix declaration
list and monitoring point are
different
Direct intended and unintended
anomaly
If the geographically located AS,
prefix, and monitoring point are out
of the way
All types of anomaly Accessibility problem of declared
prefix
표 1 BGP 이상징후의 원인 (Fig. 1 Causes of BGP Anomaly)
Anomaly 의 종류가 같아도 발생한 원인이 다를 수 있으며, 각 원인을 분석하기 위해 다차원적 분석이 필요하다.
3.1 BGP Anomaly 시계열 (Time Series) 접근
시계열적 접근으로서 Labovvitz et al. [106] 논문에는 FFT (Fast Fourier Transform, FFT) 알고리즘을 사용하여 감지하고 Mai et al. [73] Control plane 데이터 소스를 사용하나, 그 알고리즘을 적용하기에는 우리가 수집한 Ripe (Ripe Network coordination Centre에서 제공하는 Border Gateway
Protocol) 데이터의 피처가 일부 없기 때문에 적용하기 어렵다. 그래서 Al-Musawi et al. [4]의 RQA (Recurrence Quantification Analysis)의 기법은 현재 수집한 데이터셋에 필요한 피처가 있기 때문에 실험할 예정이다. 이 기법은 Direct unintended anomaly 를 감지할 수 있으며, 단순 BGP 의 volume 과 AS 경로의 평균 길이를 환산하면 된다. RQA 알고리즘은 비선형적 데이터 분석 기반이며 역동적으로 변하는 시스템을 조사하는 데 쓰인다. 1) 재발생률 (Recurrence Rate)을 환산한다.
ℛℛ = $%&∑ ℛ(𝑖, 𝑗)%-,./$
2) 대각선의 재발생률 점을 찍어서 그의 확률을 구하는 Determinism 을 구한다.
𝐷𝐸𝑇 =∑ 𝑙𝑃(𝑙)56/6789
∑ 𝑙𝑃(𝑙)%6/$
P(l)은 분포도에 빈도를 의미한다. LAM 은 lP(l) 대신에 vP(v)가 들어가면 된다.
𝐿 =∑ 𝑙𝑃(𝑙)56/6789
∑ 𝑙𝑃(𝑙)%6/$
3) 위와 마찬가지로 수직선인 LAM 을 환산하여 대각선의 평균 길이를 구한다.
𝑇𝑇 =∑ 𝑣𝑃(𝑙)5</<789
∑ 𝑃(𝑙)%<789
4) TT (Trapping Time)은 각 상태의 유지 시간을 환산하여 변화량을 감지한다. Al-Musawi et al. [4]에서는 시간대별 AS 경로의 평균길이와 BGP 트래픽 양의 변화를 감지하여 anomaly 를 감지한다. 하지만, 매초 데이터가 쌓여야 감지 확률이 높아지고 감지 시간이 근 실시간에 가까워지는 장점이 있지만 5 분 간격의 데이터만 존재하기 때문에 이 접근 또한 한계가 있다.
3.2 BGP Anomaly 머신러닝 (Machine Learning) 접근
머신러닝 접근에서는 다양한 anomaly를 감지할 수 있는
장점이 있지만, 이론적으로 공격자 AS가 누군지 알 수가
없다. 모두 Control plane 데이터 소스를 사용하고 논문에서는
C4.5 트리 기법, de Urbina Cazenave et al. [104]에서는
Decision tree, Naive Bayes, SVM (Support Vector
Machine), Al-Rousan and Trajkovic [72]에서도 SVM을
사용하고 Lutu et al. [115] Winnowing algorithm을 사용하여
direct unintended anomaly를 감지하기도 했다. 위 방법 모두
공격자를 알 수 없기 때문에 다양한 anomaly를 감지하여
감지 확률을 개선하기에는 한계가 존재한다.
3.3 BGP Anomaly 통계적 (Statistical) 접근
통계적 접근에서도 마찬가지로 다양한 anomaly 감지가
가능하고 Control plane 데이터 소스를 사용하였다. Huang et
al. [120]에서는 PCA 기법으로 감지, Deshpande et al.
에서는 EWMA(Exponentially Weighted Moving Average),
PCA, GLRT (Generalized Likelihood Ratio Test) 기법을
사용하여 모든 anomaly 감지를 할 수 있고 Theodoridis et
al. [122]에서는 단순하게 Z-score를 환산하여 Direct-
intended anomaly를 감지할 수 있었다. Deshpande et al.
[17]가 성과가 가장 좋은 확률이 높은 이유는 실제로 Ripe
데이터셋을 활용했기 때문에 수집 주기가 5분이고 BGP
volume, 해당 AS에서 해당되는 AS경로 길이의 분포도의 z-
score > 2.33 에 해당되는 anomaly를 분류해주면 된다.
Fisher score을 사용하여 가장 유력한 3개의 피처를
추려냈고 위 세 가지 피처 모두 사용해서 False positive
rate을 낮출 수 있다고 했다. 비록 감지하는데 약 1시간의
지연이 있지만 높은 감지율의 성과를 냈다.
3.4 BGP Anomaly 역사적 (Historical) 접근
Shi et al. [5] 논문에서는 역사적 접근법으로 데이터 소스를
control과 data plane 모두를 사용하였고 직접 감지 그리고
비간접적 경로를 감지하는데 성공했다. Haeberlen et al.
[13]에서는 control plane만 사용해서 testbed 데이터셋에서
이상징후를 감지하는 데 성공했다. 두 논문 모두 Prefix
origin 변화만 사용했고 인터넷 토폴로지 (Topology)가 거의
변하지 않는다는 가정을 하고 감지한다. Shi et al. [5]에서는
2개월마다 BGP 업데이트를 갱신한다. 위 접근법은 단순히
Prefix origin의 리스트를 구성하고 2개월마다 갱신하면서
outlier를 감지하면 되기 때문에 방법은 단순하다. 하지만,
bgpstream 데이터는 오로지 2021년 02월부터 2020년
08 월 정도의 데이터로서, 채 1년이 안 되는 기간의
데이터이므로, 이를 검증하는 데에는 한계가 존재한다.
4. 제안 모델
4.1 수집과 전처리 설계
본 연구는 BGP 데이터를 수집하고 기존 이상징후 감지 알고
리즘을 활용하여 실 데이터 기반으로 실험을 진행하고
geomap에 직관적으로 시각화한다. 제안 모델의 전체적인 흐
름은 아래와 같다.
그림 2 시공간 분석을 위한 제안 모델 – 1 수집/전처리
(Fig. 2 Proposed model for spatiotemporal analysis – 1 collection/preprocessing)
데이터 수집 및 전처리 서비스는 reverse-proxy가 주로 처리
한다. Reverse proxy는 IP 주소를 지역 데이터의 위도와 경도
로 변환하는 기능이다. FTP (File Transfer Protocol) 방식으로
Ripe (Ripe Network coordination Centre에서 제공하는
Border Gateway Protocol) 데이터를 수집한다. BGP 데이터를
mrt2bgpdump 함수를 사용하여 암호화된 데이터를 decode
(해독)해서 정형화된 bgp데이터를 bgp 데이터베이스에 적재한
다. ip주소를 Maxmind DB를 사용하여 geo-location
(longitude, latitude)로 변환하고 각 나라에 매핑한다.
MaxmindDB에서 조회 안된 IP 주소는 IP Stack API를 활용하
여 추가로 조회한다. 시공간적으로 변환한 데이터를 bgp-ods
DB에 적재한다. 각 데이터베이스는 MariaDB를 사용한다.
4.2 분석과 시각화 설계
그림 3 시공간 분석을 위한 제안 모델 – 2 분석/시각화
(Fig. 3 Proposed model for spatiotemporal analysis – 2 analysis/visualization)
Data-service에서는 주로 API gateway 역할을 할 예정이며,
백엔드 (Backend)와 프론트엔드 (Frontend)의 middleware가
되는 웹 서비스다. Analysis core에서 구성한 최종 service DB
model을 구성한 후, api endpoint를 따로 정의한다. 프레임워
크 (Framework)은 python Flask를 사용하며 Analysis-Core
에서는 분석할 때 필요한 칼럼을 추려내서 환산하고 앞에서
다룬 다차원적 접근으로 이상징후 감지를 하고 시각화하기 필
요한 데이터는 쿼리하고 데이터 브러싱 (data brushing)을 거
쳐서 시각화 및 서비스 용 DB에 적재한다.
Column Name Type Description
start_time TIMESTAMP Query start time (1 week
duration)
end_time TIMESTAMP Query end time (1week
duration)
parent_as INT Parent AS
child_as INT AS corresponding to AS path
as_volume VARCHAR Volume of specific section
as_path_len_avg VARCHAR Average length of AS route for
a specific section
pk_as_dt(claimed_at,
origin_as, child_as)
PRIMARY
KEY
PK composed of Composite
key
표 1 bgp_stat의 테이블
(Table 1 of bgp_stat)
BGP 데이터의 이상점수 (anomaly score)를 환산하기 전에 통
계적 접근을 적용하고 Sankey Chart을 시각화하기 위한
bgp_stat 테이블을 활용한다. parent_as는 출발지 AS와 같으
며 child_as는 as 경로에 해당된 AS (자율시스템)을 별도로
저장한 칼럼이다. as_volume 칼럼은 start_time <= t <=
end_time에 해당 되는 edge의 degree를 모두 합산한 것이다.
Sankey Chart의 선의 두께와 같다. as_path_len_avg는 특정
구간의 AS 경로의 평균 길이를 의미하며 z-score 및 이상점
수 (Anomaly Score)을 합산하는 데 쓰인다.
5. 이상징후 감지 알고리즘 고도화 및 시각화
5.1 Geo Map 시각화
이상징후 점수를 환산할 때 기존 통계적 기법과 시계열 기법
을 적용하고 Rule-based 로직과 융합했다. 제안 방법에서는
AS 경로의 길이 z-score이 2.33 sigma를 넘을 경우, 30으로
설정하였다. AS_volume이 이전 일주일과 다르게 새로운 경로
고 경로가 흔하지 않은 경우, 20점을 부과하고 (Parent_AS,
Child_AS) 가 bgpstream에서 수집한 잠재적인 Hijacking을
한 이력이 있을 경우 20점을 부과하며 이때 누적 합산이 가능
하다. 최종적으로 (Parent_AS, Child_AS)가 BGP Leak을 한
이력이 있을 경우 50점을 부과하여 해당 AS가 시각화에서 최
소 경고 등급을 받도록 설정한다.
그림 4 BGP Incident 지도 시각화
(Fig. 4 BGP Incident geomap visualization)
이상징후 등급: 상 (점수 60점 이상, 빨간색)
이상징후 등급: 중 (점수 50점 이상, 노란색)
이상징후 등급: 정상 (초록색)
Anomaly level: High (Above score 60, Red)
Anomaly level: Middle (Above score 50, Red)
Anomaly level: Normal (Green)
전체 기간으로 설정하고 이를 조회했을 때 약 14%의 ASN만
겹쳤으며, AS 경로의 이상징후 등급을 분류할 때 단순히
Parent_AS의 라벨 (label)만 조합하면 개발 AS 경로의
False-Positive가 늘어나기 때문에 (Parent_AS, Child_AS)
조합이 겹치고 시간 주기를 적절하게 설정해야 한다.
CleanTalk에서 주간 Top 20 AS Blacklist 데이터를 공개하며
각 (Parent_AS, Child_AS) 조합과 시간 간격을 너무 짧은
하루로 설정했을 때는 겹치는 incident 데이터가 확고히
적어지고 오로지 통계적 접근으로 감지하기 때문에 한계가
있다. 이를 개선하기 위해 시간 주기를 일주일로 늘려서
이상징후 감지율을 개선했다.
그림 5 일주일 주기의 개선된 BGP 지도 시각화
(Fig. 5 Improved BGP map visualization of the weekly cycle)
실제로 BGP Hijacking이 발생한 AS과 Hijack된 경로만
이상등급으로 분류했고 통계적 기법과 Rule-based 기법을
융합해서 의심이 가는 등급은 노란색으로 표기하도록 하였다.
5.2 Sankey Chart시각화
그림 6 Sankey Chart 을 활용한 이상징후 감지
(Fig. 6 Detection of anomaly using Sankey Chart)
Sankey Chart는 BGP volume이 낮은 것을 이상징후로
분류하는 시각화 기법이다. 사용자가 직관적으로 흔하지 않은
경로를 빨간색 (이상징후)로 분류해서 볼 수 있다.
그림 7 False Positive 가 높은 Sankey Chart
(Fig. 7 Sankey Chart with high False Positive Rate)
그림 7과 같이 Degree가 단순 낮은 경로가 자주 발생하는
경우가 있기 때문에 이 시각화 기법에도 조회 기간을 더 길게
늘려서 degree가 낮은 경로가 발생하지 않도록 방지할 수
있으나, 일주일을 적용해도 degree가 낮은 경로가 자주
발생되어서 False Positive가 계속 높은 확률로 발생이 되는
현상이 발생한다. 조회 기간을 무려 한달까지 늘려서
시각화를 구성할 수 있으나, 이 경우에는 데이터가 너무
많아져서 latency가 늘어난다.
그림 8 통계적 기법 적용한 Sankey Chart
(Fig. 8 Statistical method applied Sankey Chart)
이를 해결하기 위해 통계적 기법을 활용하여 AS 경로의
길이에 z-score을 적용하여 등급을 분류하도록 개선했다.
조회 기간을 늘리고 degree 경로가 흔하지 않으면서도 유독
AS 경로의 길이가 평소보다 짧거나 너무 길면 Prefix
Hijacking으로 의심할 수 있다. 실제 BGP Incident 데이터와
비교했을 때 의심 경로를 감지하기도 했다.
6. 결론
위 논문에서는 BGP 데이터의 이상징후를 감지하기 위해
시계열 분석과 통계적 기법을 적용했다. 실제 잠재적인 hijack
데이터 그리고 hijack된 BGP Incident 데이터를 수집하여
데이터 소스 측면에서 이상 감지율을 검증했다. 실제
데이터에 통계적 기법을 적용했을 때 z-score의 임계치를
유동적으로 수정하여 BGP 이상징후를 분류할 때 False
Positive Rate을 낮추었다. 향후 더 많은 BGP Incident
데이터베이스를 구성하여 labeled 데이터셋을 구성하고
검증을 통해 이상징후 감지율을 개선하고 네트워크를
보호하는 데 기여가 될 것이다.
참고 문헌
[1] E. Biersack et al., "Visual analytics for BGP monitoring and
prefix hijacking identification," in IEEE Network, vol. 26, no. 6, pp.
33-39, November-December 2012
[2] M. Syamkumar, R. Durairajan and P. Barford, "Bigfoot: A
geo-based visualization methodology for detecting BGP threats,"
2016 IEEE Symposium on Visualization for Cyber Security
(VizSec), Baltimore, MD, 2016, pp. 1-8
[3] Blinder, R., Biller, O., Even, A., Sofer, O., Tractinsky, N.,
Lanir, J., & Bak, P. (2019, September). Comparative Evaluation of
Node-Link and Sankey Diagrams for the Cyber Security Domain.
In IFIP Conference on Human-Computer Interaction (pp. 497-518).
