Teradata Confidential1
ANALÝZA DAT PRO INFOSECLuboš MusilSolution architect
Teradata Confidential2
Big Data, Analýza dat pro InfosecVýzvy kybernetické bezpečnosti
oKybernetické útoky rostou závratným tempem. Aktuální systémy a procesy obtížně drží krok.o Limitovaná granularita a nízké samplovací frakvence ohrožují schopnost analyzovat data a
reagovatoPomalé reakční doba na identifikaci nových neznámých událostí v síti snižuje schopnost učinné
reakce.oHackeři neustále hledají nové způsoby, jak napadnout sítě, což vede k vysokým investicím do
kontroly a zabezpečení sítí.Problémy kybernetické bezpečnosti
oNeschopnost rozpoznat a reagovat na předzvěsti DDoS (Distributed Denial of Service) a další škodlivé počítačové útoky, než dojde k nějakému poškození.
oNeschopnost zabránit narušení legitimního provozu v síti.oŠpatná informovanost o škodlivém provozu na siti oproti obvyklému provozuoStávající řešení se zaměřují buď na základní analýzu v reálném čase nebo na sběr dat pro
pozdější forenzní analýzu.oV době, kdy Bezpečnostní innženýr (SOC) nebo Síťový inženýr (NOC) zjistí, identifikuje,
analyzuje, reaguje a blokuje kybernetický útok, je obvykle příliš pozdě.Cílem je zvýšit znalost a reakční čas
o Implementovat řešení, které poskytuje vysokorychlostní, detailní monitorování provozu sítě, korelaci událostí téměř v reálném čase a analýzy dat s cílem zlepšit povědomí o situaci
oZkrátit dobu odezvy na události o provozu na sítioZvýšit účinnost kontroloAnalyzovat a hodnotit příchozí a odchozí provoz „Co, kdo, jak, kdy téměř v reálném čase“o Aktivně reagovat na dosud neznámé riziko
To vše jsou obvyklé výzvy pro řešení z oblasti „Big dat“
Teradata Confidential3
Analýza dat pro InfoSecJak problematiku řešit?
oIntegrací bezpečnostních datTradiční přístup hiearchie vrstev v zabezpečení lze významně zefektivnit díky integraci a korelaci událostí síťových aktivit vznikajících ve stávajících bezpečnostních nástrojích, jako jsou např. firewally, IDS / IPS, proxy servery, routery a další nástroje nebo referenční zdroje dat.
oIntegrací siťových dat (Big Data & Analytics Integration w/ Near-Real-Time Performance)Použití analýz velkých dat integrovaných s běžnými bezpečnostními produkty, široké zachycování paketů a jejich kontrola.
oVyužitím prověřených řešení z oblasti BI/DWH
Řešení poskytujeo Jedno, komplexní a autorizované, prostředí integrující InfoSec a Cyber Security datové infrastruktury.
Analyzy a reporty, které poskytují nové pohledy na podporu zjednodušení procesů a zvýšení urovně zabezpečení.
oPodporu CISO výstupy datových analýz v Near-Real-Time rychlosti nad výše uvedenými integrovanými daty
oLepší, rychlejší, žalovatelné bezpečnostní informace - zmenšující kritický čas od detekce po nápravu (sanaci) umožňující odborníkům aktivně bránit a chránit vaši síť v dnešní „kybernetické válce „
Technologické požadavky• Extrémní rozšiřitelnost• Extrémní výkon• Vysoká dostupnost • Výkonný load dat a přístup k datůmMission Critical 7 x 24
Data Volume(Raw, User Data)
SchemaSophistication
QueryFreedom
QueryComplexity
QueryConcurrency
MixedWorkload
Query Data Volume
DataFreshness
Teradata Confidential4
Koncepce přítupu: Session, Vector
421029792443108623|172.33.0.51|0|ndsta1|1169099420|01-18-2007|5|50|-300|0|EST|EDT|10.88.69.211|10.88.69.216|SMTP|START|1489|25|88|173|0|85|2|2|0|0|0|0||4268602930|0|TCP
421029792443108623|172.33.0.51|0|ndsta1|1169099421|01-18-2007|5|50|-300|0|EST|EDT|10.88.69.211|10.88.69.216|SMTP|END|1489|25|1692|935|1244|407|11|13|0|0|1|0||243385948|0|TCP
(START of Session) (END of Session)
SessionID 421029792443108000 421029792443108000
AnalyzerIP 172.33.0.51 172.33.0.51
AnalyzerID 0 0
PopNm ndsta1 ndsta1
TimeStamp 1169099420 1169099421
TimeStampFrac 4268602930 243385948
Date 1/18/2007 1/18/2007
Hour 5 5
Minute 50 50
TzOfstMins -300 -300
TzDst 0 0
TzNm EST EST
TzDstNm EDT EDT
ClientIP 10.1.69.211 10.1.69.211
ServerIP 10.2.69.216 10.2.69.216
Protocol SMTP SMTP
EventNm START END
ClientPort 1489 1489
ServerPort 25 25
BytesSent 88 1692
BytesRecv 173 935
DataSent 0 1244
DataRecv 85 407
PktsSent 2 11
PktsRecv 2 13
DataRtrSent 0 0
DataRtrRecv 0 0
ConnectTime 0 1
EndStatus 0 0
Layer2InfoEndFlags 0 0
L4Proto TCP TCP
Příklad: Start a End Session Vector pro jednu SMTP Session
Tabular View of same Session Vectors
Start...
End
Každá jednotlivá Session má n Vectorů
Teradata Confidential5
Koncepce přítupu shromažďování dat
Teradata Confidential6
LANGUAGES MATH & STATS DATA MINING BUSINESS INTELLIGENCE APPLICATIONS
Security Engineers (SOC)
Data Scientists Network Engineers (NOC) CISO Fraud Analysts
Legal / ComplianceForensic Analysts Executives
Aktuální stav InfoSec architektury
E-MAIL GATEWAYS
SIEM DATA APT DATA
URL FILTERING DATA
SYS LOGS DEEP PACKET INSPECTION
INTERNET GATEWAY DATA
SNIFFER TOOLS
Netflow/IPFIX, Firewall, IDS/IPS, Router & Uživatelské aktivity log data, Referenční & produční data z vícero zdrojů, aplikací a zařízení
Koncoví uživatelé používají preferované vizualizací nástroje, programovací jazyky, skripty, reporty a statistické balíčky k analýze a reakci na bezpečnostní síťové událostí
Teradata Confidential7
DISCOVERY PLATFORM
CAPTURE | STORE | REFINE
LANGUAGES MATH & STATS DATA MINING BUSINESS INTELLIGENCE APPLICATIONS
E-MAIL GATEWAYS
SIEM DATA APT DATA
URL FILTERING DATA
SYS LOGS DEEP PACKET INSPECTION
INTERNET GATEWAY DATA
SNIFFER TOOLS
Internet
Gateway RouterInternal Network
INTEGRATEDDATA ANALYTICS
Security Engineers (SOC)
Data Scientists Network Engineers (NOC) CISO Fraud Analysts
Legal / ComplianceForensic Analysts Executives
Nové prvky InfoSec architektury
Discovery platforma
• Specializovaná platforma na bázi MapReduce s MapReduce SQL rozhraním
• Vlastní databáze, opuštění HDFS
• Anylýzy časových řad jedním průchodem
• Předdefinované analitycké funkce nPath,Graph analyses
Integrovaná data
• Masivně parallení databázová platforma
• Linearně skálovatelná ve všech dimenzích
• Indusrty data modely a IDW business model
• Mixovaná workload, Garantovaný výkon
• Vysoká dostupnst (HA)
Hadoop
• Uložení velkého objemu dat za nízké náklady na 1 TB v HDFS
• Výkonný batch load
• Není – plnohodnotné SQL, interaktivni session, konkurenční workload, HA
Teradata Confidential8
DISCOVERY PLATFORM
CAPTURE | STORE | REFINE
LANGUAGES MATH & STATS DATA MINING BUSINESS INTELLIGENCE APPLICATIONS
Analýza Infosec
E-MAIL GATEWAYS
SIEM DATA APT DATA
URL FILTERING DATA
SYS LOGS DEEP PACKET INSPECTION
INTERNET GATEWAY DATA
SNIFFER TOOLS
Internet
Gateway Router Ukládání packet & Inspekce a
analýza s partnerskými
produkty (Narus, SAS,Aster,...)
Interní Síť
INTEGRATEDDATA ANALYTICS
Security Engineers (SOC)
Data Scientists Network Engineers (NOC) CISO Fraud Analysts
Legal / ComplianceForensic Analysts Executives
Krok 2:
• Užití Discovery Platformy s konektory do Integrovaných dat nebo Hadoop pro extrakci podmnožiny dat vzorů chování síťových aktivit v Discovery platformě
• Používá „Path“ analýzu pro identifikaci vzoru útoku na vector „malicious codu“ a jeho šíření;
• Použítí Graf analýzy k forensní identifikaci infikovaných systémů v rámci sítě
Krok 3:
• Přesun zjištění discovery platformy do integrovaných dat
• Kombinuje pohled na síťové aktivity v Integrovaném datovém engine s daty jiných bezpečnostních aktivit jako jsou SIEM, SysLog a compliance řešení společně se statickými daty jako jsou konfigurace, prvky sítě, různé metriky atd..
• Vytvoření síťových benchmarků a ‘normal’ limitů (threshold) založených na historických trendech (ročních a sezonních)
• „Cold” data uložena v Hadoop
• Data čištěna a předzpracována pro analýzu posloupností
• Použitelná pro budoucí forensní analýzy a dlouhodobé vyšetřování možných narušení
Krok 1:
• Uložení TAP/PCAP, Netflow, log files, sensors, nebo jiné vysoko objemové, měnící se síťová data v Hadoop
Teradata Confidential9
Shrnutí koncepce
Integrace Bezpečnostních &Síťových dat:• Identity & Authentication• Firewall• Anti-virus/Anti-Malware• Anti-DoS/DDoS• SIEM• IDS/IPS• Endpoint Security System• Mobile Device Management• Data Loss Prevention• Secure Network Gateway• Zachycení Packet & Inspekce• …Toto není kompletní list
Integrace Big Dat & Analýz• MapReduce
o Sessionizationo Path Analysiso Graph / Network Analysis
• Stat nástrojeo SAS & R
• Programovací Scriptyo Java, C/C++, Pythono SQLo BI (BOBJ, Tableau, etc.) o Visualization Tools
• …To není kompletní list
Integrace dat umožňuje odpovědět kdo, co, kde, kdy, jak a proč dělá v probíhajícím provozu na síti v Near-Real-Time módu
Monitoring a chápání kybernetických útoků – Zkracuje čas na nápravu (sanaci)
Co se děje v mé síti?Kdo komunikuje s kým a o čem je komunikace?Jaké údaje „unikají“ ze sítě?Jsou mé stávající bezpečnostní opatření účinná?Jsem v soludu s standardy?Kolik proxy, DNS, SMTP a web serverů běží dnes? ....
Teradata Confidential10
Příklad vizualizace síťových dat
10
Teradata Confidential11
Bezpečnostní scenař: HTTP únik dat
11
• Obvykle HTTP komunikace je mnohem větší ve směru Server Client
• HTTP je často užit pro přenos dat pomocí webmail nebo file-sending utilit (jako je yousendit.com)
• Detekční algoritmus hledá HTTP kde Send-Receive poměr zatížení je 100:1 v směru Client Server
Teradata Confidential12
Bezpečnostní scenař: HTTP únik dat
12
Následně je zkoumáno HTTP URL pro odvození chování
Teradata Confidential13
Příklady bezpečnostních scénářů • Firma Associate ve snaze zjednodušení práce, dokončuje nezabezpečené nastavení bezdrátového přístupového bodu k připojení do podnikové sítě. Nezabezpečený bezdrátový přístupový bod (WAP) je nastaven bez hesla a vysílá identifikátor SID. Hloubková inspekce paketů společně s analýzou dat, umožňuje síťovým a bezpečnostním inženýrům rychle identifikovat nezabezpečený WAP, izolovat a vypnout WAP téměř v reálném čase. Také je schopna prokázat, zda datové pakety byly buď příchozí nebo odchozí. Tím je snazší rozpoznat, zda nezabezpečený WAP byl použit k download dat nebo k proniknutí do dat.
• Hacker připojený do firemní sítě se pokouší zpřístupnit řídící command line serveru umístěného na internetu. SNMP trap z bezpečnostních zařízení, jako jsou specilizované zařízení, firewally, IPS, antiviry detekují a upozorní na tyto pokusy a případně blokují IP. Integrované bezpečnostní data s hloubkovou inspekci paketů a analýzou dat umožňuje síťovému a bezpečnostnímu týmu rychle identifikovat systémy v síti zapojené do nebezpečné komunikace, dát je do karantény a udělat nápravu v téměř reálném čase.
Teradata Confidential14
Přínosy• Nový daty akcelerovaný pohled na kybernetické útoky• Analýzy a nápravu (sanaci) v reálném čase• Redukce nákladů• Zvýšení efektivity
Akcelerace hodnoty odvozené z integrovaných dat(Firewall, ID/IPS, Anti-Virus, Cyber Analytics, atd.)
Jeden pohled na všechny exitující prvky infrastruktury a bezpečnostní nástroje
• Vylepšení Risk ProfiluDemonstrace zvýšení schopnosti řídit bezpečnostní auditRedukce ekonomických a reputačních rizikPotenciál pro redukci pojištění proti kybernetickým útokům
Kybernetické analytické nástroje dovolují bezpečnostním inženýrům, sítovým inženýrům a analytikům sítě snadněji rozpoznat a reagovat na vzory aktivit reprezentující síťové útoky.
Teradata Confidential15
DĚKUJI!Pro další informace kontaktujte Luboše Musila
Luboš Musil Solution ArchitectTeradata Corporation
+420 602 227899 Mobile [email protected]
Teradata Confidential16
Big Data Analytics + Cyber Defense = Stronger Cyber Security Posture
• Greatest areas of cyber security risk are attributed to lack of visibility, multiple global interconnected network systems and mobility.
• Cyber-attacks are getting worse – however, only 20 percent state their organizations are more effective at stopping them.
Big Data Analytics in Cyber DefenseReport by Ponemon is available..
Teradata Confidential17
Reference - NCDOC
• The Navy Cyber Defense Operations Command (NCDOC) coordinates, monitors, and oversees the defense of the Navy’s computer networks and systems. NCDOC provides Computer Network Defense (CND) services to protect, monitor, analyze, detect and defensively respond to unauthorized activities against and within the Navy’s numerous information systems and computer networks. Teradata is at the heart of the NCDOC project as a “system of systems” that receives, aggregates, processes, correlates, and fuses real-time and near-real-time information from multiple network sources to provide network domain awareness (NDA). Data is collected from hundreds of sensors on the Navy’s networks, intrusion protection systems, compliance reporting databases, and all types of network logging.
• When Teradata initially implemented a pilot project at NCDOC late in 2010, the customer called Teradata’s performance "simply blazing.” Load times were reduced from 24+ hours to updates every 5 minutes. Queries that ran in hours took less than a second on Teradata.