Big Data & Analytics, FlashSystemBig Data & Analytics, FlashSystemBig Data & Analytics, FlashSystemBig Data & Analytics, FlashSystem
---- 빅빅빅빅 데이터데이터데이터데이터 워크로드워크로드워크로드워크로드 최적화를최적화를최적화를최적화를 위한위한위한위한 All Flash All Flash All Flash All Flash 솔루션솔루션솔루션솔루션
한국IBM 이상렬 차장
이상렬 / 한국 IBM STG, 스토리지 사업부, FlashSystem Technical Sales Leader
The Role of Data Is Rapidly ExpandingData
미개발미개발 자원자원 자율성자율성 가치가치 향상향상
데이터데이터 의의 양양 ((Volume)Volume) 다양성다양성 ((Variety)Variety) 입출력입출력 속도속도 ((Velocity)Velocity) 진실성진실성 ((Veracity)Veracity)
Data at Scale Data in Many Forms Data in Motion Data Uncertainty
빅 데이터의 놀라운 성장
오늘날 전 세계데이터의
80%는
비정형 데이터
전 세계 데이터의
90%가 지난
2년간 생성됨
기존 시스템이활용하는 데이터는
20%에 불과
2명 중 1명의 비즈니스 리더는필요한 데이터에 대한액세스 권한이 없음
83%의 CIO는
BI와 분석이 향후의비즈니스 계획이라고
응답
54%의 기업이
경쟁 이점을 위해분석을 이용
출처: GigaOM, 소프트웨어 그룹, IBM 비즈니스가치연구소
빅 데이터의 비즈니스 대응성
어제 내일
실시간 분석 예측 분석
무슨 일이 일어났는가?
리포팅, 대쉬보드
무슨 일이 일어나고 있는가 무슨 일이 일어날 것인가?
실시간 데이터 마이닝 통찰력 제공포렌식 & 데이터
마이닝
왜 일어났는가? 왜 일어나고 있는가? 나는 무엇을 해야 하는가?
빅 데이터 대응
IT 인프라
IBM FlashSystem, 빅 데이터 분석 적용분야
Banking
• Optimizing Offers and
Cross-sell
• Customer Service and
Call Center Efficiency
Insurance
• 360˚ View of Domain
or Subject
• Catastrophe Modeling
• Fraud & Abuse
Telco
• Pro-active Call Center
• Network Analytics
• Location Based
Services
Energy & Utilities
• Smart Meter Analytics
• Distribution Load
Forecasting/Scheduling
• Condition Based
Maintenance
Media & Entertainment
• Business process
transformation
• Audience & Marketing
Optimization
Retail
• Actionable Customer
Travel & Transport
• Customer Analytics &
Government Healthcare
• Measure & Act on
Consumer Products
• Actionable Customer
Insight
• Merchandise
Optimization
• Dynamic Pricing
• Customer Analytics &
Loyalty Marketing
• Predictive Maintenance
Analytics
• Civilian Services
• Defense & Intelligence
• Tax & Treasury Services
• Measure & Act on
Population Health
Outcomes
• Engage Consumers in
their Healthcare
• Shelf Availability
• Promotional Spend
Optimization
• Merchandising
Compliance
Automotive
• Advanced Condition
Monitoring
• Data Warehouse
Optimization
Chemical & Petroleum
• Operational Surveillance,
Analysis & Optimization
• Data Warehouse
Consolidation, Integration
& Augmentation
Aerospace & Defense
• Uniform Information
Access Platform
• Data Warehouse
Optimization
Electronics
• Customer/ Channel
Analytics
• Advanced Condition
Monitoring
Life Sciences
• Increase visibility into
drug safety and
effectiveness
“산재되어 있는 스토리지가
너무 많아 관리가 어렵다
(Visibility)”
“SLA에 대한 요구 사항을
어떻게 맞출 수 있을까?”
“빅 데이터 관리와 분석을
빅 데이터 분석과 관련한 고객 과제
“데이터가 계속 쌓이면
성능이 저하되지 않을까? 그
많은 데이터 튜닝을 하려니
해야 할 작업이 너무 많고…”
“빅 데이터 관리와 분석을
위해 IT비용이 너무 많이
드는데 줄일 수 있는
방법은 없을까?”
빅 데이터 분석 인프라 요구사항
비즈니스 성과를 촉진하려면 조직의더 많은 부분에서 이질적인데이터를 대상으로 더 정교한분석을 적용해야 합니다.
데이터의 시간 가치를 포착하려면'통찰의 속도'와 ‘행동의 속도'를핵심 차별화 요소로 개발해야합니다.
업계 또는 전문 분야의판도를 바꾸기 위해서는점점 더 큰 인지 역량이필요합니다.
빅 데이터 분석을 위한 인프라 요구사항
효율적이고 민첩성 있는 인프라는 다양한 분석 워크로드의 균형을 조정 합니다.
고객과 운영에 대한
새로운 수준의 가시성 획득
액세스의중요성
접점에서 실시간으로
통찰을 가속화
속도의중요성
필요로 하는
사람과 프로세스에
통찰을 지속적으로 제공
가용성의중요성
사내 구축형, 클라우드, 서비스 형태
시스템 보안 스토리지
빅 데이터 분석 인프라 요구사항
� IBM FlashSystem speeds the flow of data at 50% lower cost
� 43% faster analytics with 99.99% uptime
� Optimized for analytic workloads
Minimum latency
Write 90 µs
Read 135 µs
Maximum IOPS 4 KB
Read (100%, random) 1,100,000
Read/write (70%/30%, random) 775,000
Write (100%, random) 600,000
Maximum bandwidth 256 KB
Read (100%, sequential) 8 GB/s
Write (100%, sequential) 4 GB/s
Performance at-a-glance
빅 데이터 스토리지 관리자를 위한 IBM FlashSystem
Latency
빅데이터스토리지관리자의고민
9
� Micro Latency� 인프라 병목현상 해결� IO Access 시간 25배 향상
Latency
Let’s Talk about Time. – Micro Latency
Latency
Understanding Storage Performance
IOPS
You You increase increase this one < Orthis one < Or
Queue
# small activities a system can handle in parallel*Usually proportional to spindle count
INCREASE INCREASE this<this<
Latency
Bandwidth
Latency
You You reduce reduce this onethis one
Rate = Queue
Time
* “Parallel” is a simplification (more like “how big and how full is the pipe to the system”), but good enough for high-level discussion.
# How fast each individual activity happensUsually proportional to system Response Time
# big activities a system can handle in parallel*Usually proportional to backend scalability
INCREASE INCREASE this<this<
Latency
Flash and its form factors
� 플래시 저장 장치는 다양한 형태로 제공 됩니다.
– CompactFlash, SD, USB, SSD, PCIe 등등.
하지만하지만하지만하지만모두모두모두모두 같은같은같은같은 플래시플래시플래시플래시 저장저장저장저장 장치는장치는장치는장치는 아닙니다아닙니다아닙니다아닙니다. 하지만하지만하지만하지만모두모두모두모두 같은같은같은같은 플래시플래시플래시플래시 저장저장저장저장 장치는장치는장치는장치는 아닙니다아닙니다아닙니다아닙니다.
- Controller architecture
- Controller performance
- Interface protocol
- Flash chip type
- Number of flash chips per module
- Data protection per module
Latency
SSD is Not Flash Storage
� 응답시간이 더 길어 지는 이유:� Disk Enclosure안에 SSD가 디스크 형식으로 장착
� 광학 자기 디스크를 위한 설계와 아키텍처
� SSD자체가 아닌 외장 콘트롤러에 의해 데이터 보호
� SSD 외부의 OS나 Controller에 의해 Data Path 관리
� SSD 자체의 성능을 저하시키는 아키텍처
All Flash
Added Latency by:ControllersSW Layers
SAS Controllers HDDsTiering
Shared data path
Latency
Connector
Circuit Board
512GB RAW SSD
1 Connector
1 ARM Processor
A 500GB Usable SSD (512GB Raw)
Protocol & Flash
ProcessorFlash RAM
http://www.anandtech.com/show/6005/apples-new-ssd-its-fast
1 ARM Processor
1 RAM chip
8 Flash chips
2.3% overprovisioning
Latency
A 4096GB Usable FlashSystem Flash Module (5120GB Raw)
FPGA FPGA
4,096GB Module:
1 Connector
1 PPC Processor
Primary Board (2TB) Secondary Board (2TB) - Optional
FPGA
FPGA
FPGA
FPGA
FPGA
1 PPC Processor
5 FPGAs
x RAM chip
80 Flash chips
20% overprovisioning
• Better Performance (higher IOPS, higher bandwidth, lower latency)
• Hardware data path (FPGAs)
• Parallelism (more flash chips per module)
• More powerful processors
• No SAS/SATA protocol
• Better connectors (higher bandwidth)
• More overprovisioning
Latency
How does latency affect your business?
IBM MicroLatency™
- 빠른 의사결정으로 매출 증대 효과- 비용절감- 분석 시간을 줄임- 용량 증가와 더불어 선형적인 성능 향상- 용량 증가와 더불어 선형적인 성능 향상
Application PerformceLatency
빅데이터스토리지관리자의고민
빅 데이터 스토리지 관리자를 위한 IBM FlashSystem
18
� 오라클 성능 8배 향상� Batch Job 85% 절감� OLTP 시간 90% 절감
� 마이크로 Latency� 인프라 병목현상 해결� IO Access 시간 25배 향상
응답속도는 빅 데이터 분석 성능에 영향을 미칩니다.
Benefits & economics outweigh
Servers, Applications andDatabases are
FASTER!CPU Utilization& App. Efficiency
4%
Application Processing Time
CPU Utilization& App. Efficiency
50%
Application Performance
No applicationOr architecture
Changes
outweigh disk
Reduce floor space, power & cooling
4%
Total Application Processing Time5,200us (5.2ms)
5,000us (5ms)
200us (.2ms)
Time Waiting for I/0(Waiting for Array)
Time Processing Data(Server CPU)Disk/Hybrid/SSD IBM FlashSystem
Total Application Processing Time400us (.4ms)
200us (.2ms)
200us (.2ms)
동일한 시간에 더
많은 일을 합니다.
IBM FlashSystem 840 Big Data Analytics Optimized
• ALL hot swappable architecture:
- Flash modules, power supplies, batteries,
• 2U
• 625 watts
• Field upgradeable, granular capacity
- 4, 8, 12, 16, 20, 24, 32, 40, 48
• intuitive standardized GUI
Macro
EfficiencyMinimum latency
Write 90 µs
Read 135 µs
Maximum IOPS 4 KB
Read (100%, random) 1,100,000
Application Performance
• 1.1M IOPS
• 8 GB/s Bandwidth
• Multiple connectivity interfaces
- 16Gb/8Gb Fibre Channel
- 40Gb QDR InfiniBand
- 10Gb FCoE
- Flash modules, power supplies, batteries,
interfaces, fans
• Concurrent code load
• Encryption
• Low Latency 135/90 µs R/W
• Purpose-built, FPGA parallel design
• CPU efficiency and productivity
MicroLatency™
Enterprise
Reliability
Extreme
Performance
Read/write (70%/30%, random) 775,000
Write (100%, random) 600,000
Maximum bandwidth 256 KB
Read (100%, sequential) 8 GB/s
Write (100%, sequential) 4 GB/s
• 컨트롤러이중화
• Hot swappable 모듈형아키텍쳐:
• 6U 폼팩터
• 듀얼컨트롤러엔클로우저
• 싱글스토리지엔클로우저
• 최대 40 TB 사용용량 (RAID protected)
Form factor
Maximum Performance
(100% Read, 512B, Cache Hit)
Minimum latency 60µs
IOPS 840,000
Maximum Performance – Base Configuration
(100% Read, 4K random, Cache Miss)
Latency 200µs
IOPS 300,000
Bandwidth 4.8 Gb/s
Maximum Performance – Scaled Out
(100% Read, 4K, 4 Nodes) *
IBM FlashSystem V840IBM Flash Software Defined Solutions
Application Performance
• 씬프로비져닝
• 러컬 &리모트복제솔루션
• 데이터마이그래이션
• 스토리지가상와
• 자동스토리지계층화
• 실시간압축기능
• Hot swappable 모듈형아키텍쳐:- Flash modules, power supplies, batteries,
interfaces, fans
• Concurrent code load
• AES 256 HW 기반암호화
• Technical Advisor included
• VMware certified
• Application aware snap shots
Software capabilities
RAS
Application integration
(100% Read, 4K, 4 Nodes) *
Latency 200µs
IOPS 1,400,000
Bandwidth 18 GB/s
Application Servers
Volume Management
Flash System v840
FlashSystem V840 is . . .
Performance
+
Flash Software Defined Solutions
Application Performance
Mirroring
Flash Copy
MM/GM
EasyTier
Compression
Thin provisioning
Flash System v840
Flash System v840
External Storage
Performance
FlashSystem V840 is . . .
Flash Software Defined Solutions
Application Performance
SAN Fabric
이기종
이기종이기종
이기종다양한
다양한다양한
다양한스토리지
스토리지스토리지
스토리지
Flash System v840
통합
통합통합
통합관리
관리관리
관리 Storage Pool
Flash for less than disk
Easy to manage
Deep application integration
Software defined services
Redefine Tier 1 performance
Flexible architecture
Enterprise RASMax IOPS 1.4M IOPS
Latency 200 us
Max Bandwidth 18 GB/s
Base Configuration
FlashSystem V840 is . . .
Application Performance
performance
Scale-up
Scale-out
Scale-up
Preferred Read Architecture
IBM FlashSystem Deployment Architectures
SANSAN
SANSAN
DB Servers
Write IO는 양쪽 스토리지에 기록.
READS
모든 Read IO는 FlashSyatem 에서
마이크로 세컨드 단위의 응답
시간으로 서비스.
1. 기 운영 인프라 수정 없이 쉽게 구축 가능
Performance
Establish Preffered Mirror
WRITESREADS
READS
WRITES
IBM FlashSystem
2 TB 2 TB 2 TB
Flash
20 TB
2 TB
2 TB
2 TB
2. IBM FlashSystem을 Plug 하는 것만으로 Application 가속화
3. 안정적인 데이터 2중화 보관 구조
4. Mirroring 구축을 통해 In-House DR 구축 (장애 시 서비스 지연 없음)
8,000 Reads / Sec now at extremely low latency
Preferred Read – Write Performance
Storage performance @10,000 IOPS for a given app
Read/Write Ratio @ 80% Reads / 20% Writes
Reads: 8,000 / Sec
Writes: 2,000 / Sec Introduce IBM FlashStorage as Primary Copy of new mirror
Performance
8,000 Reads / Sec now at extremely low latency
Storage does 10,000 Writes & IBM FlashStorage does 10,000 Writes & 40,000 Reads
Storage was 10,000 IOPS
� Now 10,000+ Writes / Sec
R/W ratio does not change;
No change in the app
= 5x Previous storage
performance
Application Performce Capex/Opex 절감Latency
빅데이터스토리지관리자의고민
빅 데이터 스토리지 관리자를 위한 IBM FlashSystem
27
� 서버 CPU 활용률 50%까지 향상� Core 기반 HW/SW 비용 절감� 전력 80% 절감
� 오라클 성능 12배 향상� Batch Job 85% 절감� OLTP 시간 90% 절감
� 마이크로 Latency� 인프라 병목현상 해결� IO Access 시간 25배 향상
Capex / Opex절감
Capex / Opex절감
Capex / Opex절감
Capex / Opex절감
Capex / Opex절감
Capex / Opex절감
Capex / Opex절감
How to compete using the value of Data EconomicsFlashSystem 840 vs. “whatever”
Mystery All Flash, SSD-based ArrayMystery All Flash, SSD-based ArrayMystery All Flash, SSD-based Array
Price per GBLatency
(minimum)Power Space
Capacity density (GB/U)
IOPS density (IOPS/U)
30% better 3x lower 20% lower 300% less 97% better 3x better
IBM FlashSystem 840
FlashSystemFlashSystem
Application Performce Capex/Opex 절감Latency
빅데이터스토리지관리자의고민
빅 데이터 스토리지 관리자를 위한 IBM FlashSystem
35
IBM FlashSystem : 비즈니스 성장을 위한 그린 스토리지 솔루션
� 오라클 성능 12배 향상� Batch Job 85% 절감� OLTP 시간 90% 절감
� 마이크로 Latency� 인프라 병목현상 해결� IO Access 시간 25배 향상
� 서버 CPU 활용률 50%까지 향상� Core 기반 HW/SW 비용 절감� 전력 80% 절감
IBM FlashSystem
•업계 최고 응답속도, IOPS 성능
•업계 최고 4중 데이터보호 기술
•하드웨어 기반 고가용성
•경쟁사 대비 전력소모 30%수준
•국내 40여 고객, WW 1500여 고객
IBM FlashSystem : Extreme Performance and Macro Efficiency
IBM FlashSystem은
‘Big Data & Analytics’에 적합한 스토리지 입니다.
• 기업의중요비즈니스어플리케이션시스템성능향상
• 모바일, 소셜데이터에대한관리및실시간분석
• 빅데이터의다양한비정형데이터에대한고성능스토리지환경제공
High Performance Data Storage빅데이터를신속히저장하고불러내어
비즈니스의중요한데이터를실시간
분석하여빠른의사결정.
마이크로 세컨드 기반의 응답
속도를 통한 빠른 데이터 분석을 통한비즈니스 경쟁력 확보
Big Data & Analytics
*Wikibon March 2013 (http://wikibon.org/wiki/v/Flash_and_Hyperscale_Changing_Database_and_System_Design_Forever)
Data Infrastructure Choices for Big Data & Analytics
IT choices matter for your Analytics Infrastructure
� Data Acceleration
– Experience the instant results that come from IBM FlashSystem
– Drive as much as 12x faster analytics results on certain workloads
12x faster
Coca-Cola Bottling Co. Consolidated Delivering deeper insight into customer demand four times faster
97 percentreduction in processing time without
replacing a single server
20x moredata crunched within the existing
window and SLAs
IBM FlashSystem increased SPLUNK
& SAS application efficiency to perform
business analytics
6X improvementIBM FlashSystem increased
performance Billing System,
6x reduction in batch times,
Power Server & FlashSystem
Integration through plug & play
비즈니스 요구사항: 빅 데이터에 대해 정확한 고객 요구 예측 데이터 생성을 위한 프로
세싱 시간을 단축 하고 서비스 레벨 요구 조건을 충족 시켜야 한다.
솔루션: CCBCC는 현재 20배 더 많은 예측 데이터에 대한 빠른 분석을 통해 수요, 제조
요구 조건을 빠르게 미리 예측하여 물류 계획을 가능하게 하였고 수익성을 증가 시켰다.
“IBM FlashSystem을 통한 SAP 성능 향상으로 고객 요구 조건을 미리 예측, 미국 전역
에 걸친 빠른 물류 계획으로 비즈니스 수익성 향상에 큰 도움이 되었다.”
- Tom DeJuneas, Infrastructure Manager, CCBCC
150 millioncases of product per week
Solution Components• SAP ERP
• JDA Manugistics
• IBM FlashSystem 820
• IBM SAN Volume Controller
빅 데이터 분석 인프라 구축의 최고 솔루션- IBM FLASHSYSTEM & IBM POWER SERVER
빅 데이터 분석 인프라 구축 솔루션
THE ADVANTAGE OF IBM FLASH & IBM POWER SOULTION
AIX환경에서 검증된
솔루션
많은 레퍼런스
Total solution 제공제공제공
제공
IBM제공
Total solution 제공제공제공
제공
IBM제공
AIX환경에환경에환경에
환경에최적화
최적화최적화
최적화
안정적으로
안정적으로안정적으로
안정적으로최고의
최고의최고의
최고의성능
성능성능
성능보장
보장보장
보장
AIX환경에환경에환경에
환경에최적화
최적화최적화
최적화
안정적으로
안정적으로안정적으로
안정적으로최고의
최고의최고의
최고의성능
성능성능
성능보장
보장보장
보장 통합
통합통합
통합유지보수성
유지보수성유지보수성
유지보수성통합
통합통합
통합유지보수성
유지보수성유지보수성
유지보수성
IBM FlashSystem Value, 빅 데이터 분석 인프라
Banking
• Optimizing Offers and
Cross-sell
• Customer Service and
Call Center Efficiency
Insurance
• 360˚ View of Domain
or Subject
• Catastrophe Modeling
• Fraud & Abuse
Telco
• Pro-active Call Center
• Network Analytics
• Location Based
Services
Energy & Utilities
• Smart Meter Analytics
• Distribution Load
Forecasting/Scheduling
• Condition Based
Maintenance
Media & Entertainment
• Business process
transformation
• Audience & Marketing
Optimization
Retail
• Actionable Customer
Travel & Transport
• Customer Analytics &
Government Healthcare
• Measure & Act on
Consumer Products
• Actionable Customer
Insight
• Merchandise
Optimization
• Dynamic Pricing
• Customer Analytics &
Loyalty Marketing
• Predictive Maintenance
Analytics
• Civilian Services
• Defense & Intelligence
• Tax & Treasury Services
• Measure & Act on
Population Health
Outcomes
• Engage Consumers in
their Healthcare
• Shelf Availability
• Promotional Spend
Optimization
• Merchandising
Compliance
Automotive
• Advanced Condition
Monitoring
• Data Warehouse
Optimization
Chemical & Petroleum
• Operational Surveillance,
Analysis & Optimization
• Data Warehouse
Consolidation, Integration
& Augmentation
Aerospace & Defense
• Uniform Information
Access Platform
• Data Warehouse
Optimization
Electronics
• Customer/ Channel
Analytics
• Advanced Condition
Monitoring
Life Sciences
• Increase visibility into
drug safety and
effectiveness
