宋兵
2014-05-22
c
2
IT的思维变迁 — 应用服务化,平台集成化
1950 2011
3
组织内部员工 • 一线员工 • 企业中层 •10000+用户
消费者 • 数字一代 • 线上线下 •10000000000+用户
新的 IT 全景视图
전략구분
组织决策层 • CXO • 决策层 •100+用户
4
Oracle云计算数据基础设施
Oracle 云计算数据基础设施
海量管理能力 多结构 高可用 水平扩展 按需服务
并 行 架 构
企业应用
应用中间件云平台
ORACLE ExaLogic
(应用网格)
SOA 云服务支撑平台
互联网应用
集成SOA
流程管理BPM
安全性Identity
用户交互 Web
JAVA 开源
应用中间件
核心业务数据
大数据
海量,多结构 变化快,低密度 PB+ 级
多结构 非关系模型
结构化 关系模型
C-level
实时BI
OLTP 百TB+级
价值 数据 提练 上移
热点 数据 上移
•ODI For Hadoop
•Oracle Hadoop Loader
•OralceNoSQL
•Hadoop MapReduce
•混合列压缩 •智能扫描 •Flash Cache •RAC •R Ebteroruse
内存数据库 内存列压缩 Essbase in Memory OBIEE Foundation
5
通用一体机
数据系统层
应用系统层
工程化一体机搭建企业IT架构的适用全场景
Internet / Intranet
服务&应用 (OLTP)
数据处理 (OLTP)
数据存储
分析&应用 (OLAP)
数据仓库 (DW)
大数据处理 大数据存储 BDA
Exalogic
Super cluster
ODA
Exadata
Exalytics Exalytics
海量数据存储
中间件一体机
数据库一体机
商业智能分析一体机
大数据一体机
数据库入门一体机
6
数据处理场景
7
Exadata数据库云服务器 OLTP、数据仓库和整合的最佳选择
• 最快的数据仓库和 OLTP(查询速度提高 10-50 倍)
• 性价比最高的数据仓库和 OLTP
• 基于世界第一的数据库(Oracle 数据库)
• 优化的硬件 • 例如:5TB 闪存、InfiniBand 网络等
• 软件突破 • 智能扫描
• 混合列压缩(高达 10 倍的压缩率)
• 智能闪存缓存
8
9
极致性能:数据库云服务的可靠保障 最具设计创新,彻底解决数据库系统性能瓶颈
InfiniBand 请求
DB Servers
Exadata Storage
Exadata
高性能理由② “综合列压缩(EHCC)”:获得10x-50x倍 超高压缩比,并提高磁盘I/O效率
高性能理由③ “Smart Flash Cache”:高达5.3TB, 提高随机I/O性能,1M
IOPS、50GB/s Throughput.
高性能理由① “Smart Scan”:计算负载部分卸载至并行智能存储层,并只传输经筛选的有用数据
高性能理由④ “Infiniband”: 提供40Gb/s 端口带宽,聚合带宽高达880Gb/s , 端口延时(0.1us )小于以太网的 1/100
Smart Scan、EHCC、Smart Flash Cache等是Oracle Exadata 独有的关键性能突破技术
10
11
数据库整合及云服务,简化数据中心架构
Exadata DB Cloud
远程灾备
磁带备份
• DBaaS 整合与按需服务 • 服务器、存储及网络资源池 • 统一管理与监控 • 随需扩展
磁盘阵列
HR Finance /ERP
DataMart
CRM
磁带备份 远程灾备
SAN
DW System
12
入门级一体机:ODA
ODA X3-2
• 32 cores • 512GB • 36TB Raw Storage • 1.6TB SSD
2013.3 第二代ODA
ODA V1
• 24 cores • 192GB • 12TB Raw Storage • 292GB SSD
2011.9 第一代ODA
ODA X4-2
• 48 cores • 512GB • 36TB Raw Storage • 1.6TB SSD
2013.12 第三代ODA
13
Quarter Rack
Half Rack
Full Rack
追求极致简化
追求极致性能
ODA与Exadata:定位不同
Eighth Rack
Oracle Database Appliance
——相同的CPU芯片 相同的操作系统 相同的数据库软件
14
软硬件一体化设计
14
服务器节点2 服务器节点1
Oracle
RAC Oracle DB
11gR2
Oracle DB
11gR2
ASM分布式存储
SAS HDD
数据空间
SSD
Redo Log
ODA管理工具
• 完整的Oracle群集系统:一台ODA相当于2个x86服
务器节点+共享磁盘阵列+SAN网络设备+Linux操作
系统+虚拟化及管理软件+智能存储管理软件
+Oracle DB RAC;
• 软硬件搭配更合理:从硬件的配置到软件的选择均
经过精挑细选,搭配合理性更有保证;
• 系统运行效率更高:所有软件包经过精心裁剪,仅
保留有用的软件包,系统运行起来更有效率;
• 软硬件兼容性有保证:ODA作为一个一体机产品,
从软硬件的兼容性到系统优化设置的稳定性都经过
Oracle公司的严谨验证;
• 通讯效率更高:节点之间、节点与存储之间采用背
板互联,比通过HBA卡+数据线互联的方式效率更
高;
15
硬件
•冗余的计算节点 •冗余的内置硬盘做操作系统镜像
•冗余的物理连接 •冗余的6Gb/s存储I/O连接
•冗余的10GbE集群心跳互联
•冗余的10GbE对外服务网络连接
•数据存储冗余 •双重镜像
•三重镜像
•冗余的热交换的电源、风扇
ODA内置硬件和软件双重可靠性保证
软件
•Oracle数据库11g企业版 −Real Application Clusters
−RAC One Node
•Oracle Grid Infrastructure −Oracle Clusterware
•Oracle Linux −UEK2 kernel
•Oracle Appliance Manager −System check for all components
−Diagnostics collection
16
2011年Oracle Open World宣布推出
Oracle 大数据机服务器 (Big Data Appliance)
• 软硬一体优化集成的大数据分析服务器
• 集成最优的开源大数据处理解决方案
• 全面的大数据处理分析软硬平台
17
Oracle 大数据机
• 优化、全面
– 存储和集成大数据之所需应有尽有
• 与 Oracle 数据库云服务器集成
– 分析所有数据
• 易于部署
– 无风险,快速安装和设置
• 单一供应商支持
– Oracle 全面支持所有硬件和软件
18
• 软件部分 • Oracle Linux
• Oracle JDK
• Cloudera Hadoop Distribution
• Cloudera Manager
• Open-source R distribution
• Oracle NoSQL Database
Community Edition ***
• Oracle Big Data Connector *** • ODI Adapter for Hadoop
• Oracle Loader for Hadoop
• Oracle Direct Connector for HDFS
• Oracle R Conenctor for Hadoop
• 硬件部分 • 18 Sun 服务器
• 每台2 CPUs * 8核
• 每台64 GB内存(可扩展512GB)
• 12 * 4TB 磁盘空间
• 网络部分 • 40Gb InfiniBand
• 10Gb 以太网
Raw Storage: 864T
Core Count: 288核
Mem Count: 1.2TB – 9TB
Big Data Appliance一体机 ---- Hadoop + NoSQL+硬件
19
Oracle 大数据机优势
最优性能 在硬件能力,端到端技术堆栈的整体优化,使应用效率最高,计算存储分布更均匀 出厂化的最优参数配置,避免系统集成测试中大量冗余工作
最稳定平台 全面整合测试的集成化发行版本,保证长期稳定运行 集成最新的CDH开发的补丁,并和ORACLE整体技术堆栈结合 保证各个软件组件的一致性,使应用顺滑运行
最易管理 提供业界领先的集成化管理工具,避免开源版本管理困难的问题 提供各种方式的系统异常报警功能
最强功能 提供了大数据到传统平台的无缝迁移工具 提供了业界领先的NOSQL解决方案 提供了业界领先的高级分析功能
20
ORACLE整合BDA平台和开源平台功能比较
ORACLE BDA 开源系统实现
平衡的设计,根据硬件及软件能力针对HDFS数据节点选取提供高级的均衡算法,提高系统扩展性
简单均衡算法,容易在慢速服务器或热点服务器上产生读写瓶颈,最慢服务器往往成为系统性能瓶颈
出厂即为高可用方案,针对HDFS的NAME NODE等故障点提供HA能力
NAME NODE往往成为系统的单点故障,一旦失效则整个系统不可用
HBASE的Major Compaction 的后台平衡控制,不会影响生产性能
简单算法,容易产生合并风暴
整合的基于CLOUDERA MANAGER的管理平台框架,简化对集群的管理
往往需要多种工具的整合进行管理,缺乏端到端的整体管理能力
实现和ORACLE技术堆栈的端到端融合整合
开源解决方案,只是采用通用的数据处理接口,在处理效率上会成为瓶颈
技术堆栈优化的整体吞吐率远高于同等配置硬件
多种开源技术的堆砌,单一组件的瓶颈成为整个平台的瓶颈
商用和开源NOSQL 产品选择 开源产品缺乏厂商支持
没有厂家支持
没有统一监控管理手段
缺乏既有平台的整合工具
缺乏处理性能出厂优化
21
应用分析处理
22
中间件云服务器 Exalogic
开放技术 • x86/x64 • InfiniBand+SDP • NAS+SAS • Linux+Solaris
• 基于InfiniBand技术的超高速Backbone • 跨节点虚拟共享内存技术(Coherence) • 硬件支持的网络分区,安全隔离计算节点 • Virtual Lane提供QoS应用级流量隔离
Mainframe架构思路
云计算Ready
• 多层级虚拟化 • JVM / Weblogic实例 • Oracle VM / Solaris Zone • 共享虚拟内存池(Coherence) • 共享统一存储 • 网络分区
• 计算资源的“云漂移” • 软硬件资源的统一监控和管理
软硬件一体化
• 目前IBM、EMC和HP等公司都在全力研发并推广其软硬件一体化产品,而Oracle的Exalogic和Exadata在这方面已具有了显著的优势 • 想想Apple、Google+Moto、Microsoft+Nokia ?
工程化系统(Engineered System)
•软件 + 硬件 + 调优 + 集成
23
EL X2-2
Oracle Exalogic X4-2硬件总体设计数据 集成设计——高密度、高容量、高带宽;低能耗、低延迟、低维护
• 为所有应用共享的存储
• 双机互备NAS机头,无单点故障
• 80 TB SAS 硬盘,RAID1镜像互备
• 4 TB 读缓存,72 GB 写缓存
集成存储
• 40 Gb/s带宽,微秒级延迟时间
• 万兆以太网连接数据中心
InfiniBand I/O 基础构造及万兆以太网
• 30 个计算节点(每个节点95W)
• 720 Xeon内核 (2.7 GHz, 12Core)
• 7.5 TB DRAM(1333MHz), 960 GB 固态硬盘
计算节点
24
Exabus: Exalogic I/O 和网络架构 没有IO瓶颈的云平台,资源共享和集群扩展效率更高
数据中心
生产网络
(10GbE)
管理网络 (千兆以太网)
数据中心
管理网络
(GbE)
10GbE
GbE
以太网网关
交换机
标准
Oracle
数据库
Exab
us
(In
finiB
an
d I/O
Ba
ck
pla
ne)
Exadata
Exalogic
SPARC SuperCluster
管理交换机 存储
计算节点
…
骨干交换机
Exalogic X4-2
ZFS 存储
IB
计算资源池:
垂直分割
水平分割
两种虚拟化技术
绿色计算
存储资源池
灵活份额划分
多种访问协议
安全、高速
网络资源池:
高带宽、低延迟
安全、可靠
支持与10GbE互连
云扩展:
数据库云
Java云
存储云
25
Exalogic 弹性云软件 弹性云软件使系统性能、整合性和易管理性如虎添翼
En
terp
rise
Ma
na
ge
r
Exalogic Elastic Cloud Software
Exalogic Elastic Cloud X4-2 Hardware
FMW and Business Applications
Coherence WebLogic Tuxedo
Exabus Exalogic
Control Tools
Virtu
al A
sse
mb
ly B
uild
er
Exabus Java API Exabus RDMA API Exabus SDP API
Oracle VM
26
Application Buffer
Copy TCP IP Transport
Kernel
Application Buffer
标准硬件 I/O
应用 应用
Exabus
20% 缓冲复制
40% 交易传输处理
40 % 内核上下文切换
Zero Buffer Copy零缓冲复制
Direct Memory Access直接内存访问
Kernel Bypass内核旁路
应用 应用
4X 吞吐量, 6X 低延迟
Exabus – 高速虚拟化网络 直接远程内存访问IO模式——基于超级计算机首选的核心技术架构
跨机调用效率成 倍提升,特别适合于现代化的分布式系统计算架构
27
首次和工程系统进行整合:
•成熟的内存技术
•先进的分析能力
•无限制的数据可视化功能
更透彻的洞察企业绩效
甲骨文的Exalytics In-Memory Machine介绍
28
Oracle Exalytics: 底层结构
内存分析软件
Memory Optimized Essbase
TimesTen for Exalytics
Adaptive In-Memory Tools
1 TB RAM
40 Processing Cores
High Speed Networking
内存分析硬件 优化的甲骨文商业智能基础套件
29
Exalytics 商业智能一体机
4 Intel E7-4870
40 cores total
1 TB RAM
1033 MHz
40 Gbps InfiniBand (2 ports)
10 Gbps Ethernet (2 ports)
1 Gbps Ethernet (4 ports)
3.6 TB HDD
400GB Flash
计算
内存
网络
存储
30
Oracle Exalytics
• 实现快如闪念的企业级分析 – 响应速度提高 20 倍
– 其亚秒级性能支持快如闪念的分析
– 一台设备可扩容至支持 50,000 个企业用户
• 假设分析和预测 – 响应速度提高 16 倍
– 更为准确 — 使用更多详细信息,涵盖更广的范围,评估更广泛的业务
– 更具规模 — 在繁忙时段支持更多的用户和更高的数据量
– 更为敏捷 — 每日进行,而不是每月进行
• 企业计划 – 响应速度提高 5 倍,吞吐量提高 6 倍,从而缩短计划周期时间
– 以更为细粒度的运营详细信息运行更多的计划模型,从而提高准确性
– 从财务扩展至每个 LOB,一台设备支持 10,000 计划用户
为企业分析提供卓越性能
31
内存中分析
探索式自适应内存缓存 – 确定在内存中存放哪些内容
– 自我调适以适应分析负载的变化
内存数据库 – 并行 TimesTen 数据库
– 并行 Essbase
– 高级列压缩
– 内存中分析功能
1 TB RAM
适用于
Exalytics 的
TimesTen 内存数据库
探索式
内存缓存
32
Exalytics 引人入胜的移动体验
• Exalytics 用户体验已延伸到 iPad
• 无需额外开发,移动用户可立即获得所有 BI 内容
• 快如闪念的分析随处可用
最迅速地实现移动价值。无需进行额外开发
33
• 智能存储管理器将频繁访问块存储于内存中
• 内存缓存优化块访问
• 锁管理器可以提高并行度
• 读取速度提高 80 倍,写入速度提高 20 倍
Exalytics 实现高性能计划
内存缓存
Essbase 计划引擎
智能存储管理器
锁管理器
该内容仅供参考,不构成对任何特性或功能的开发、发布和时间安排的承诺。
34
Exalytics 改善 BI 和 EPM 应用程序的运行 无需更改应用程序
• 财务
• 人力资源
• 采购和支出
• 项目
• 供应链
• 订单管理
• 物流
• 销售
• 市场营销
• 服务
• 联系中心
• 价格
• 客户忠诚度
• 计划和预测
• 收益管理
• 金融服务
• 通信
• 医疗保健
• 零售
35
通用处理
36
SuperCluster 融合Exadata和Exalogic硬件架构
© 2011 Oracle Corporation – Proprietary and Confidential
Exadata SPARC
SuperCluster Exalogic
Exadata Storage
Database Servers ZFS NAS Storage
Application Servers
37
SuperCluster超级集群服务器八大核心组件 集计算、存储、网络、软件、虚拟化、管理之大成 全新定义了未来通用计算平台的标准
SPARC T4计算资源池
创造12项性能世界纪录,全面超越竞争友商同类产品
Exadata智能存储模块
1.2M IOPS, 32 GB/s 查询吞吐能力
Exalogic中间件云支持
10x Java 程序运行性能
集成的ZFS共享存储
比NetApp有2倍的性能,一半的价格
Solaris 11操作系统 云操作系统,秒级的虚拟机供应,无以伦比的安全性与扩展性
虚拟化
零额外资源消耗
InfiniBand高速/低延迟网络
相比传统FC有5-10倍速度的高速互联
OEM统一管理平台
提高效率,较少停机时间
CONFIDENTIAL - ORACLE RESTRICTED Page 37
38
SuperCluster: 数据处理架构革命 打破I/O带宽瓶颈,“Engineered For Innovation”
• 采用更高的单路带宽 – InfiniBand提供40Gb/s的带宽,比高端阵列的光纤通道技术快5~10倍
• 提供更多的并发带宽 – 模块化存储/DB单元,高度并行的存储网格
– 带宽与容量/处理能力成正比
• 传送更少的数据 – 智能扫描SmartScan
– 自动透明的存储索引
– 混合型列压缩技术
• 更高效的互联协议 – RDS协议构建与Infiniband之上,RDMA数据交互
– JDBC over SDP,最大化中间件到数据库性能
• 提供更高的IOPS – 智能Smart Flash Cache、Log技术处理更多的IOPS
在更多的通道上
以更快的速度
更高的效率
传送更少的数据
39
SuperCluster超强整合能力,简化数据中心架构 Datacenter in One Rack
T4-4 Node 1
Solaris 10
Solaris 11
T4-4 Node 2
Solaris 11
Solaris 11
T4-4 Node 3
Solaris 11
Solaris 11
T4-4 Node 4
Solaris 11
Solaris 11
ZFS STORAGE APPLIANCE
InfiniBand Network
EXADATA STORAGE
EXADATA STORAGE
EXADATA STORAGE
EXADATA STORAGE
EXADATA STORAGE
EXADATA STORAGE
•内置虚拟化功能
•运行所有工作负载
•运行Solaris 10和11
•运行多种数据库
•运行多个应用和多层应用
DB Domain DB Domain DB Domain DB Domain
GP Domain GP Domain GPDomain Exalogic Domain
CONFIDENTIAL - ORACLE RESTRICTED Page 39
40
部署及维护标准化、简单化
• 所有客户购买的相同的集成设计系统 – 工厂已完成测试,开箱即用
– 经过工厂高度优化的
– 通过一键式安装方法智能完成安装和配置
• 运行现有的数据库、中间件和客户应用 – 支持客户现有的所有应用
• 保护Oracle生态系统 – 技能、知识库、人员、合作伙伴
• Oracle企业管理器实现统一管理 – 应用软件到硬件系统统一管理软件,简化管理
• Oracle一站式服务 – 从应用到磁盘,同一级别、统一接口的原厂服务
部署时间缩短至几天而不是几个月
开箱即用
通过标准化、简单化获得更低的TCO
41
无缝升级,简化系统未来扩展
现有数据和架构
• 立即运行现有的应用
• 光纤SAN、以太网络就绪
+
SuperCluster 单机架半配或满配
• 初始从低配起步,最大8机柜扩展
• 将来可升级到SPARC T5
+ +
Exadata存储扩展 Oracle ZFS 存储系统
• 简单扩展数据存储
•数据库存储和通用存储
42
SuperCluster硬件体系组成
•128 SPARC T4 cores+72 Xeon Cores
•1,200 CPU线程
•8 TB内存
•117 to 290 TB 物理硬盘容量
•14.3TB 智能缓存Flash/SSD
•1.2M IOPS存储性能
•42 GB/sec存储带宽
•896 Gb/sec InfiniBand互联带宽
43
SuperCluster一体机内置X3-Exadata智能数据库存储系统 提供极致DB性能
+ ++
• Hybrid Columnar Compression– 10x compression for warehouses
– 15x compression for archives
Data remains
compressed
for scans
and in Flash
Space Savings
Cascade to
Copies
compress
primary DB
standbytest
devbackup
uncompressed
• Smart Scale-Out Storage– InfiniBand connected servers
– Smart Scan query offload
• Smart PCI Flash Cache– Transparent cache in front of disk
– Accelerates random I/O up to 30x
– Quadruples data scan rate
44
Exalogic 弹性云软件2.0
SuperCluster 支持Exalogic弹性云的性能优化 提升极致Java性能
Weblogic优化技术: - WebLogic JDBC 与 Data Source 优化,WebLogic Cluster State Replication 优化
- WebLogic Socket Direct Protocol (通过SPARC SuperCluster InfiniBand Stack实现)
- Coherence Message Bus API 支持 (通过SPARC SuperCluster InfiniBand Stack实现)
= Exalogic Elastic Cloud Software 2.0
En
terp
rise
Ma
na
ge
r
Middleware and Business Applications
CoherenceWebLogic Tuxedo
Exabus
Integration
Traffic Director
Exabus
Integration
Exabus
Integration
Exabus
Integration
Exalogic Control
SuperCluster Hardware
Exabus
Oracle VM 3 for SPARCPhysical Oracle Solaris
Oracle Solaris
45