1

Data Leaders in Action

資料價值領袖風範與關鍵行動

以 Data Lake 為例

Fred Chiang CEO, Etu

June 16, 2015

2

Data Lake  企業資料湖泊�

+10 Y

OLAP/Discovery� 資料分析/資料探索�

Data Warehouse 企業資料倉儲�

20+ Y

OLAP� 資料分析�

Big Data 應用的發展，您怎麼看？

Database 關聯式資料庫�

30+ Y

OLTP� 資料交易�

3

Bottled Water vs. Data Lake

思維� 事先定義、照表取用� 隨需取用，動態探索�

特點� 淨化、包裝過，容量少、犧牲細節� 匯聚、有機生態、胃納量大、不犧牲細節�

比喻� Data Mart 必須要事先定義好 Data Model 才能進行分析�

取用結構化好的 Impala/Hive/HBase 入庫資料來進行分析或查詢，不需事先定義 Data Model�

DM� Schema-on-Write� Schema-on-Read�

* Data Lake 概念，源自 Pentaho CTO James Dixon 的部落格文章《Pentaho, Hadoop, and Data Lakes》(Oct. 14, 2010)

4

Are you a

Thinker

Doer or

Photo source: https://www.flickr.com/photos/internetarchivebookimages/14597983267

價值領導思考� 關鍵行動執行�

5

Business people want Hadoop for value from big data and

for insights from analytics

Technical users want Hadoop to scale, extend older systems,

and leverage exotic data

Big Data Thinker & Doer

Thinker

Doer

Hadoop, an Opportunity for Innovation*

*TDWI Best Practices Report: Hadoop in the Enterprise (Q2, 2015)

創新來自思考與執行雙軌�

89%

• Business people ≠ Thinker •  Technical user ≠ Doer

6

Insights from Analytics

Insights dream comes true

事實是……  

沒有清洗乾淨、結構化好的資料，分析沒有意義，洞見更可能導致悲劇

關鍵在有沒有建構有機、流動的 Data Lake

7

Thinker 的 Data Lake

Thinking about

光分析 RDB/EDW 的資料已經無法滿足需求�

要更了解客戶，我們需要加上行為資料� 競爭力  

RDB/EDW 的運算速度被增長的資料拖慢�

需要更彈性靈活的入庫資料取用，以便縮短分析所需的時間�

我們要儘可能加快決策速度，分析自然不能慢� 反應力  

RDB/EDW 的擴充成本居高不下�

運算科技持續進步，新架構帶來更高的 ROI � 變革力  

RDB/EDW 的垂直擴充架構受限�

8

Doer 的 Data Lake

Analytics with STAT / DM / ML / EDA

Doing in

Ad-hoc Query

Data Visualization

High Volume Concurrent Query

+ Methodology + Professional Service

9

Etu 您準備要跳湖了嗎？�

10

Data Lake 相關攤位與演講

展示攤位� ④  Etu Data Lake�

演講場次� Keynote 4 (原 3)Big Data Tornado 2015 台灣 Big Data 企業經典應用案例分享 � Speaker: Etu 營運長 陳育杰 �

Track A-3 Enterprise Data Lake in Action 搭建「活」的企業 Big Data 生態架構� Speaker: Etu 首席架構師 王耀聰 Powered by Etu Manager

11

B2C 客戶洞察與精準推薦

展示攤位� ③  Etu Recommender Online�

演講場次� Keynote 5Data without Boundaries 圍繞第一方數據，找到商業驅動力� Speaker: Etu 產品協理 吳家鈴�

Track C-3 Let‘s Play Marketing 瘋創意 玩推薦 就該這樣搞行銷� Speaker: Etu 資深產品處長 張聖丕

12

Big Data Taiwan 2015 Ecosystem

軟體�

硬體�

服務�

13

Data S/W Leaders in Action

ETL RDB/EDW Conn. Visualization BI

Hadoop-based Big Data Platform

14

Thank You