电力工业数据挖掘分析与应用

2 2015 Lenovo Internal. All rights reserved.

大数据

3 架构设计

2 工业应用

1 起源与概要

3 2015 Lenovo Internal. All rights reserved.

起源和近年来的兴起

•如果不知道远溯古希腊各代前辈所建立和发展的概念、方法和结果，我们就不可能理解近50年来数学的目标，也不可能理解它的成就。

——外尔(Claude Hugo Hermann Weyl 1885-1955)

4 2015 Lenovo Internal. All rights reserved.

概要

• 前沿应用：Google(Google Brain), Facebook(DeepFace 2014) , Baidu(image, face- 百度识图) Tecent (Mariana语音,翻译- 微信, ） Ali (天池, 快的打车）

• 行业热点：实时竞价广告DSP 互联网金融 政府监管 • 方法： 统计建模 机器学习 定制化算法

• 难点: 算法收敛 硬件演进,使机器学习在今天重获生机, 特别是不可枚举型的分析 • 本质：所有的数据分析算法都是基于数据生成概要，刻画背后规律，进行预测和决策。

5 2015 Lenovo Internal. All rights reserved.

电力能源与经济的协同关系

从客观上反映了各地区的发达程度。1,亮度一

般来说反映了发达程度和人口稠密程度，但是发达程度对亮度的影响应该是两者中更大的。2,美国最亮,尤其是东部。欧洲,日本（本图是取每时区中央经线21:30图片的拼图。）

6 2015 Lenovo Internal. All rights reserved.

物联网传感器数据分析

Kafka

SQL aggregation

Outlier detection

batch @ t+1 batch @ t

100k records/s/node 1KB/record

报警 streaming： 实时傅立叶变换 实时预警分析 实时故障预测

0 1

2 3

6 7

8 9

4 5

… …

Ad-hoc Analysis using ANSI SQL

Data mining using R

Columnar Store on SSD

table_per_day Predicting using

CFD Algorithms … …

7 2015 Lenovo Internal. All rights reserved.

利用简单的统计建模即可分析微观用户用电特征

• 根据给出的 Feature X ， 给出符合其用电特性的标签集合 L F : X -> L

• 模型训练： 从数据集 D= {（x1, l1), …(xm,lm) } ∈ X ×L 通过降低Hamming

Loss的方式推断出一个向量值函数 F : X -> L • 过拟合问题的解决： 减少特征（模型选择算法 or 人工） & 正则化 • 弱分类器集合的多数表决

向量化

8 2015 Lenovo Internal. All rights reserved.

电力应用： 数据变现与可持续发展

挑战

弃风消纳

气象预测精度

供输电分布式

定价机制

合理用电

系统热运行惯性带来的切换

损耗

供电

可再生能源接入优化调度： 风、光伏、生

物

用电负荷综合水文模型：气象、产值、

调度优化模型：降低热运行状态切换损耗

热电联产

风热冲突、弃风消纳

优化调峰容量

合理选择热负荷

电热综合调度模型

配电

公变台区 负荷预测、故障监

测

用电负荷微观模型： 用户用电特征分类

宏观分析： 水文模型热力分

布模型

用电

用电负荷分析：电表GPRS回传

模块改造

热惯性利用模型

储水蓄能

合理用电： 激

励与限制策略

9

自然语言

模式识别

实时监控

线损分析

优化运行

负荷预测

工业控制

综合调度

价格预测

因果关联

2015 Lenovo Internal. All rights reserved.

架构设计

平台层

频 繁算法梳理与offload GPU （语音视频，哈希、序列化、大矩阵乘法，傅立叶…），FPGA

架构必须考虑到不同的要求: • 计算界限分析, 计算密集型分 例如., 数据分类，文本挖掘，或先进的运算法则 • I/O界限分析, I/O密集度分析 例如., 索引、搜索、数据排序、数据摄入的要求 • 频繁算法梳理： 例如，矩阵运算，傅立叶变换，

基础设计： • 处理器：时钟速率和核数 • 内存： 各服务内存开销，频繁任务的计算量 • 网络 ：任务通信开销， 时钟时间，多路连

接接 • 存储介质： 所选平台软件的SSD支持 硬盘并发数，核对硬盘比

硬件层

应用层

业务负载特性的兼容性需求，处理效率需求，最优ROI模块组合

根据应用需求和数据裁定适用建模类型

总体Capex Opex变现规划

10 2015 Lenovo Internal. All rights reserved.

Backup

联想内部使用大数据系统进行决策分析

11 2015 Lenovo Internal. All rights reserved.

用户画像

2014 LENOVO INTERNAL. All

rights reserved.

12 2015 Lenovo Internal. All rights reserved.

NLP技术理解用户反馈

13 2015 Lenovo Internal. All rights reserved.

推荐系统

type

country

time

director

actor

polarity

content

age

a11, a12, a13, …, a1n

a21, a22, a23, …, a2n

:

am1, am2, am3, …, amn

b11, b12, b13, …, b1n b21, b22, b23, …, b2n : bm1, bm2, bm3, …, bmn

Content Topics

Text Content

Comedy

teenage

Content Category

Sports

Soccer

Figure

Actors

Singer

…

14 2015 Lenovo Internal. All rights reserved.

交互系统

15 2015 Lenovo Internal. All rights reserved.

联想在大数据驱动下向以用户为中心转型

自然语言+大数据

数据预演 用户分析 用户问题

物联网 用户行为挖掘

O2O 竞争对手分析

消费者画像 购买路径

品牌感知

产品选择 购买

产品使用

业务创新

以用户为中心

服务