Predictive Analytics and Machine Learning for Utilities · In Database Execution –Automated...

PUBLIC

Predictive Analytics and Machine Learning for Utilities

Андрій ТищенкоSAP Ukraine

2PUBLIC© 2017 SAP SE or an SAP affiliate company. All

rights reserved. ǀ

The information in this presentation is confidential and proprietary to SAP and may not be disclosed without the permission of SAP.

Except for your obligation to protect confidential information, this presentation is not subject to your license agreement or any other service

or subscription agreement with SAP. SAP has no obligation to pursue any course of business outlined in this presentation or any related

document, or to develop or release any functionality mentioned therein.

This presentation, or any related document and SAP's strategy and possible future developments, products and or platforms directions and

functionality are all subject to change and may be changed by SAP at any time for any reason without notice. The information in this

presentation is not a commitment, promise or legal obligation to deliver any material, code or functionality. This presentation is provided

without a warranty of any kind, either express or implied, including but not limited to, the implied warranties of merchantability, fitness for a

particular purpose, or non-infringement. This presentation is for informational purposes and may not be incorporated into a contract. SAP

assumes no responsibility for errors or omissions in this presentation, except if such damages were caused by SAP’s intentional or gross

negligence.

All forward-looking statements are subject to various risks and uncertainties that could cause actual results to differ materially from

expectations. Readers are cautioned not to place undue reliance on these forward-looking statements, which speak only as of their dates,

and they should not be relied upon in making purchasing decisions.

Disclaimer


rights reserved. ǀ

Predictive Analytics and Machine Learning

Data

Prepare

Data

Train

Model

Apply

Model

Monitor

Aggregate Visualize

Humans make decision

Data is aggregated for

visualization

UI integration at best

Machines propose/make

decision

Data is de-normalized,

flattened, fine grain

Process integration at last

Analytics / BI

Advanced Analytics / Predictive Analytics


rights reserved. ǀ

Data Science & Machine Learning Portfolio

SAP Cloud PlatformSAP HANAHadoop

Data Scientists & Citizen Data Scientists

Business servicesFunctional services

Leonardo Machine Learning Foundation

SAP Predictive Analytics

Data Manager Automated Modeler Expert Modeler(Visual Composition Framework)

Predictive Factory

Hadoop / SparkVora

SAP Applications

SAP Fraud Management

SAP Analytics Cloud

HANA Predictive & Machine Learning

GraphSpatial Predictive (PAL/APL)

SeriesData

Streaming Analytics

Text Analytics

HANA DBaaS

Big Data Services

On Premise

Line of Business User

Developers and Data Scientists

DB

DB2 Oracle

Teradata etc…


rights reserved. ǀ

SAP Predictive AnalyticsCore workflows

▪ Build analytical datasets with clicks, not code

▪ Create thousands of derived features to increase

predictive accuracy

▪ Automate dataset production & create reusable

transformations

▪ Identify which variables are changing over time with

timestamped populations

▪ Generate automatically reusable SQL code with

associated documentation

Prepare Data

with Data Manager

▪ Automate Predictive Modelling with

Classification, Regression, Clustering, Time

Series Forecast, Association Rules

▪ Identify automatically of key contributing

variables on very wide datasets

▪ Automate executive and operational reports

▪ In Database Execution – Automated Predictive

Library (APL) on SAP HANA & Native Spark

Modelling on Hadoop

▪ Easy to Use - Drag-and-drop data selection,

preparation and predictive modelling

▪ Use the predictive models in SAP HANA such as

Unified Demand Forecast (UDF), Predictive

Analytics Library (PAL) & APL

▪ Leverage 8000+ existing R functions and

libraries

▪ Embed the models in external SAP applications

Build robust Predictive Models quickly

with Automated Modeler

Build complex Predictive Pipelines

with Expert Analytics


rights reserved. ǀ

SAP Predictive AnalyticsCore workflows

▪ In-database scoring using SQL

▪ Interface with business applications using

scoring equations and code: SQL, Java,

PMML, SAS, C, C++

▪ Real Time Scoring on SAP HANA and

Spark Streaming environments

Scoring

▪ Manage lifecycle of thousands of models in

parallel, whatever their origin (Automated

Modeler & Expert Analytics)

▪ Schedule model automated application to new

data

▪ Detect data deviation & retrain model

automatically when required

▪ Event and time based scheduling

▪ Segmented Time Series Modelling

Operationalization with

Predictive Factory

▪ Extract variables for enhanced link analysis

and prediction

▪ Identify communities amongst your

customers

▪ Find influencers within communities to focus

efforts where they count the most

▪ Create personalized recommendations for

each visitor

Link Analysis &

Recommendation


rights reserved. ǀ

Two complementary approaches to Machine LearningAnswering Experts and Business Analysts

Automated Modeler

▪ Guided Workflow for all users – No coding (low touch user

experience)

▪ Maximize user productivity through totally automated model

selection

▪ Support all major Data Mining functions (Time Series, Classification,

Regression, Clustering, Link Analysis and Recommendation)

▪ In-database apply on all platforms

▪ In-database training on SAP HANA & Hadoop

▪ All data sources for training & apply (ODBC connections)

Expert Analytics

▪ Predictive Pipelines for advanced users (high touch user experience)

▪ Build Predictive Pipelines using a drag and drop editor with support for native

predictive libraries including PAL, APL & R on SAP HANA

▪ Advanced configuration of Automated Modeler Nodes (APL)

▪ Ready for Massive Modelling including support for Data Manager (Automated

Data Preparation) & Predictive Factory (Industrialization)

▪ Self-sufficient end to end user experience for Data Scientists with support for

Datasets prepared in Data Manager

Complementary

Modeling Approachs


rights reserved. ǀ

Machine Learning in ApplicationsAccurate predictions and advanced analytics insights for business decision makers

SAP Predictive Analytics

Machine Learning platform for Data Scientists and

Business Analysts to create, manage and monitor

predictive models to answer to business issues

Predictive Analytics Integrator (PAI)

Framework for SAP Developers

to embed Machine Learning algorithms

in SAP Applications

SAP S/4HANA

SAP Analytics Cloud

C4CPrepare & refine models

Publish Models


rights reserved. ǀ

Machine Learning Framework for

SAP Applications

➢ PAI enables applications to deliver preconfigured

predictive use cases to customers.

➢ Scores are consumed directly in the LOB application by

the decision maker.

➢ The lifecycle of the models within the application is

easily managed, include model retraining.

➢ Lengthy development cycles are avoided.

➢ Customers can seamlessly embedded more

sophisticated models or create their own predictive use

cases using SAP Predictive Analytics.

SAP Predictive Analytics Integrator (PAI)

PUBLIC

• Моделирование и прогнозирование загрузки сети/потребления

• Прогнозирование отключений/перебоев/потерь

• Оптимизация технического и регламентного обслуживания

• Энерго-эффективность и аудит

• Анализ показаний «Смарт счетчиков» и выявление несоответствий

• Оптимизация резервирования

• Построение моделей для объяснения и прогноза условно постоянных и

условно переменных потерь активной мощности для энергосистемы

• Моделирование зависимости потерь от: метеоданных, ремонтов,

транзитных перетоков по сечениям, напряжения, напряжения в

контрольных точках

• Прогнозирование цен на ЭЭ в рамках новой модели рынка

Predictive Analytics use cases for Utilities


rights reserved. ǀ

Проект в Энергосбытовой компании


rights reserved. ǀ

Результаты применения SAP Predictive Analytics в

ОАО Нефтедобывающая Компания

PUBLIC

Проект в Федеральной Сетевой Компании

Прогнозирование и минимизация потерь


rights reserved. ǀ

Бизнес-кейс: Прогнозирование объема потребления

электроэнергии клиентами ЭСК Предпосылки

Краткосрочное (на 1-2 дня вперед) прогнозирование общего объема потребления э/э

клиентами энергосбытовой компании (ЭСК) необходимо ЭСК для формирования заявок

на покупку э/э на РСВ.

Реализация

Демо-пример был реализован на реальных данных ЭСК за 2010 год. В качестве

исходных данных использовались исторические данные за 2010 год о почасовом

потреблении э/э клиентами ЭСК, а также почасовые данные о погодных условиях в

регионе обслуживания ЭСК. Необходимо было построить прогнозною модель, которая

бы строила прогноз потребления э/э клиентами ЭСК на следующие 2 дня на основании

исторических данных о потреблении э/э и на основе прогноза погоды на эти 2 дня.

Результаты

Прогнозная модель, построенная SAP PA, показала высокую точность прогнозирования.

Средняя ошибка прогнозирования составила 1,41% при средней допустимой ошибке 3%.


rights reserved. ǀ

Бизнес-кейс: исторические данные (обучающая

выборка)


rights reserved. ǀ

Бизнес-кейс: фактический объем потребления

электроэнергии клиентами ЭСК за январь – август

2010 года


rights reserved. ǀ

Бизнес-кейс: результат прогноза – сравнение

фактического и предсказанного объемов потребления

э/э

1300

1350

1400

1450

1500

1550

1600

1650

1700

1750

1800

МВ

т*ч

Фактический объем э/э Предсказанный объем э/э


rights reserved. ǀ

Бизнес-кейс: результат прогноза – сравнение

фактического и предсказанного объемов потребления

э/э2

8.0

8.2

01

0 0

:00

28.0

8.2

01

0 4

:00

28.0

8.2

01

0 8

:00

28.0

8.2

01

0 1

2:0

0

28.0

8.2

01

0 1

6:0

0

28.0

8.2

01

0 2

0:0

0

29.0

8.2

01

0 0

:00

29.0

8.2

01

0 4

:00

29.0

8.2

01

0 8

:00

29.0

8.2

01

0 1

2:0

0

29.0

8.2

01

0 1

6:0

0

29.0

8.2

01

0 2

0:0

0

Объем ээ

фактический1598,526 1503,309 1685,951 1732,058 1621,683 1717,229 1470,407 1402,834 1500,305 1611,523 1574,22 1681,362

Объем ээ

предсказанный1565,694 1462,12 1662,659 1758,583 1656,444 1690,214 1493,701 1404,026 1525,307 1637,453 1584,769 1663,138

Точность, % 97,95% 97,26% 98,62% 98,47% 97,86% 98,43% 98,42% 99,92% 98,33% 98,39% 99,33% 98,92%


rights reserved. ǀ

Модель нагрузочных потерь по N энергосистеме в ВЛ

500кВт24 316 записей

453 параметра

Средняя ошибка 10%

Наиболее влияющие параметры:

▪ Переток активной мощности

Киндери АТ4

▪ Температура на метеостанции

29643

▪ Переток реактивной мощности

Вешкайма АТ2


rights reserved. ǀ

Применение подсистемы, пример. Данные для

анализа

ПЕРВЫЙ ЭТАП

Телеизмерения

▪ Генерация

▪ Напряжения

▪ Ток

▪ Частота

▪ Перетоки по линиям

Метеостанции

Календарь

ВТОРОЙ ЭТАП

Данные первого этапа +

Перетоки

■ Межсетевые

■ ГК

■ РСК

■ С иностранными государствами

База ремонтов

■ Воздушных линий

■ Подстанций

Суммарные показатели

■ По всей системе

■ По линиям проходящим через

подстанции

40 608 записей

1 062 параметра

10 минутный интервалы

За период 21-04-XX – 01-09-XX


rights reserved. ǀ

Модели прогнозирования потерь по N энергосистеме

6 Моделей

• Общая модель с учетом всех параметров

• Модель зависимости потерь от напряжения,

напряжения в контрольных точках

• Модель зависимости потерь от метеоданных

• Модель зависимости потерь от ремонтов

• Модель зависимости потерь от транзитных перетоков по

сечениям

• Модель зависимости потерь от суммарного перетока

активной мощности по всем трансформаторам 500 кВ

на уровне МЭС

Все построенные модели предоставлены в виде файла MS

Excel


rights reserved. ǀ

Применение подсистемы, пример. Общая модель с

учетом всех параметров

40 000 записей

1 064 первоначальных параметра

53 параметра в итоговом варианте

Средняя ошибка

1,4 %

Наиболее влияющие параметры

• Отдача по перетоку мощности с

Чебоксарской ГЭС, сеть ФСК

• Генерация активной мощности

УрГРЭС ТГ4

• Приём по перетоку мощности с

Жигулёвской ГЭС, сеть ФСК

PUBLIC

Проект в генерирующей компании

Прогнозирование цен на рынке


rights reserved. ǀ

Постановка задачи

Выручка энергетических компаний значительным образом зависит от цены

электроэнергии на рынке на сутки вперед.

Указанная цена в основном определяется набором следующих факторов:

• оптовая цена на газ;

• потребление;

• величина ценопринимающего предложения (предложения о выработке

электроэнергии при любой цене, складывающейся на рынке)

• выработка электростанций с низкими переменными затратами (АЭС, ГЭС);

• тип дня (рабочий, выходной).

В рамках недельного планирования режима работы энергосистемы (так называемой

процедуры выбора состава включенного генерирующего оборудования) системный

оператор (ОАО «СО ЕЭС») размещает на своем сайте информацию о прогнозных

значениях отмеченных факторов. Это позволяет осуществлять прогноз цены на рынке

на сутки вперед на предстоящую неделю.


rights reserved. ǀ

Результаты пилотного проекта

В рамках пилотного проекта была построена и обучена модель на

следующих данных:

Затем были загружены данные на неделю вперед, на основе которых

был построен прогноз «Индекс хабаЦентр руб/МВтч». Полученный

прогноз был сравнен с фактическим значением и с аналогичными

значениями, полученными не-SAPсистемами.


rights reserved. ǀ

Результаты моделирования


rights reserved. ǀ

Результаты моделирования


rights reserved. ǀ

Важность переменных


rights reserved. ǀ

Самые важные переменные


rights reserved. ǀ

Результат прогноза на неделю вперед


rights reserved. ǀ

Выводы

• Результаты были получены с более высокой точностью

• Подготовка прогноза заняло 2 часа

• Данных было достаточно для построение модели

Спасибо

Андрей ТищенкоSolution Sales Executive

Digital Enterprise Platform Group

SAP Ukraine (incl. Georgia)

5, Dilova str. UA-03150 Kyiv

T +38 490 33 93 ext. 354

M +38 050 387 00 44

E [email protected]

mailto:[email protected]

Date post:	20-May-2020
Category:	Documents
Upload:	others
View:	8 times
Download:	0 times

Predictive Analytics and Machine Learning for Utilities · In Database Execution –Automated...

Documents