SAS Forum€¦ · Рамки и этапы проекта # Этап Ключевые...

Copyright © 2015, SAS Institute Inc. All right reserved.

SAS Forum

Кластеризация

корпоративного хранилища

данных UniСredit Bank

Россия средствами SAS

GRID


Содержание

Резюме по проекту

Возможные варианты решения

Рамки и этапы проекта

Ключевые достижения проекта

Рекомендации аналогичным проектам


О банке

ЮниКредит Банк — это коммерческий банк, работающий в России с 1989 года. ЮниКредит Банк является

крупнейшим российским банком с иностранным участием, занимая 10-е место в рейтинге Интерфакс-100 по

объему активов по результатам 2014 года.

100% голосующих акций принадлежит UniCredit Bank Austria AG, Вена, Австрия, входящему в состав

финансовой группы UniCredit.

ЮниКредит Банк занимает сильные позиции на российском рынке корпоративных банковских услуг,

одновременно входя в число ведущих банков на рынке финансовых услуг для частных клиентов.

Основные цифры и показатели*

• Работает в России с 1989 года

• 103 подразделения сети в России, 1 представительство в Республике

Беларусь

• Около 3 800 сотрудников

• Свыше 1,6 млн клиентов-физических лиц

• Более 28 000 клиентов-юридических лиц

• Рейтинги: BBB- (Fitch), ВВ+ (Standard & Poor’s)

• Общие активы: 1 360,4 млрд рублей

• Капитал: 142,07 млрд рублей

• Генеральная лицензия №1 Банка России

* финансовые данные приведены по МСФО по состоянию на 31 декабря 2014 года


SAS GRID Резюме по проекту

Бизнес-потребность

Необходимость переключения на DWH регуляторной отчетности

Ключевые цели

Обеспечение отказоустойчивости хранилища данных

Повышение производительности загрузки хранилища данных

Оптимизация стоимости инфраструктуры DWH

Начало работ – Январь 2014, завершение работ – Сентябрь 2014


SAS GRID

Архитектура DWH на момент начала проекта


Потребность в новой функциональности

Для обеспечения целевых RTO и RPO DWH

требовалось реализовать:

- Автоматическое восстановление

загрузки DWH в случае сбоя с места падения

- Автоматический перезапуск процессов и

сервисов в случае сбоя

- Возможность управления

приоритетностью выполняемых ETL

заданий на основании бизнес правил

- Ускорение загрузки DWH и обеспечение

SLA по готовности критичных данных для

отчетности

Shared/Clustered File System

Grid Node 1 Grid Node 3Grid Node 2

«as is» архитектура DWH

соответствовала

RTO = 24 h и RPO = 24 h

«to be» архитектура должна

соответствовать

RTO = 1 h и RPO = 0 h

SAS GRID


SAS GRID

Ключевые возможности

• Балансировка нагрузки между

узлами и задачами

• Повышение производительности

за счёт приоритезации задач

• Единое управление

распределенными узлами через

планировщик

• Горизонтальное

масштабирование и

эффективная утилизация

ресурсов оборудования


Рассматриваемые варианты

Требования SAS

GRID

Big SMP

Server

3P Active

Cluster

3P Passive

Cluster

Автоматическое

восстановление загрузки

DWH

Автоматический

перезапуск процессов и

сервисов

Возможность управления

приоритетностью

выполняемых ETL

заданий

Ускорение загрузки DWH

SAS GRID


Рамки и этапы проекта

# Этап Ключевыерезультаты

1 Проектирование

Готов технический проект развёртывания SAS GRID

2 Развёртывание SAS

GRID

Платформаразвёрнута и протестирована на DEV, TEST, New-PROD средах

3 Миграция DWH Core на

платформу GRID

DWH ETL запускается на новой платформе на DEV среде

4 Рефакторинг DWH ETL

ETL код загрузчика DWH оптимизированпод платформу SAS GRID на TEST среде

5Передача в

промышленную

эксплуатацию

ETL код загрузчика DWH перенесен на New-PROD, боевая загрузка хранилища переключена на New-PROD

SAS GRID

3 месяца

Январь 2014

2 месяца

3 месяца

4 месяца

2 месяца

Октябрь 2014


Архитектура DWH по результатам проекта

Failover VmWare ESX 5.1 ClusterPrimary VmWare ESX 5.1 Cluster

SASNODE1

SASNODE3

RHEL 6.5VmWare ESXMetadata Servers (Lev1, Lev2)Platform Grid Management ServicePlatform LSFPlatform Proccess MangerSAS Software (base, connect…)

RHEL 6.5VmWare ESXPlatform LSFSAS Software (base, connect…)

SASNODE2

SASNODE4

RHEL 6.5VmWare ESXPlatform Proccess MangerSAS Software (base, connect…)

Reserve Grid Control Server: Metadata Server Platform Grid Management Service Platform LSF


Primary Shared Storage

GPFS

Temporary SAS DatasetsConfiguration SAS Grid File

Binary SAS Grid File

PRIMARY ORACLE DBMS

Oracle ServerOracle DatabaseDetail Data Store

Primary SAS GRID Cluster (active)

Data Center A

Network

Replication

Replication


SASNODE6


SASNODE5

Production Environment

UAT/PreProduction Environment

SASNODE1

SASNODE3

RHEL 6.5VmWare ESXMetadata Servers (Lev1, Lev2) Platform Grid Management ServicePlatform LSFPlatform Proccess MangerSAS Software (base, connect…)


SASNODE2

SASNODE4

RHEL 6.5VmWare ESXPlatform Proccess MangerSAS Software (base, connect…)

Reserve Grid Control Server: Metadata Server Platform Grid Management Service Platform LSF


Failover Shared Storage

GPFS

Temporary SAS DatasetsConfiguration SAS Grid File

Binary SAS Grid File

Failover ORACLE DBMS

Oracle ServerOracle DatabaseDetail Data Store

Failover SAS GRID Cluster (passive)

Data Center B


SASNODE6


SASNODE5

Production Environment

UAT/PreProduction Environment

Site Recovery Manager

SAS GRID


SAS GRID Резюме по проекту

1• Оптимизация стоимости закупки и поддержки HW

2• Достигнуты целевые показатели RTO и RPO

3• Обеспечен SLA, необходимый для гарантированного

предоставления в срок регуляторной отчетности

4• Обеспечена возможность горизонтального

масштабирования


SAS GRID Основная Статистика

- Объем данных DWH на текущий момент составляет 7.5Tb

- Ежегодный прирост данных ~3.5Tb

- Загрузка в DWH реализована ~3000 ETL Job’s

- DWH заполняется из 25 информационных систем Банка

ПоказательДо внедрения SAS

GridПосле внедрения SAS

GridИзменение

Скорость обработки данных (Мб/сек) 0,59 0,8 36%

Время общей работы (avg в день, часов) 61,3 31 -49%Время обработки заданий Run time (avg в день, часов) 42,5 25 -41%Время ожидания заданий Pend time (avg в день, часов) 18,8 6 -68%

Утилизация (Run/Total) 69% 81% 16%Коэф. параллельности (avg процессов в ед. времени) 3,58 5,17 44%

Сравнение показателей системы


SAS GRID Оптимизация загрузки ресурсов

0

50

100

150

200

250

300

0:0

0:0

01

:00

:00

2:0

0:0

03

:00

:00

4:0

0:0

05

:00

:00

6:0

0:0

07

:00

:00

8:0

0:0

09

:00

:00

10

:00

:00

11

:00

:00

12

:00

:00

13

:00

:00

14

:00

:00

15

:00

:00

16

:00

:00

17

:00

:00

18

:00

:00

19

:00

:00

20

:00

:00

21

:00

:00

22

:00

:00

23

:00

:00

DWH on BIG SMP architecture

0

100

200

300

400

500

0:0

0:0

01

:00

:00

2:0

0:0

0

3:0

0:0

04

:00

:00

5:0

0:0

0

6:0

0:0

07

:00

:00

8:0

0:0

09

:00

:00

10

:00

:00

11

:00

:00

12

:00

:00

13

:00

:00

14

:00

:00

15

:00

:00

16

:00

:00

17

:00

:00

18

:00

:00

19

:00

:00

20

:00

:00

21

:00

:00

22

:00

:00

23

:00

:00

DWH on SAS Grid architecture

Выгрузка из источников

Загрузка детального слоя

Загрузка витрин

Площадь под графиком

соответствует общей

нагрузке на сервера для

загрузке хранилища

На оси ординат показано количество

выполняемых ETL процедур в единицу

времени


SAS GRID Рекомендации аналогичным проектам

1) Обратить внимание на решение для Shared File System

необходима для работы GRID

рекомендуется привлекать профильных субподрядчиков (инженерия)

стабильную работу GFS2 настроить не удалось, внедрена платная IBM GPFS

2) Основной фокус в проекте следует уделить:

архитектуре и инженерии решения

оптимизации и адаптации ETL процедур

3) В GRID выявлена уязвимость с отказоустойчивостью:

если переполняется Shared File System, то SAS зависает. Для решения проблемы

необходимо настраивать квотирование дискового пространства в Shared File System


SAS Forum

Благодарим за внимание!

Вопросы ?

Date post:	29-Sep-2020
Category:	Documents
Upload:	others
View:	10 times
Download:	0 times

SAS Forum€¦ · Рамки и этапы проекта # Этап Ключевые...

Documents