Infrastructure optimization for seismic processing (rus)

transcript

Обработка сейсмоданных: возможности оптимизации ИТ-инфраструктуры

Всеволод Шабад, генеральный директорvshabad@netproject.ru (985) 765-76-03

Кто такой «СетьПроект»?

Нишевой системный интегратор: создаем и развиваем ИТ-инфраструктуру для сейсморазведки и промысловой геофизики

Как сделать сбалансированный кластер?

Производительность должна быть достаточна(ограничена лишь лицензиями на прикладное ПО):

•Paradigm ES 360, GeoDepth, Echos•Schlumberger Omega•Landmark SeisSpace/ProMAX•CGG Geocluster

Стоимость должна быть минимальна

Загрузка компонентов кластера

Оптимальный

(лимитирует только CPU)

Неоптимальный

(ничто не лимитирует — мощности

избыточны)

Неоптимальный

(лимитирует сеть, а не CPU)

Ограничителем производительности кластера должна быть

только производительность CPU!

CPU RAM Network Local HDD Shared File System

Ключевые идеи оптимизации

Сокращение:•простоев CPU вычислительных узлов•непроизводительной загрузки CPU

вычислительных узлов•эксплуатационных расходов

Пример загрузки CPU вычислительного узла

в течение рабочего дня

Оптимизируемые компоненты

Вычислительные узлы

Файловые узлы и СХД

Узлы управления и менеджеры заданий

Сеть передачи данных

Система резервного копирования

Система охлаждения

Оптимизация вычислительных узлов

Оптимальный выбор CPU и RAM

Разгрузка процессоров с помощью RDMA

Разгрузка процессоров с помощью GPU

Выбор оптимального форм-фактора серверов

Факторы выбора CPU

Система лицензирования прикладного ПО•по ядрам•по сокетам•по хостам•по пользовательским сессиям

Удельная стоимость Тфлопс

Удельная стоимость ядра

Ограничения по тепловыделению

Ограничения по числу хостов

Выгоды перехода на Xeon E5-2600v4

Семейство Broadwell-EP (E5-2600 v4) Haswell-EP (Xeon E5-2600 v3)

Сервер HPE ProLiant XL230a Gen9

CPU 2x Xeon E5-2680 v4

(28 ядер, 2.4 ГГц)

2x Xeon E5-2680 v3

(24 ядра, 2.6 ГГц)

RAM 256 ГБ (9.1 ГБ / ядро)

PC4-2400

256 ГБ (10.7 ГБ / ядро)

PC4-2133

HDD 3x 1 ТБ SATA

Network 1x Infiniband FDR

Цена List Price, USD 16 051 17 371

Производительность, Тфлопс 0.85 0.81

Цена List Price, USD

за ядро573.25

723.79

на 26% дороже

за Тфлопс18 883.53

21 445.68

Типичный вычислительный узел

для Paradigm ES 360

Выгоды перехода на Xeon E5-2600v4

Пример неоптимального выбора CPU

Семейство Broadwell-EP (E5-2600 v4) Broadwell-EP (E5-2600 v4)

Сервер HPE ProLiant XL230a Gen9

(28 ядер, 2.4 ГГц)

2x Xeon E5-2699 v4

(44 ядра, 2.2 ГГц)

PC4-2400

512 ГБ (11.7 ГБ / ядро)

PC4-2400

HDD 3x 1 ТБ SATA

Network 1x Infiniband FDR

за ядро

573.25 702.52

за Тфлопс

18 883.53 24 339.37

Типичный вычислительный узел

для Paradigm ES 360

Выгоды перехода на Intel KNL (?)

Семейство Broadwell-EP (E5-2600 v4) Intel KNL (Xeon Phi x200)

Сервер HPE ProLiant XL230a Gen9 HPE ProLiant XL260a Gen9

(28 ядер, 2.4 ГГц)

1x Xeon Phi 7210

(64 ядра, 1.3 ГГц)

PC4-2400

384 ГБ (6 ГБ / ядро)

PC4-2400 (макс. объем)

HDD 3x 1 ТБ SATA

Network 1x Infiniband FDR 1x Infiniband EDR + 1x 10GbE

за ядро

573.25 398.84

на 30% дешевле

за Тфлопс

18 883.53 20 099.21

Опыта использования KNL для ПО Paradigm пока нет,

опыт использования другими приложениями отрицательный!

Некоторые особенности работы с ОЗУ

Пример для HPE Apollo (Proliant XL230a Gen9):

http://h20195.www2.hp.com/v2/getpdf.aspx/c04390759.pdf?ver=9

Разгрузка CPU с помощью RDMA

Как это работает: передача из буфера в буфер без участия процессора и операционной системы

Разгрузка CPU с помощью RDMA

Применение RDMA для передачи данных:•между вычислительными узлами•между вычислительными и файловыми узлами

Эффективность RDMA на примере

Источник: http://cto.vmware.com/wp-

content/uploads/2012/09/RDMAonvSphere.pdf

Эффективность RDMA на примере

Источник: собственный тест «СетьПроекта» для SLB Omega (июнь 2016)

Нужна поддержка RDMA приложениями!

Обработка сейсмоданных:•Paradigm ES 360, GeoDepth, Echos

•встроенная поддержка с версии 15.5•Schlumberger Omega, Landmark ProMAX

•через MPI

Файловые системы:• IBM Spectrum Scale (бывшая GPFS)•Lustre •BeeGFS (бывшая FhGFS)

Разгрузка процессоров с помощью GPU

Paradigm:•Echos RTM

Schlumberger:•Omega RTM, Kirchhoff

Tsunami:•Tsunami RTM

Полный список: http://www.nvidia.co.uk/content/EMEAI/PDF/tesla-gpu-

applications/gpu-apps-catalog-eu.pdf

Эффективность GPU на примере

Приложение – собственная разработка Statoil

GPU — NVIDIA GeForce GTX280

Источник: http://www.idi.ntnu.no/~elster/master-studs/owej/owe-johansen-master-

ntnu.pdf

DownUnderGeosolutions (Австралия)

•3800 сопроцессоровIntel Xeon Phi 7120P

Источник:

http://www.intel.com.au/content/www/au/en/big-data/high-performance-

computing-xeon-e5-dug-case-study.html

Источник: собственный тест «СетьПроекта»

для SLB Omega и NVIDIA Tesla K40 (июнь 2016)

Выбор форм-фактора серверов

Стоечные серверы 1U•например, HPE Proliant DL360 Gen9

Стоечные серверы 2U•например, Fujitsu RX2540 M2

Высокоплотные серверы•например, Lenovo NeXtScale M5

Блейд-серверы•например, DELL M1000e

Типичные высокоплотные шасси

Модель шасси Кол-во узлов Высота шасси, RU

Lenovo NeXtScale n1200 12 6

Lenovo ThinkServer n400 4 2

HPE Apollo 2000 4 2

HPE Apollo a6000 10 5 (+1.5)

HPE Apollo 6500 2 4 (+ 1.5)

DELL PowerEdge FX2 8 2

DELL PowerEdge C6320/6300 4 2

Fujitsu Primergy CX400 S2 4 2

Huawei FusionServer X6800 8 4

Ключевая выгода: гибкость выбора скоростных сетевых интерфейсов

Файловые узлы и СХД

Выбор оптимальной файловой системы с поддержкой RDMA и QoS

Использование блочных СХД высокой плотности

Кэширование коротких IOPS на SSD и SSD-tiering

Снижение накладных расходов в файловой системе

Резервные копии в виде снапшотов

Прозрачная миграция между дисками и лентами

Выбор оптимальной файловой системы

Параметр IBM

Spectrum

(GPFS)

Lustre

(+ ZFS)

BeeGFS Panasas

EMC Isilon

Huawei 9000

NetApp FAS(NFS)

Поддержка RDMA на

клиенте

Есть Есть Есть Нет Нет

Поддержка

снапшотов Redirect-

On-Write

Есть Есть

(через ZFS)

Нет Есть Есть

Прозрачная

миграция на ленты

Есть Есть

(через

GRAU PDM)

Нет Нет Нет

Коммерческая

поддержка

Есть «Есть»

(для ZFS-on-

Linux нет)

Есть Есть Есть

Сложность

настройки

Высокая Высокая Высокая Низкая Низкая

Производительность

Single-Thread

Умеренная Низкая Высокая Низкая Низкая

Накладные расходы в ФС на примере

Источник: http://wiki.lustre.org/images/b/b2/Lustre_on_ZFS-Ricardo.pdf

Выбор оптимальной блочной СХД

Пример требований: •пропускная способность 3 ГБ/с

на последовательных операциях ввода-вывода•полезная ёмкость 300 ТБ

Варианты решений:•EMC VNX5400 — 174 диска, 39 RU•NetApp E5600 — 69 дисков, 12 RU

Варианты внешних интерфейсов:•SAS, Fibre Channel, 10GbE, Infiniband

Массив NetApp E5600 допускает прямое подключение через Infiniband (протокол iSER)

Кэширование IOPS на SSD

Варианты реализации:•кэширование на блочном дисковом массиве• IBM Spectrum Scale:

•Highly-available write cache (HAWC)•Local Read-Only Cache (LROC)

•Panasas ActiveStor:•нет

•Lustre:•L2RC (DDN) — опыта эксплуатации нет!

•EMC Isilon:•SmartFlash

SSD-tiering

Наиболее применимо:•заголовки трасс•прочие метаданные

Варианты реализации:•sub-LUN tiering на блочном дисковом массиве• IBM Spectrum Scale:

•storage pools•Panasas ActiveStor:

•встроенные средства PanFS•Lustre:

•PDM (GRAU) — опыта эксплуатации нет!•EMC Isilon:

•SmartPools

Резервные копии в виде снапшотов

Традиционные резервные копии(ленты):

•500 ТБ данных, верификация после записи

•на 4 приводах LTO-7 (300 МБ/с):•500 000 000 / (4 * 300

* 2 * 3600) = 58 часов в идеальных условиях

Инновационные резервные копии(снапшоты):

•10 минут вне зависимости от объема

Прозрачная миграция на ленты

Промежуточное ПО (LTFS):• IBM Spectrum Archive•HPE StoreOpen

Приводы:• IBM TS1150:

•360 МБ/с •10 ТБ картридж

•LTO-7: •300 МБ/с•6 ТБ картридж

Узлы управления и менеджеры заданий

Оптимизируют загрузку кластера

Интеллектуально управляют энергопотреблением

Реализации:•свободные (бесплатные)

•SLURM•TORQUE

•коммерческие •MOAB HPC Suite

(Adaptive Computing)•Spectrum LSF (IBM)•PBS Pro (Altair)

Сеть передачи данных

Ключевая технология — RDMA

Варианты:• Infiniband FDR/EDR•Ethernet 40G/56G/100G (с поддержкой RoCE)

Intel Omni-Path – новая технология

Достоинства:•более дешевое оборудование, чем Infiniband•на 33% больше портов в коммутаторе

Недостатки:•нет разгрузки CPU от операций ввода-вывода•недостаточная поддержка приложениями•нет шлюза с Ethernet (Mellanox VPI)

Система резервного копирования

Защита только от логических сбоев•с помощью снапшотов Redirect-On-Write

Защита от физических сбоев не требуется•если есть выделенная СХД для архива

Сравнение реализаций снапшотов

Redirect-On-Write Copy-On-WriteNetApp FAS3240 IBM Storwize v7000

Источник: собственный тест «СетьПроекта» в интересах ОАО «Новатэк» (2012)

Система охлаждения

Воздушная:•работает с любым оборудованием

(до 15 кВт на шкаф)•температурный диапазон можно расширить

Жидкостная:•требует адаптации

оборудования или «водяную дверь»

•повышает плотность ЦОД

Расширение температурного диапазона

Повышение температуры воздуха в серверной на 5O C позволяет снизить энергозатратысистемы охлаждения на 20% (Intel, IDC, Gartner)

Используемые компоненты

Серверы:•Lenovo, HPE, DELL, Fujitsu, Huawei, Sugon,

Inspur, …

СХД:•NetApp, IBM, HPE, HDS, Panasas, Huawei,

DELL|EMC, Fujitsu, …

Сети:•Mellanox, Extreme, Cisco, Lenovo, Huawei, …

Ленточные библиотеки:• IBM, HPE, Quantum

Менеджеры заданий:•Adaptive Computing, IBM, Altair

Сильные стороны «СетьПроекта»

Узкая специализация в выбранной нише рынка

Знание отраслевой специфики и прикладного ПО

Знание инфраструктурных ИТ-продуктов и технологий

Передовая методология управления проектами

Систематизированный опыт прежних проектов

Высокая инженерная культура персонала

Активное вовлечение персонала заказчика

Cлова партнеров о нас

"СетьПроект" продолжает быть одним из наших главных технологических партнеров в России

•Михаил Ерченков, Paradigm

Благодаря таким активным, квалифицированным и компетентным партнерам, как "СетьПроект", мы рассчитываем существенно нарастить нашу долю на нефтегазовом рынке

•Сергей Горбас, Lenovo

"СетьПроект" — один из наших приоритетных партнеров в нефтегазовой отрасли

•Роман Ройфман, NetApp

Будет быстро – проверено!

http://www.netproject.ru/

Infrastructure optimization for seismic processing (rus)

Business