1
Informatica MDM
Data Integration Software
2
О компании Informatica#1 Независимый лидер: интеграция данных, качество данных, MDM
• Основана 1993 год
• Выручка 2010 $600+ млн.
• Среднегодовой рост за последние 20% per year5 лет
• Заказчики 4,200+
• 84 of Fortune 100
• 87%+ of Dow Jones
• 10 из 10 крупнейших банков
• Сотрудники 2,125+
Авторизованный дистрибьютор в России и странах СНГ
Data Integration Software
$150
$200
$250
$300
$350
$400
$450
$500
$550
$600
$650
2005 2006 2007 2008 2009 2010
3
О компании Data Integration Software
• Data Integration Software (www.data-integration.ru) – авторизованный
дистрибьютор корпорации Informatica в России и странах СНГ.
• С 2005 года компания Data Integration Software продвигает для заказчиков и
партнеров в России и странах СНГ лидирующую промышленную
платформу Informatica.
• Data Integration Software – является частью израильской компании Aman
Computers (www.aman.co.il) – крупнейшего в Израиле поставщика IT-
решений, основанного в 1972 году.
• Заказчиками Data Integration Software являются крупнейшие компании
России и стран СНГ в различных отраслях экономики.
• В Партнерскую сеть компании Data Integration Software входит свыше 20
ведущих ИТ-компаний России и стран СНГ.
• Головной офис компании находится в г. Москва. С 2010 работает офис в г.
Алматы, Казахстан.
4
Крупнейшие компании России и СНГ
выбирают Informatica
5
InformaticaПроверенная технология лидерства
B2B Data Exchange
Informatica supports the requirements
of cross-organizational data
exchange, so users apply familiar &
trusted data integration tools and
techniques to the growing practice of
B2B data integration.
Application ILM
Informatica was assessed as having the
largest share, more than 33 percent, in
packaged applications for database
archiving based on number of customers
for 2007 by Gartner, Inc. in a research
report released October 13, 2008
Complex Events Processing
Major differentiator is that it does not
just wait for events to come to it but it
can go out and get them for itself.
Provides agents to gather events from
front-office databases & applications as
well as receiving directly from relevant
feeds
Master Data Management
Cloud Data Integration
“Informatica’s mission to integrate data
from business to business… meets a
need of many companies…Others in
this market (including IBM, Microsoft
and Oracle) have not yet pursued this
progressive use of data integration”
Enterprise Data Integration Data QualityForrester Wave IaaS
6
Application Partner Data
SWIFT NACHA HIPAA …
Cloud Computing Unstructured
Подход Informatica Всеобъемлющая, Единая, Открытая, Экономичная платформа
Database
Data Warehouse
DataMigration
Test DataManagement& Archiving
Master DataManagement
Data Synchronization
B2B Data
Exchange
Data
Consolidation
ComplexEvent
Processing
Ultra
Messaging
7
Проблема управления информацией
Application LegacyCloud Computing Unstructured
КЛИЕНТ ПРОДУКТ
КЛИЕНТМЕСТО
Third Party Data
ЗАКАЗ МЕСТО
ЗАКАЗПРОДУКТ
КЛИЕНТ ПРОДУКТ
КЛИЕНТМЕСТО
ЗАКАЗ ЗАКАЗ
МЕСТОПРОДУКТ
Управление
данными
(Data
Governance)
?
Нет “одной
версии
правды”
Анализ РисковПродажиДоходность и
привлекательность
клиента
Соответствие требованиям
Клиентский менеджмент
8
Улучшение критических бизнес-процессов с Multidomain MDM
Повышение
эффективности
и
снижение
затрат
Приобретение
и
удерживание
клиентов
Соответствие
требованиям
и
управление
рисками
Слияния,
поглощения
и
разделения
MDM Hub
КЛИЕНТ
СЧЕТ
ПРОДУКТ
ДОГОВОР
Повышение
качества
принятия
решений
Application LegacyCloud Computing Unstructured Third Party Data
9
Управление мастер-
данными всего
предприятия
MDM hub для
специфической области
(клиенты, продукты)
Точность, cоответствие,
полнота, валидация,
дедубликация…
Понимание данных и основных
проблем качества.
Возможности интеграции
мастер-данных между
приложениями
Модель зрелости MDM по FORRESTER
Интеграция
Профилирование
и оценка
Качество данных
MDM Hub для
выделенной области
MDM стратегия
всего предприятия
1
2
3
4
5
10
Платформа Informatica в проектах MDM
Операционные
Аналитические
Legacy Systems
Хранилище данных
Витрины данных
Portal/ Dashboard
Business Intelligence
Унаследованные приложения
Приложения
Приложения
Унаследованные приложения
Внешниеданные
Master Data Management
Основа MDM - проектов
Своевременные, надежные, релевантныеМастер Данные
Своевременные, надежные, релевантные
Данные
Data
Quality
Data
Profiling
Data
Integration
Data
Services
2 3 5
Master
Data
Management
4
1
11
•Подключения к самым различным
источникам и приемникам
•Трансформации любой сложности,
включающие алгоритмы обеспечения
качества
•Масштабирование, производительность,
отказоустойчивость в промышленных
масштабах
•Работа в любых режимах, в т.ч. в
реальном времени, режиме web-сервиса,
пакетном режиме
•Простота разработки и поддержки
•Управление метаданными и наглядность
метаданных
•Методология ведения интеграционных
проектов
…не только
ETL
Современная
промышленная
платформа
интеграции
Informatica PowerCenter – базовый компонент платформы
- интеграция данных
12
Informatica PowerCenter (интерфейс разработчика)
• Визуализация процесса построения
правил обработки данных
• Отсутствие программирования
13
PowerExchangeУниверсальный доступ к данным
Корпоративные
приложения,
Software as a
Service (SaaS)
JDE EnterpriseOne
JDE World
Lotus Notes
Oracle E-Business Suite ✔
PeopleSoft Enterprise
Salesforce (salesforce.com) ✔SAP NetWeaver ✔SAP NetWeaver BI ✔
SAS
Siebel
Базы данных, OLAP
Adabas for UNIX, Windows
C-ISAM
DB2 for LUW ✔Essbase
HP Neoview
Informix Dynamic Server
Netezza Performance Server
ODBC
Oracle ✔SQL Server ✔Sybase
Teradata
Системы обмена
сообщениями
JMS ✔MSMQ ✔
TIBCO ✔webMethods Broker ✔
WebSphere MQ ✔
Технологи-ческие
стандарты
Email (POP, IMAP)
HTTP(S) ✔LDAP ✔Web Services ✔
XML
Мейнфреймы
Adabas for z/OS ✔Datacom ✔DB2 for z/OS, z/Linux✔
IDMS ✔IMS DB ✔Oracle for z/Linux ✔
Teradata
WebSphere MQ for z/Linux ✔VSAM ✔
Midrange Binary Flat Files DB2 for i5/OS ✔
✔- доступна возможность интеграции в реальном времени или извлечение
инкремента по логам СУБД (Change Data Capture)
14
B2B Data Exchange / Transformation Интеграция любых сложных данных
Поддержка любых видов данных:
• Структурированные
• Неструктурированные
(Word, Excel, текст, PDF, …)
• Индустриальные стандарты
(SWIFT, EDIFACT, HIPAA, …)
• Сложные XML-файлы
• Собственные форматы
Использование
• Без программирования
• На основе примера файла
• Прямая интеграция с PowerCenter
15
Пример разбора неструктурированных файлов
16
• Обработка данных, требующих синтаксического разбора:
• Имена ,Адреса,Телефоны
• Товарные номенклатуры
• Паспортные данные,Налоговые номера
• Банковские реквизиты
• Любая другая информация
• Стандартизация и проверка данных (в т.ч. по эталонным словарям)
• Очистка данных
• Сравнение и поиск дубликатов записей вероятностными методами
• Профилирование данных
• Мониторинг качества данных, в том числе проактивный (оповещение о событиях)
• Совместная работа бизнеса и IT
• Работа в составе платформы Informatica, интеграция с другими решениями
Informatica Data Quality
IT and Business Collaboration
via Integrated Tools
Data
Quality
Rules
17
Пример: Стандартизация и обогащение адресов
Полный адрес Индекс
Город_
преф Город Ул_преф Улица Дом
111111, город Москва,
Красная пл.,д.1 109012 г Москва пл Красная 1
г.С.-Петербург,Невский
проспект,10 191186 г
Санкт-
Петербург пр-кт Невский 10
Москва Тверская 20 125009 г Москва ул Тверская 20
1-го мая,село Никитовка,
д.10 309905 с Никитовка ул 1 мая 10
Москва г., Tcatskaya
ул,д.38,321456 105187 г Москва ул Ткацкая 38
До очистки После очистки
18
Консолидация данных и устранение дубликатов
• Выявление дубликатов записей по строгим правилам –точное соответствие значений
• Оценка совпадения записей между собой с использованием вероятностной логики
• Применение «нечеткой» логики для определения дубликатов с помощью Identity Resolution (Identity Match Option) с высочайшей производительностью
• Идентификация связей между записями вне зависимости от их источника
• Автоматическое создание мастер-записи из числа дубликатов и сохранение в системе-приемнике
• Использование web-клиента для ручных операций при невозможности разобрать или унифицировать записи автоматически
19
Informatica MDMПроверенное мультидоменное MDM решение
Предоставляет единый взгляд на критически
важные данные о клиентах и продуктах и
любых других сущностях, обеспечивая в
результате успешность бизнеса, отношений с
клиентами, усилий по соответствию
требованиям при минимизации затрат
• Достижения основанные на реальных внедрениях
• Быстрое внедрение средний срок : 3-6 месяцев
• Масштабируемость пример решения: 450M записей
• Мультидоменное решениеПочти 50% заказчиков работает как с клиентами так и с продуктами на одной платформе.
Внедрение и применение
• Различные индустрии: финансы, High Tech, производство…
• Более 50% заказчиков –компании из Fortune 500 иGlobal 500
Merrill Lynch, Deutsche Bank, Johnson & Johnson, Pfizer, Apple, Kodak, Cadbury, …
• 25+ типов решений в различных отраслях
Рынок
20
Карта функциональности решения
Data
Integration
Data
Quality
Master
Data
Management
Hub
ЗагрузкаAll Data
SourcesBatch or
Real-time
All Data
FormatsLanding
Delta Detection
Исследование Data Quality
DashboardDiscovery
Модель
Single or
Multidomain
Customer Product
Content
HistoryLineage
X-ref
Rules
MatchSurvivorshipValidation
Metadata & Rules
Security
UI & Web
Services
Выявление
дублей
консолидация,
связи
FuzzyMatching/Linking
Global Match Population
Merge/
Unmerge
Trust Framework
Party& Product
Party ProductRelate
Качество
Country based
Advanced
Cleansing & Parsing
Address
Standardization
Validation, Cleansing & Standardization
Reject MgtX
Доставка
потребителям
Data Services / Federate
Event Management
Data Controls
Services Integration Framework
Интерактивное
Управление
(Informatica
Data Director) Tasks Management
(e.g. Approvals)
Hierarchy Management
Audit & History
Monitoring & Scorecard
Metadata Management & Business Glossary
Data Validation
Data Search& Entry
Reports
Workflow
BPM
Data
Services
21
Моделирование доменов данных любых
типов:
• Множество типов доменов данных
(Клиенты/Объединения, Продукты & Услуги,
договора, подразделения, каналы
распространения, финансы/бухгалтерия,
имущество, справочники)
• Сложность модели лимитируется только
бизнес-потребностями, соответственно
достигается быстрое внедрение и легкость в
поддержке.
• Метаданные хранят всю историю, взаимосвязи
и перекрестные ссылки
Модель данных
22
Точное распознавание и идентификация
клиента (или другого домена) во
множестве систем:
• Идентификация кандидатов для сопоставления,
основанная на конфигурируемых правилах
• Высокая скорость и эффективность
идентификации с использованием механизмов
нечеткой логики
• Определение сопоставленных/не-сопоставленных
записей основанное на указанных пользователем
пороговых значениях.
• Передача спорных случаев на ручную обработку
Распознавание, Идентификация, Выявление потенциальных дубликатов
RECOGNIZE
Александр
КорейкоА.Корейко
XREFXREF
23
Разрешение конфликтов и консолидация
RESOLVE
А. Корейко Александр
Корейко
ERPCRM
Разрешение конфликтов данных и
консолидация данных из различных систем в
надежную достоверную единую “версию
правды”.
• При необходимости похожие записи, сливаются
в “золотую запись”
• Наиболее достоверные АТРИБУТЫ для каждой
итоговой записи выбираются на уровне полей
(ячеек) исходных записей, в соответствии с
конфигурируемыми правилами
• Возможность учесть влияние времени
происхождения при установке уровня доверия
• Вся история и данные о происхождении
сохраняютсяАлександр
Иванович Корейко
XREF
24
Установка связей, зависимостей, иерархий
Установка связей и построение иерархий
между людьми, местоположением,
продуктами, организациями из различных
источников
•Сведение вместе взаимосвязей из различных
приложений и систем
•Создание и управление множеством типов
связей и иерархий для различных целей.
•Поддержка всей истории о данных,
происхождении, взаимосвязях и иерархиях
RELATE
А.Корейко З.Синицкая
ООО Геркулес
Работает в
Жена
XREF
Александо
Иванович Корейко
25
Informatica Data Director: визуальное создание, использование, управление и мониторинг данных
•Создание и поддержка высококачественных мастер-
данных.
•Проактивная валидация, пополнение и обогащение
данных
•Согласование данных и совместная работа разных
направлений бизнеса
•Поиск по всем мастер-данным из центрального
расположения
•Детальный просмотр мастер-данных и иерархий
•Быстрое определение потенциальных дублей
•Слияние дубликатов и управление иерархиями
•Использование назначаемых задач для
упорядочивания процесса управления данными
•Отслеживание происхождения и истории данных
•Отслеживание изменений и истории иерархий
•Аудит мастер-данных
Data Director for Business User
MultidomainMaster Data
Create
Consume
Manage
Monitor
26
Informatica MDMтехнические подробности
27
Приложения
Web-based Consoles
• Firefox, IE
Аналитические приложения. Операционные приложения
Data Warehouse Marketing Sales Call Center Financial Portal CompositeBIInformatica Data
Director
Источники
Уровень
пользовательского
интерфейса
(конфиг., админ.)
Java Swing Consoles
Уровень сервера
приложенийApplication Server
• Oracle WebLogic, IBM
WebSphere, jBoss
Operating Systems
• AIX, HP-UX, Linux (SUSE & Red
Hat), Solaris, Windows
Уровень СУБДRDBMS
• Oracle 10g, 11g
• DB2 UDB
Operating Systems
• AIX, HP-UX, Linux (SUSE & Red
Hat), Solaris. Windows
XML,Web
Services,EJB
Внутренние данныеВнешние данные
ETL,SQL
АБС 1 Siebel CIF АБС 2 OnlineКлассификаторыКЛАДР
Архитектура Informatica MDM и поддерживаемые платформы
Data
Management
Design
Time
Admin Sys
Management
Hub Server (Services Integration Framework)
Cleanse & Match
Server
Activity
Server
Master Reference
Server
Hierarchy
Server
Security Access Manager
Hub StoreGlobal ID
Cross-reference Keys
Master Records
Cleanse, Validation, Match and Merge Rules
Trust Metadata
History and Lineage
Bus. Data Director
Server
Управление данными
28
Security Access Manager (SAM)
Интеграция с внешними приложениямиServices Integration Framework (SIF)
Интерфейсы доступа
Внешние приложения
Portal Oracle SAP SiebelCompositeLegacy
(DesignTime)
Services& EventsGenerator
Get Customer
Get Name Get Address
NewCustomer Profile
NameChange
NewAddress
Multidomain
MDM Hub
Business EventsBusiness Services
Schema SpecificServices
GenericServices
Data EventsData Services
Synchronous / Asynchronous (EJB, SOAP, HTTP, JMS)
SIF
Bus. Data Director
Process Services
29
Trust FrameworkTM
Sources(Reference or Relationship Data)
Consumers(Master Reference or Relationship Data)
Data Source
ETL
Msg Queue/
Services
Landing
Data Source
Application
Data Warehouse
Rule-based Configuration Tools
Consolidation Process
Target Data Model
Metadata
Auto Merge
Match
Manual Merge
Un-Merge
Insert/
Update
Insert/
Update
New
Name
Product
Address
Dynamic
Cell-Level
Survivorship
Msg Queue
Queued for
Merging
Queued for
MatchingRaw Reject
Staging
Application
Management
Rules
Hierarchy
Validation
State Mgmt
Workflow
Event Trigger
Content
History
Lineage
X Ref
Trust Score
Audit
Events
Потоки данных
f(x)
f(x)
f(x)
Mappings
Transformation and
Cleansing
f(x)
Apply Trust and
Validation
Apply Trust and
Validation
Data Integration
Data Profiling
Data Integration
Mapping Services
Transformation and
Cleansing
30
Конфигурация и Кастомизация
Большая часть работы выполняется в режиме КОНФИГУРАЦИИ
Administration console
Моделирование
Безопасность
Маппинги
Очистка / Валидация
Доверие
Выявление дублей/ Консолидация
SIF, Messaging & Batch integrations
User Interface (Informatica Data Director) Configuration web console
Конфигурирование интерфейса (UI Layout)
Назначение задач
Очистка и валидация в реальном времени
31
Конфигурация и Кастомизация
Существующий функционал может быть расширен (кастомизирован)
Специфические функции
Повторное использование существующих сервисов
Использование платформы качества данных уровня предприятия
Коннекторы (Informatica DQ, Address Doctor, Lombardi BPM)
Документированный API Framework для custom Java классов
Композитные сервисы
Кастомизированные пакетные загрузки
User exits
Сложные бизнес-правила или правила валидации при сохранении, объединении, удалении и т.д.
Custom Database Stored Procedures или Custom Java Classes на основе integration framework
Пользовательский интерфейс
Дополнительные закладки с custom логикой
Дополнительные кнопки действий
Встраивание внешнего web-контента
32
Environment B
Oracle
(RAC)
REDO
Log files
Запланированные простоирешение Zero DownTime Upgrade
MDM Hub Runtime
Environment A
ServicesCustom Data-
fix scripts
Data
Content
Metadata
• Dynamic Content Metadata
Backfill
• Virtual FK support
• Virtualized schema changes
MDM HA Admin
MET
Replication
Config.
Generator
Data
Replication
Controller
Golden Gate
MDM HA Components
Golden Gate Components
Process
Replication
Controller
Customer Upgrade Process Control
Messaging
Infrastructure
Configuration
Settings
Batch
Oracle
(RAC)
REDO
Log files
Configuration
Settings
Data Pump (PORA)
Extract (EORA)
Replay (RORA)
Data Pump (PORA)
Extract (EORA)
Replay (RORA)
33
ПроизводительностьНезависимый тест IBM Innovation Center
150 миллионов клиентов
300 миллионов счетов
300 виртуальных пользователей
1104 транзакций в секунду
4 миллиона транзакций в час
Близкая к линейной масштабируемость при увеличении процессоров на уровне
сервера приложений и БД
Время задержки от 114 до 216 миллисекунд при различных тестах
IBM P570 1,9 GHZ (от 2 до 16 CPU на сервере приложений и сервере СУБД)
Примеры из реальной жизни
Merrill Lynch
>160M записей
AstraZeneca
>50M записей
34
Informatica MDMпримеры интерфейсов
35
Administration Console Конфигурация и администрирование
36
Примеры визуальных интерфейсов -Informatica MDM - поиск
37
Примеры визуальных интерфейсов Informatica MDM – просмотр и редактирование
38
Примеры визуальных интерфейсов Informatica MDM – потенциальные дубли
39
Примеры визуальных интерфейсов Informatica MDM – визуальные панели
40
Пример Informatica MDM: Расширенное представление сущности(клиент, продукт и т.д.) с выявлением взаимосвязей и иерархий
41
Пример Informatica MDM: Расширенное представление связей и иерархий сущности на n-уровней в Informatica MDM
42
Опциональная возможность интеграции визуальных
компонент в любые существующие приложения:Пример – Hierarchy Component, интегрированный в портал
43
Informatica MDM – примеры внедрений
44
Пример о клиентах: Фокус на клиента и три ключевых представления о клиенте c Informatica MDM
Extended Customer ViewSingle Customer View +
Продукты и Услуги + Полезная
информация о семье, организационных,
деловых, трудовых отношениях и т.д.
360 Customer View Single Customer View +
Продукты и Услуги
Семейные
отношения
Расширенные
семейные
отношения
Деловые,
трудовые
отношения
Организационные
отношения,
аффилированность
Брокер
Финансовый
аналитик
Spouse
Child 1
Child 2
Child 3
A
D
B
F
B
E
B
H
B
Father
Mother
B
G
B
I
Single
Customer View
Полное, точное и
согласованное
представление
клиентских данных
А.И. Корейко
Александр Иванович
Корейко
А. Корейко
Александр
Корейко
Alex
Koreyko
47
Обеспечение
цепочки
от заказа
до оплаты
Управление
данными
и
соответствие
требованиям
Оценка
ценности
клиентов
Слияния
и
поглощения
Управление
распростра
нением
(дистрибуция)
Выявление
рисков
безопасности
Анализ
охвата
клиентов
Значительное
снижение времени
организации новых
каналов.
Исключение
конфликтов между
каналами
распространения
Связь иерархий каналов
распространения с иерархиями
клиентов
Создание “золотых
записей” для финансовых
инструментов и контрагентов
Единый взгляд
на заказчиков,
членство в
медицинских
группах, сети
поставщиков &
госпитали
Повышение
продуктивности
25 000
финансовых
консультантов
на 30%. Годовая
экономия > $50M
Единый взгляд на заказчиков, продукты, домашние хозяйства
(households) & коммерческие
взаимоотношения
Единый взгляд на
заказчиков, каналы
дистрибуции, продукты
Точное понимание
охвата клиентов
по расположению.
Улучшение
выявления новых
клиентов.
Консолидаци
я заказчиков,
продуктов и
поставщиков
$9M
дополнительно в
продажах;
$3M экономия в
затратах;
$1.5M экономия
при M&A
Стандартизация
процессов для
медицинского
оборудования,
фармацевтически
х подразделений.
Повышение
лояльности
клиентов
Единый взгляд
на заказчиков,
продукты,
продажи, цены
Заказчики Informatica MDMПроверенное решение Multi-domain MDM
Создание
обязательной
отчетности по
каждому
медицинскому
профессионалу/уч
реждению
Точное
определение
рисков при
работе с
юридическими
лицами
48
Ключевые преимущества• Проверенное в ведущих мировых компаниях решение (Merrill
Lynch, Deutsche Bank, Apple, Pfizer, Johnson& Johnson, Societe Generale и т.д.)
• Комплексный подход – любые потребности проекта на одной платформе, в т.ч:
• интеграция данных.;
• контроль и обеспечение качества данных;
• управление мастер-данными;
• Любые домены (клиенты, продукты, сотрудники, каналы продаж,референсные таблицы и т.д.) на одной платформе.
• Любые типы применения (операционный, аналитический) при любых сценариях управления
• Производительность и обеспечение любых сценариев масштабирования, возможность эффективно обрабатывать любые объемы данных
49
Ключевые преимущества (2)
• Развитие решения вендором и серьезные
инвестиции в решение, регулярные обновления,
четкие планы развития
• Офис разработки Informatica MDM в России (Санкт-
Петербург)
• Фокус решения на уникальные потребности
заказчика, легкость конфигурирования, изменения и
масштабирования под меняющиеся требования
бизнеса
• Значимые для бизнеса результаты в короткие сроки
58