ODI - Charla

transcript

Oracle Data Integrator

¿Qué es ODI?

• ODI (Oracle Data Integrator) es un Integrador de Datos de Oracle.

¿Qué es la Integración de Datos?

• Es el proceso combinar datos que residen en diferentes fuentes para permitir al usuario final tener una vista unificada de todos sus datos.

Componentes de ODI

• Módulos de Conocimiento (Knowledge Modules)

• Módulos Gráficos

• Componentes de Tiempo de Ejecución

Módulos de Conocimiento (Knowledge Modules)

• Los Módulos de Conocimiento implementan los flujos de datos actuales y definen las plantillas para la generación de código a través de múltiples sistemas involucrados en cada proceso.

Diferentes tipos de Módulos de Conocimiento

• RKM (Reverse Knowledge Modules)

• LKM (Loading Knowledge Modules)

• JKM (Journalizing Knowledge Modules)

• IKM (Integration Knowledge Modules)

• CKM (Check Knowledge Modules)

• SKM (Service Knowledge Modules)

Modulos Gráficos

• Designer

• Operator

• Topology Manager

• Security Manager

Designer

Es donde los proyectos son desarrollados • Ingeniería reversa automática de aplicaciones y

bases de datos • Desarrollo gráfico y mantenimiento de las

interfaces de transformación e integración • Visualización de los flujos de datos de las

interfaces • Administración automática de la documentación • Customización de código generado

Designer

Operator

• Administra y monitorea la producción

• presenta los logs de ejecución, con mensajes de error, números de filas procesadas, estadísticas de ejecución, y otros.

• Permite a los desarrolladores hacer depuración de los procesos.

Operator

Topology Manager

• Define la arquitectura física y lógica de la infraestructura.

• Se encarga de registrar en el repositorio maestro Servidores, Esquemas y Agentes

Topology Manager

Security Manager

• Administra los usuarios, perfiles y privilegios de acceso.

• Puede también dar privilegios específicos a objetos y funcionalidades

Security Manager

Componentes de Tiempo de Ejecución

• El Agente

• El Repositorio

• Metadata Navigator

El Agente

• En tiempo de ejecución, el agente coordina la ejecución de los escenarios de producción.

• La ejecución de procesos puede ser disparada a partir de uno de los módulos gráficos o también por el agente o desde herramientas de terceros (schedulers).

El Repositorio

Es un repositorio de metadatos integrado, abierto compartido, que almacena metadatos de las aplicaciones y datos involucrados en las transformaciones y procesos de integración, las versiones de los proyectos desarrollados y todas las informaciones requeridas para el uso de estos (planeamiento, programación y reportes de ejecución).

Metadata Navigator

Es un cliente web para el acceso al Repositorio de Oracle Data Integrator. Lista, investiga y analiza todo el contenido del repositorio, además de ofrecer “data lineage tracing”, referencias cruzadas, análisis de impacto, etc. También se puede utilizar esta herramienta para la administración de procesos en ejecución.

Creación de un Proyecto en ODI

1. Definir una Topología (Topology Manager)2. Crear los Modelos3. Crear el Proyecto4. Crear y Organizar Carpetas5. Importar KMs.6. Crear y Modificar Objetos7. Testear los Objetos8. Hacer Paquetes9. Testear Paquetes10. Generar Escenarios

1. Definir una Topología

1.1. Crear los Contextos

1.2. Crear los Servidores de Datos

1.3. Crear Esquemas Físicos

1.4. Crear los Esquemas Lógicos

1.5. Crear Agentes Físicos

1.6. Crear Agentes Lógicos

Los Contextos reúnen los componentes de la Arquitectura Física (Arquitectura Real), con los componentes de la Arquitectura Lógica, que es la que usa el usuario para trabajar.

correspondientes a cada servidor usado.

Esquema Físico:

• Esquema de Datos

• Esquema de Trabajo, que es donde ODI creara y manipulará las tablas temporales asociadas con los orígenes y destinos contenidos en el esquema de datos.

Si el Esquema Físico no existe, se creará automáticamente al tipear su nombre.

• Vincular los esquemas físicos y lógicos en el contexto:

2. Crear los Modelos

• Desde el Modulo Designer:

2. Crear los Modelos

3. Crear el Proyecto

4. Crear y Organizar Carpetas

En las Carpetas se almacenan los Paquetes, Interfaces y Procedimientos Escenarios, etc.

5. Importar KMs

• Deben importarse los KMs adecuados para cada tecnología.

• Los KMs se encuentran en el directorio …\ODI\oracledi\impexp\

5. Importar KMs

6. Crear y Modificar Objetos

• Variables

• Sequences

• Interfaces

• Procedures

• User functions

Crear Interfaces

• Arrastrar desde el Árbol de Modelos, la tabla de destino sobre la parte derecha de la ventana.

• Arrastrar las tablas de origen sobre la parte izquierda.

• Escribir las reglas de mapeo para cada columna de la tabla-destino en el panel inferior.

Crear Interfaces

• Se debe seleccionar el lugar donde se ejecutará dicha regla (origen, área de ensayo, destino), según corresponda.

• Para hacer un join se debe arrastrar un campo sobre otro en las tablas de origen.

Crear Interfaces

8. Hacer Paquetes

Un Paquete es una secuencia ordenada de Objetos (Interfaces, Procedimientos, etc.)

8. Hacer Paquetes

• Dentro de la Pestaña Diagram arrastrar los objetos para armar una secuencia.

• También se pueden arrastrar objetos de la barra de herramientas en la parte izquierda del a ventana.

8. Hacer Paquetes

• Si un proceso termina su ejecución correctamente, a continuación se ejecutará el proceso que esta apuntado por una flecha verde.

• Si una ejecución termina con errores, el siguiente proceso a ejecutar será el que esta apuntado por una flecha roja.

10. Generar Escenarios

• Un escenario es una versión compilada de un paquete.

• Una vez generado no se puede modificar.

• Si se desea modificar un paquete, es necesario generar nuevamente el escenario.

• Se pueden ejecutar desde línea de comandos.

Testear Ejecuciones

• Las ejecuciones de procedimientos, interfaces, paquetes o escenarios, pueden ser monitoreadas desde el módulo Operator.

Testear Ejecuciones

• También es posible ver las filas que no fueron insertadas por tener errores errores.

Scheduleando un Escenario

1. Editar odiparams.bat

2. Crear scripts para lanzar Agente Físico

3. Crear Agente Físico

4. Crear Agente Lógico

5. Testear

6. Insertar Programación

Editar odiparams.bat

odiparams.bat esta situado en el subdirectorio \bin del directorio ODI.

Crear los Scripts necesarios para iniciar y detener el agente:

• start.bat:

C:\ODI\oracledi\bin\agentscheduler

“-port=<puerto>“ “-name=<nombre>”

“-v=<valor entre 0 y 5>”

• stop.bat:

C:\ODI\oracledi\bin\agentstop

“-port=<mismo puerto>”

Crear scripts

Crear Agente Físico

• Desde el Topology Manager:

Crear Agente Físico

Crear Agente Lógico

• Vincular Agente Lógico al Agente Físico con un Contexto.

Crear Agente Lógico

• Hacer lo mismo en el Contexto:

Testear

• Lanzar el Agente ejecutando el archivo .bat

Testear

• Abrir el Agente Físico y Testear:

Insertar Programación

• Desde el Módulo Designer:

Insertar Programación

Monitorear Ejecuciones

• Desde el módulo Operator:

Otras formas de ejecutar Escenarios:

• Desde Línea de Comandos:startscen <Name> <Version> <Context code>

[<Log_Level>] [-SESSION_NAME=<session name>]

[-KEYWORDS=<keywords>] [-NAME=<agent_name>]

[-v=<trace level>] [<variable>=<value>]

Otras formas de ejecutar Escenarios:

• Desde el módulo Operator:

ODI - Charla

Documents