+ All Categories
Home > Documents > CDD MODULOS MISCELENEOS

CDD MODULOS MISCELENEOS

Date post: 22-Feb-2016
Category:
Upload: shanon
View: 70 times
Download: 0 times
Share this document with a friend
Description:
CDD MODULOS MISCELENEOS. Mayo 2012. Temario. INDICE. Contexto General Definición de Ambiente Procedimiento de Ejecución Job Principal Borrados de Archivos Dat Borrado de Archivos Dat Job Principal Borrado Histórico Borrado Histórico Job Principal Carga Tablas EPR Carga Tablas EPR - PowerPoint PPT Presentation
Popular Tags:
19
CDD MODULOS MISCELENEOS Mayo 2012
Transcript
Page 1: CDD MODULOS MISCELENEOS

CDDMODULOS

MISCELENEOS

Mayo 2012

Page 2: CDD MODULOS MISCELENEOS

1. Contexto General2. Definición de Ambiente3. Procedimiento de Ejecución4. Job Principal Borrados de Archivos Dat

Borrado de Archivos Dat5. Job Principal Borrado Histórico

Borrado Histórico6. Job Principal Carga Tablas EPR

Carga Tablas EPR

7. Carga Tabla Estados8. Otras Funcionalidades9. Tablas de Control10. Check List de Diagnostico

Temario

INDICE

Page 3: CDD MODULOS MISCELENEOS

MISCELANEOS

1. Borra de Archivos DatProceso que borrar desde el directorio /dsdata/DSCDD/DAT, todos los archivos (Enviados por SABRES) utilizados en el proceso de Carga de CDD, su periodicidad será diaria, es decir, se debe ejecutar manualmente y sólo se ejecutara si el proceso de carga estén correctamente finalizado

2. Borrado HistóricoProceso que borrar a las particiones cargadas en CDD, con el fin de mantener una porción de historia e ir eliminando la más antigua determinada por un parámetro

3. Carga Tablas EPRProceso que carga las Tablas EPR al modelo Oracle, este proceso no tiene validación de integridad sobre los dato es slo un trasvasije desde los Archivos enviados por SABRE hacia el modelo EPR de Oracle.

Contexto General

Page 4: CDD MODULOS MISCELENEOS

4

DATA STAGE 7.52 Solución implementada mediante Jobs ETL

BASE DATOSOracle 10g y Teradata 12

Para desarrollar la solución se utilizó:

Contexto General

Page 5: CDD MODULOS MISCELENEOS

5

Estructura de Carpeta Unix

/dsapp/DSCDD/CNF Carpeta de archivos de configuración (DSParams, ListadoFeeds.cnf)

/dsapp/DSCDD/SHL Carpeta donde se encuentran las Shell para la ejecución del proyecto

/dsdata/DSCDD/DATCarpeta que tendrá todos los archivos de carga enviados por SABRE

/dsdata/DSCDD/HSHCarpeta donde se generaran los archivos HASH utilizados por elproceso

/dsdata/DSCDD/TMPCarpeta donde se generaran los archivos Temporales utilizados por el sistema

Definición de Ambiente

Page 6: CDD MODULOS MISCELENEOS

6

Configuración: Configuración de Parámetros de DSParams

Ejecución Shell:Nombre Shell: Ejecuta_DSCDD.sh / Ejecuta_DSCDD_OnDemand.shParámetros: FECHA = Fecha a procesar formato YYYYMMDD. ( Sólo se ingresa para proceso on-demand.

Proceso batch programado calcula internamente el valor de la fecha de proceso).SERVER = DNS o IP del servidor donde se encuentra el Job.USER = Usuario con permiso de ejecución del Job.PASSWORD = Password del usuario.PROYECTO = Nombre del Proyecto que contiene el Job.JOB = Nombre del Job a ejecutar.MODO = Modo de ejecución <NORMAL|RESET|VALIDATE>PATH_LOG = Path donde se encuentran los logs.PARAMETRO = Parámetro a insertar en el Job.WARN = Numero de Warning permitidos antes del Fatal Error. 0 es Ilimitado.DESTINATARIOS=Direcciones e-mail a quienes se le enviara la información correspondiente.(Para más de un destinatario se separa por coma.)

Procedimiento de Ejecución

Page 7: CDD MODULOS MISCELENEOS

7

Procedimiento de Ejecución

Ejemplo de ejecución Programada (Control-M):La ejecución programada ejecutara secuencialmente la carga de Teradata, en primera instancia gatillara la

carga del modelo WRK y en segunda instancia y si termina correctamente, ejecutara para el modelo FDM que será visto en esta presentacion

./Ejecuta_DSCDD.sh 57.228.129.28 dscdd dscdd DSCDD CDD_00_Main_Ejecucion_Teradata NORMAL/dsdata/DSCDD/LOG PS_FECHA_DE_ARCHIVOS_CDD 0 [email protected]

Ejemplo de ejecución On-Demand (Manual):

./Ejecuta_DSCDD_OnDemand.sh 20110214 57.228.129.28 dscdd dscdd DSCDDCDDFDM_00_EJECUTA_ALL NORMAL /dsdata/DSCDD/LOG PS_FECHA_DE_ARCHIVOS_CDD [email protected]

La ejecuciones sólo se diferencian en que para el Proceso OnDemand sedebe ingresar la Fecha de Proceso (20110214) y en la programada se Calcula.

Ejecucion Norma y On-Demand En CDD existen dos Shell, una que gatilla los procesos programados (Ejecuta_DSCDD.sh) y otra que gatilla los proceso On-Demand (Ejecuta_DSCDD_OnDemand.sh)

Page 8: CDD MODULOS MISCELENEOS

8

Job Principal Borrados de Archivos Dat

CDDBR_00_Ejecuta_All Sequence principal que gatilla el proceso que Borra los archivos .Dat, utilizados en el proceso de Carga

El proceso comienza enviado un Correo informando el inicio del proceso de Borrado

CDDBR_00_Borra_Archivos_DAT

Page 9: CDD MODULOS MISCELENEOS

9

JOB (CDDBR_00_Borra_Archivos_DAT)

Borrado de Archivos Dat

Job encargado de validar si para un periodo determinado, su ejecución termino correctamente, si termino correctamente se borraran todo los archivos del directorio (/dsdata/DSCDD/DAT) de lo contrario, la rutina Data Stage se enviara un mensaje indicando :

Los registro fueron eliminado correctamente' Problemas al Eliminar los archivos desde el directorio ':$PS_PATH_DAT:' por favor verificar' No se pueden Eliminar los archivos por que exsiten tablas con estado distinto de OK, para el periodo: XXXX No se han eliminado los archivos por que no Existe ningún proceso CDD para el Periodo ‘XXXX

Page 10: CDD MODULOS MISCELENEOS

10

CDDBR_00_Ejecuta_All

Job Principal Borrado Histórico

El proceso comienza enviando un Correo, informando el inicio del proceso, Valida conectividad a la base de Dato (Oracle), y gatilla el Job de borrado de particiones

CDD_DELHIST_01_Trunca_Rango_Historico

Sequence principal que gatilla el proceso para borrar los datos históricos desde CDD.

Page 11: CDD MODULOS MISCELENEOS

11

CDD_DELHIST_02_Trunca_Particiones

Borrado Histórico

Job encargado de truncar cada una de las tablas involucradas en el proceso de carga, dado el loop con la lista de Tabla que se deben truncar, se realiza el llamado a al Job que llamara al Procedimiento almacenado encargado de truncar las tablas

CDD_DELHIST_02_Trunca_Particiones

Page 12: CDD MODULOS MISCELENEOS

12

CDD_DELHIST_02_Trunca_Particiones

Comienza con el llamado a una tabla dual rescatando un valor por defecto (Fecha), seguido de la llamada a un Store Procdedure (BorraParticionHist), que con el nombre de la tabla, Fecha de Proceso y la cantidad de días que desea proteger, se realiza el truncado para cada tabla, el control de ejecución del Store Procedure se realizara con las excepciones que este arroje, cualquier excepción será motivo para abortar el proceso.

Borrado Histórico

Page 13: CDD MODULOS MISCELENEOS

1313

CDDEPR_00_Ejecuta_All Sequence principal que gatilla el proceso que Carga los archivos EPR enviados por SABRES, al Modelo OracleEPR

El proceso comienza enviado un Correo informando el inicio del proceso, Valida conectividad a la base de Dato (Oracle), valida si vienen informada todas las tablas involucradas en el proceso (.done), y comienza la carga, este módulo no tiene validaciones es sólo un trasvasije de información a las tablas del modelo

CDDEPR_00_Carga_Tablas_EPR

Job Principal Carga Tablas EPR

Page 14: CDD MODULOS MISCELENEOS

1414

Sequence CDDEPR_00_Carga_Tablas_EPR

El sequence CDDEPR_00_Carga_Tablas_EPR es el encargado de orquestar de forma “PARALELA” la carga de las tablas EPR (LA_EPR_HEADER, LA_EPR_KEYWORD), comienza con el llamado al Job Control (CDDEPR_01_JobControl) para cada tabla, que validara si las cargas ya fueron realizadas para no cargar nuevamente la información, creara los archivos de control, inicializara el proceso de carga en las tablas de control LAN y CORPORATIVA, llamara a los job de carga según sus parámetros, insertara los registro con errores en la Tabla de Error de CDD y actualizara las tabla de control con el Status de la carga, a medida que termina el proceso de carga, se ejecutara las dependencia, que complementara con información a las tablas de control con el status final del Job

Carga Tablas EPR

Page 15: CDD MODULOS MISCELENEOS

1515

CDDFDM_00_GrabaEstado

Job que lee la tabla de control y graba un archivo de texto todos los registros asociado a la carga de TD y que será enviado al final del proceso vía correo electrónico, con el fin de informar al administrador el estado final de la carga.

Carga Tabla Estados

Page 16: CDD MODULOS MISCELENEOS

16

Otras Funcionalidades

La administración de Cada proceso tiene la capacidad de:

Reintentos: (Valor Paramétrico, default 3) de ejecuciones de Jobs una vez detectado la caída de alguno de ellos, si después de los reintentos definidos no logra auto recuperarse se da por abortado el Sistema.

Recuperación: Capacidad de Recuperar sólo los proceso abortados, para lo cual, se debe gatillar la misma Shell de Ejecución.

Para cada proceso se registrara las ejecuciones en las tablas de control internas como

corporativa.

Otras Funcionalidades

Page 17: CDD MODULOS MISCELENEOS

17

Tabla de Control• Ejemplos de cómo se visualizan los registro procesados en la tablas de control CDD, esta

tabla registra para ambos procesos sea este Proceso para el Modelo Oracle y Teradata

• CTR_CDD

• EJECUTA_PROCESOS

Tablas de Control

Page 18: CDD MODULOS MISCELENEOS

18

Tips para correcto funcionamiento del sistema

A continuación se detalla los tips de buenas practicas:

Se debe considerar que para una buena ejecución del proceso se debe encontrar 100% compilado

y sin errores. Se recomienda que mensualmente se realice una compilación completa del sistema.

Dado el gran volumen de archivos de procesamiento de datos a cargar diariamente , se

recomienda contar con al menos un 20% ó 10% de espacio libre en Unix.

Los Administradores de base de datos tanto de ORACLE, deben tener la preocupación de

mantener los tablespaces asignados con espacio suficiente.

Se recomienda realizar mantención semanal a las tablas de oracle con el objetivo de mantener los

índices actualizados.

Check List de Diagnostico

Page 19: CDD MODULOS MISCELENEOS

19

PREGUNTAS ¿ ?

Preguntas


Recommended