Les tâches à réaliser dans un processus ETL


 Pour concevoir et implémenter un processus ETL, un ensemble de tâches sont à prendre en considération qui sont résumées dans ce tableau.

* Ce tableau est une partie résumée du Livre: Le Data Warehouse- Guide de conduite projet. Ralph Kimball, Edition  Eyrolles : France, 5ème édition, 2011

Extraction
Chargement initial
Chargement incrémentiel programmé
Utiliser le fichier journal des transactions qui permet de connaitre les changements
Réplication : charger les changements dans la zone ETL puis les mettre dans le DW
On peut utiliser (compression/décompression) de données pour minimiser le volume lors de transfert.
Transformation
Intégration : clés de substitution => table de correspondance
Maintenance de dimensions changeantes : valeurs modifiables
Contrôle de l’intégrité référentielle (CIF)
Nettoyage, déduplication, fusion, purge
Conversion du type de données
Vérification du contenu de données : vérifier les totaux, sous-totaux et les tester avec la source
Traçabilité de données : gestion des journaux    
Recenser les taches aboutissant à la création d’un enregistrement donné
Transformation spécifique à l’outil ou à l’analyse
Val NULL : les modifications par des valeurs par défaut.
Chargement
Gestion du système cible
Optimisation du changement
Gestion du processus du chargement complet
Contrôle des taches de préparation de données
Définition des taches : tache= succession d’étapes + les relations  
Planification des taches : planification horaire et événementielle => piloté par événement système
Surveillance : par heure, tache, table de chargement… automatisée=> par fichier Log ou logiciel 
Journalisation : collecte des informations sur l’ensemble de  l’opération (par journal => Déconseillé/ par BDD=> Conseillé)
Gestion des exceptions et erreurs
Notification
Gestion matérielle des outils back-room
Sauvegarde et restauration : onduleurs, disques RAID, Processeurs (Réplication) [automatisation+ notification]
Archivage et récupération : définir un processus de sauvegarde approprié => dresser la liste des infos à sauvegarder, la fréquence de sauvegarde et la durée. + mettre le processus de sauvegarde en œuvre. 
Sécurité : insister sur la sécurité du front-office

Comments

Post a Comment

Put your comments here, please.
Share with us you vision...

Popular posts from this blog

Image
Le Système Opérationnel Vs Le Système Décisionnel  Le système opérationnel représente les tâches quotidiennes, répétitives et atomiques (Insertion, modification, suppression) qui sont effectuées par les employés de l'entreprise pour permettre à cette dernière d'avoir une activité et donc de survivre. Les systèmes d’information opérationnels OLTP (OnLine Transactional Processing) sont des systèmes de gestion ou de production faits pour assister les opérations d'une entreprise. Avec l’accroissement de volume des données, les systèmes opérationnels se trouvent limités devant les besoins des dirigeants qui veulent des informations synthétisées pour l’analyse et la prise de décisions d’où la naissance des systèmes d’information de type OLAP (On-Line Anlytical Processing). Dans ce qui suit, nous présentons un tableau comparatif entre les systèmes opérationnels et décisionnels : *   [GAM EL GOLLI 2008] [HAMLAOUI et al, 2014] [Web 03] [Web 03] GRIM Y. Passez en mode...
Read more
Image
Le processus décisionnel  Processus d’un Système Décisionnel Le processus décisionnel consiste à transformer le capital de données d’une entreprise en informations pertinentes à partir desquelles les décideurs peuvent tirer des connaissances afin d’aboutir à de bonnes décisions touchant tous les niveaux de l’entreprise. 1. Donnée : Désigne «une description élémentaire, souvent codée, d’une chose, d’une transaction d’affaires, d’un événement, etc. Les données peuvent être conservées et classées sous différentes formes : papier, numérique, alphabétique, image, son, etc. » [INFORMATICA 2008]  2. Information : Selon Jean-Louis LEVET1: « l’information reste un ensemble de données formatées et structurées.» [LEVET 2001] L’information est devenue le « nerf de la guerre ». Disposer de l’information utile avant ses concurrents et savoir la rendre disponible à ceux qui savent en tirer profit dans l’entreprise, sont des éléments qui permettent de faire la différence. [Web 01...
Read more
  Evolution des modèles de données. Base de données : « Une base de données est un ensemble de données modélisant les objets d’une partie du monde réel et servant de support à une application informatique. » [1]                                                                    De cela, on peut dire qu’une base de données ce n’est qu’une collection structurée et inter-reliée de données issues du monde réel, répondant à quelques exigences telles que : minimiser la redondance des données, assurer leurs cohérence, les mémoriser sur un support de stockage, etc. Afin de faciliter l’accès, la gestion et la manipulation de ces bases de données ; des systèmes de gestion de données (SGBD) sécurisés ont été développés au cours des années suivant différents modèles de données et supportant dif...
Read more