Slowly Changed Dimension

La réalisation d’un système décisionnel passe par une étape cruciale qui est le processus ETL(Extract, Transform, Load), ce dernier consiste à récupérer les données à partir de sources disparates et hétérogènes, puis appliquer un ensemble de traitements qui permettent de les nettoyer, normaliser et standardiser avant de les charger dans le Data Warehouse ou les Data Mart.

Sous Microsoft SQL server BI suite, il est possible d’implémenter ce processus en créant un projet SSIS (SQL Server Integration Service), ce dernier contient un ensemble de composants qui facilite le traitement de données.

Le chargement de données à partir de la source passe par deux grandes étapes : chargement initial pendant lequel on récupère toutes les données nécessaires pour l’analyse. Un chargement incrémental qui ne permet de récupérer que  les nouveaux enregistrements et les mises à jour dans la source.

Afin de pouvoir assurer la détection de ces changements dans la source, un composant trop adapté est disponible sous SSIS qui est SDC (Slowly Changed Dimension : ce dernier assure la mise à jour des données de dimension selon les changements détectés dans la source.

SCD, et après sa configuration, permet d’avoir automatiquement plusieurs sorties : une pour l’insertion de nouveaux enregistrements, une pour l’écrasement des attributs modifiables, une autre pour historiser les lignes où l’attribut est de type 2 a changé…

La réussite de l’utilisation de ce composent repose sur la bonne conception de la dimension, en définissant le type de chaque attribut : les attributs qu’on peut écraser en cas de modification qui sont de type1, les attributs qui doivent être historisés en cas de changement qui sont de type2. Sous SCD, pour chaque attribut de la dimension il faut choisir entre (attribut d’historisation si type2, modification d’attribut si type1, attribut fixe, si on est sure que cet attribut ne change jamais).
En fonction de cette configuration, SCD paramètre les flux d’insertion et de mise en jour de données, ce qui décharge le développeur d’écrire des lignes de code pour l’assurer.


Lors de l’exécution de l’ETL, SDC fonctionne rapidement et donnent de bons résultats.



Exemple d'utilisation de SCD

Comments

Post a Comment

Put your comments here, please.
Share with us you vision...

Popular posts from this blog

Image
Le Système Opérationnel Vs Le Système Décisionnel  Le système opérationnel représente les tâches quotidiennes, répétitives et atomiques (Insertion, modification, suppression) qui sont effectuées par les employés de l'entreprise pour permettre à cette dernière d'avoir une activité et donc de survivre. Les systèmes d’information opérationnels OLTP (OnLine Transactional Processing) sont des systèmes de gestion ou de production faits pour assister les opérations d'une entreprise. Avec l’accroissement de volume des données, les systèmes opérationnels se trouvent limités devant les besoins des dirigeants qui veulent des informations synthétisées pour l’analyse et la prise de décisions d’où la naissance des systèmes d’information de type OLAP (On-Line Anlytical Processing). Dans ce qui suit, nous présentons un tableau comparatif entre les systèmes opérationnels et décisionnels : *   [GAM EL GOLLI 2008] [HAMLAOUI et al, 2014] [Web 03] [Web 03] GRIM Y. Passez en mode...
Read more
Image
Le processus décisionnel  Processus d’un Système Décisionnel Le processus décisionnel consiste à transformer le capital de données d’une entreprise en informations pertinentes à partir desquelles les décideurs peuvent tirer des connaissances afin d’aboutir à de bonnes décisions touchant tous les niveaux de l’entreprise. 1. Donnée : Désigne «une description élémentaire, souvent codée, d’une chose, d’une transaction d’affaires, d’un événement, etc. Les données peuvent être conservées et classées sous différentes formes : papier, numérique, alphabétique, image, son, etc. » [INFORMATICA 2008]  2. Information : Selon Jean-Louis LEVET1: « l’information reste un ensemble de données formatées et structurées.» [LEVET 2001] L’information est devenue le « nerf de la guerre ». Disposer de l’information utile avant ses concurrents et savoir la rendre disponible à ceux qui savent en tirer profit dans l’entreprise, sont des éléments qui permettent de faire la différence. [Web 01...
Read more
  Evolution des modèles de données. Base de données : « Une base de données est un ensemble de données modélisant les objets d’une partie du monde réel et servant de support à une application informatique. » [1]                                                                    De cela, on peut dire qu’une base de données ce n’est qu’une collection structurée et inter-reliée de données issues du monde réel, répondant à quelques exigences telles que : minimiser la redondance des données, assurer leurs cohérence, les mémoriser sur un support de stockage, etc. Afin de faciliter l’accès, la gestion et la manipulation de ces bases de données ; des systèmes de gestion de données (SGBD) sécurisés ont été développés au cours des années suivant différents modèles de données et supportant dif...
Read more