DQM – MDM : les données métiers

1er jour

1. Les enjeux de la qualité des données

• Le positionnement :
  • Les définitions : DQM, une préoccupation globale, MDM, la qualité et la pertinence des données patrimoniales (données de référence).
  • La qualité des données en tant que vecteur de création de valeur.
  • Les événements déclencheurs : mise en place d’un ERP, fusion d’entreprises, concurrence, etc.
• L’impact de la qualité des données sur les performances de l’entreprise:
  • « Garbage in, garbage out » : la qualité des résultats dépend de la qualité des entrées.
  • Les enjeux : réduction des risques et des coûts, « compliance ».
  • Les conséquences négatives d’une non-qualité : traitements à recommencer, remise à niveau des Bases de Données, résultats erronés, clients mécontents.
  • Tout ce que peut attendre l’entreprise d’une démarche qualité : valorisation du chiffre d’affaires, performances métier, meilleure satisfaction des utilisateurs, etc.
• La réticence des entreprises :
  • Une responsabilité non revendiquée.
  • Le manque d’implication de la direction générale.
  • Une qualité mal perçue et mal positionnée dans le SI.
  • La crainte de devoir reconsidérer l’architecture applicative du SI.
  • Un ROI parfois contesté.
• Les niveaux de maturité de l’entreprise vis-à-vis de ses données :
  • Les quatre niveaux de maturité : indiscipliné, réactif, proactif et managé.
  • Les critères caractéristiques et les moyens de passer d’un niveau à l’autre.

2. La démarche qualité

• Données, informations et connaissances :
  • La prise en compte du Big Data.
  • L’hétérogénéité des sources de données.
  • La nécessité de procéder à une véritable cartographie des données existantes.
  • Émergence de nouvelles représentations : XML, NoSQL, JSON, etc.
  • Le traitement qualité, spécifique de chacun des types de données : Internet, texte, bureautique, XML, Base de Données.
• Les cercles vertueux de la qualité :
  • Cercle 0 : les Bases de Données structurées et les données centrales (MDM).
  • Cercle 1 : les données publiques (Open Data) et les données partenaires professionnels (banques, administration, etc.).
  • Cercle 2 : les données semi-structurées issues de liens XML.
  • Cercle 3 : les données internes issues de la bureautique.
  • Cercle 4 : les données en provenance des réseaux sociaux d’entreprise et publics.
  • Cercle 5 : les données issues de la presse et d’Internet.
• La modélisation des données : l’acte fondateur :
  • Le lien entre modélisation et qualité.
  • Les solutions pour modéliser les données et l’apport particulier de Merise.
  • Exemple concret.
• Les bonnes questions à se poser :
  • Quelles sont les contraintes et les spécificités liées à chaque cercle vertueux ?
  • Les modes de traitement (différé, temps réel, mobile, etc.) ont-ils une influence sur la stratégie de qualité ?
  • Quelles natures de contrôles faut-il instaurer ?
  • Quel niveau de confiance accorder aux historiques ?
• Les facteurs de réussite :
  • Standardisation, prendre son temps, recherche d’unicité des données, bonne gestion des habilitations, définition des KPI, etc.
  • Exemples concrets.

3. Les critères de qualité

• Les principaux critères de qualité :
  • Fraîcheur
  • Disponibilité
  • Complétude
  • Exactitude
  • Conformité aux standards
  • Sécurité
  • Sémantique
  • Représentativité
  • « Trouvabilité » (Findability)
  • Duplication, intégrité, cohérence.
• La personnalisation des critères :
  • La signification réelle des critères de qualité selon le domaine métier.
  • Exemples concrets.

4. Les indicateurs de qualité

• Le recours aux indicateurs :
  • Les indicateurs (KPI), au cœur du suivi qualité.
  • Les familles de critères.
  • Cas concrets.
• Comment les choisir ou les définir :
  • Méthodes (souvent empiriques) de détermination des critères.
  • Exemples concrets. Comment les mesurer
  • Techniques de mesure et de calcul des critères.
  • Exemples concrets.
• L’exposition des critères aux usagers :
  • Systèmes d’alerte.
  • Applications spécifiques.
  • Dashboards et scoreboards.

5. Les outils de la démarche qualité

• Les méthodologies (Frameworks) liées à l’approche qualité :
  • Les principes méthodologiques.
  • TDQM, TIQM.
• Les techniques d’amélioration de la qualité :
  • Le profilage (Profiling).
  • La standardisation.
  • Le nettoyage (Cleansing).
  • Le rapprochement (Matching).
  • L’enrichissement.
  • La décomposition (Parsing).
  • La surveillance (Monitoring).
  • L’élimination du bruit.
  • Exemples concrets.
• Panorama des solutions actuelles :
  • Les outils de travail « foncier » sur les données.
  • Les solutions intégrées à une plateforme globale : SAP, IBM, Oracle.
  • Les outils issus du décisionnel : SAS (DataFlux), Talend, Informatica, Microsoft.

6. Le projet qualité

• L’organisation du projet :
  • Structure de l’équipe.
  • Le rôle accompagnateur de l’informatique.
  • Mise en œuvre d’une structure permanente de contrôle.
  • Les profils sur lesquels s’appuyer.
  • L’importance du projet pilote (POC).
  • La seule « vraie » comparaison à faire.
• Le phasage :
  • Détermination des domaines de pertinence de la qualité.
  • Détermination des services nécessaires à la mise en place et au bon fonctionnement du processus de qualité.
  • Cartographie des fournisseurs et consommateurs de données : maintenance, qualité, gestion et cycle de vie des données.
  • Mise en œuvre des moyens de calcul et de mesure des indicateurs permettant d’illustrer les apports de la qualité sur la performance de l’entreprise.
  • Mise en œuvre des livrables de suivi à destination du management de l’entreprise, de la DSI, des directions opérationnelles.

2ème jour

7. MDM: Master Data Management

• Les données « maîtres » :
  • Définition des données « maîtres » (références ou patrimoniales) uniques et communes à l’ensemble du SI.
  • Cartographie des processus de création et de mise à jour des données « maîtres ».
  • Les liens entre MDM et démarche qualité.
  • Les données candidates au modèle MDM : clients, produits, identités, etc.
  • La réalité du terrain : les applications anciennes, les progiciels externes fermés.
• Les motivations MDM :
  • Amélioration de la fiabilité opérationnelle des applications.
  • Simplification de l’architecture applicative globale du SI.
  • ROI démontrable : gains en chiffre d’affaires, maintenance simplifiée, anomalies clients réduites.
• Ce qu’implique un projet MDM :
  • Distinction entre construction du référentiel et interactions avec les applications.
  • Identification des sources de données référentielles.
  • Collecte des données, interfaces et transformations.
  • Mise en place des règles d’administration et de gestion.
  • Les usages MDM : collaboratif, opérationnel et analytique.

8. Les architectures MDM

• Le « golden record » ou point de vérité :
  • Définition.
  • Avantages du point de vérité unique.
  • Un spectre étendu : du « replâtrage » à la refonte des applications consommatrices.
• Les trois architectures envisageables :
  • Consolidée unique, consolidée avec référentiels multiples, mode registre. (Conséquences sur les applications existantes : fonctionnement « avant » et « après », conséquences sur les nouveaux projets, publication et synchronisation, avantages, inconvénients, complexité, coûts)
  • Comparaison récapitulative des solutions.
  • Un mini projet concret avec point de vérité unique.

9. Les fonctions MDM

• Les fonctionnalités assurées par un MDM :
  • Gestion des identifications : cohérence des données par domaines d’usage.
  • Gestion de la qualité.
  • Gestion de la hiérarchie des données, des groupes et des liens entre données.
  • Gestion du cycle de vie des données : création, modification, suppression.
  • Sécurité, confidentialité, « logging ».
• Les métadonnées :
  • Equilibre et choix des métadonnées.
  • Les familles de métadonnées : nom, cycle de vie, contacts, définition, représentation, gestion.
  • Normes et références envisageables.
  • Exemples concrets.

10. Les solutions MDM

• Les offres du marché :
  • Les offres verticales : environnements dédiés.
  • Les offres multidomaines : ouverture aux produits tiers et données externes.
  • La segmentation en MDM collaboratifs, transactionnels et analytiques.
  • Les solutions concrètes de DataFlux, IBM, Informatica, Microsoft, Oracle, Orchestra Networks, SAP, Software AG, Talend.
• L’interfaçage MDM avec les applications externes :
  • Interfaçage des données.
  • Accès aux fonctionnalités MDM depuis un applicatif tiers, les Frameworks
  • Solutions concrètes : IBM Infosphere, SAP Java API MDM, Talend, Informatica, etc.

11. Vers la gouvernance des données

• Convergence de la qualité et MDM :
  • Vers un processus plus global de gouvernance des données.
  • Démarches envisageables pour y parvenir.
  • Les ingrédients de la gouvernance des données.
  • Profil du « Data Scientist », CDO (Chief Data Officer) ou Architecte des Données.
• Les bonnes pratiques :
  • Nécessité de faire apparaître la gouvernance des données comme un levier clé de l’entreprise, accepté par tous : avoir l’appui de la direction générale.
  • Prendre son temps et bien choisir les premières cibles. Importance du POC sur un domaine « garanti ».
  • Mise en œuvre et positionnement d’une structure responsable, située à un niveau suffisant de l’organigramme.
  • Permettre aux usagers, au-delà de la qualité, de suivre leurs données métier.
  • Déléguer aux métiers la mise en place des règles liées aux données.
  • Suivre les métriques associées aux données.
  • Mettre en œuvre des outils (proches de la qualité) pour nettoyer, enrichir et valider les données.