Talend

Twitter 13h27 : Après déjeuner, reprise: conférence sur le nouveau Talend MDM.

Un bon déjeuner buffet nous permet de rencontrer les partenaires, ainsi que des membres de Talend, en particulier son Directeur Technique avec qui nous avons des échanges informels toujours intéressants.

Ensuite, nous arrivons à la partie de la journée qui m’intéresse la plus : les conférences de présentation. J’ai donc entamé cette après-midi avec Talend MDM.

Dans un SI, il est très fréquent que plusieurs applications utilisent les mêmes données (liste de client, etc.). Or, en fonctions des applications, les valeurs associées (adresse, numéro de téléphone, etc.) peuvent être différentes. Le MDM a pour but de palier à ce problème en étant la référence, pour toutes les applications ayant besoin de ces données, de la valeur considérée comme vraie.

Pour assurer cela, Talend MDM propose les outils suivants :

• définition des données de référence
• définition du “propriétaire” de chaque donnée, qui en est responsable
• définition de règles de gestions (le champ “sexe” n’a que deux valeurs possibles ‘M’ et ‘F’, le champ “numéroClient” est constitué de 10 chiffres et est unique, etc.)
• définition de workflows de validation des données (si une personne/application veut mettre à jour une donnée, cette mise à jour est soumise à approbation d’un responsable).

Concrètement, l’outil lorsqu’on le télécharge est constitué de deux parties :

• le serveur MDM lui-même
• le client lourd de configuration de ce serveur (basé sur Eclipse RCP)

Techniquement, le serveur expose des services web permettant d’accéder à ses fonctions. Pour gérer la configuration du serveur, le client utilise ces services.

Dans de nombreux cas (pour ne pas dire la plupart), la problématique d’avoir de la cohérence entre les données de plusieurs systèmes arrive très tard, alors que les systèmes existent. Or, la solution présentée peut être déployée de manière non-invasive et progressive pour les systèmes existants :

• Talend MDM peut se connecter aux différentes bases, et en extraire les données de référence (avec des règles de gestion permettant de déterminer quelle donnée est la plus fiable)
• Cette alimentation de la base de référence peut ensuite être planifiée (toutes les nuits par exemple) : lorsqu’une donnée varie dans une des bases applicatives, Talend MDM récupère cette information et la gère (en mettant, ou non, la donnée de référence à jour en fonction encore d’un certain nombre de règles et/ou validations)

A ce stade, les différents systèmes ne subissent aucun impact : vient maintenant le moment de redescendre la donnée de référence validée dans ces systèmes pour qu’ils la partagent.

La propagation de la donnée de référence peut être faite en attaquant directement la base du système cible. Cette mise à jour en base peut être complexe (impacter plusieurs tables, être faite de manière transactionnelle, etc.), puisque Talend MDM peut utiliser un job de Talend ETL (TOS ou TIS). Cette manière de procéder nécessite peu (voire aucun) développement sur le système cible : elle peut donc être mise en place pour un faible coût sur des systèmes existants.

Plus tard, ou dans des nouveaux développements, le référentiel MDM peut être intégré directement dans les développements, afin d’être connu et utilisé par les systèmes eux-mêmes :

• lors d’une mise à jour d’une donnée de référence dans le système, un appel WS du serveur MDM est effectué pour lui notifier cette mise à jour
• lors d’une opération nécessitant une donnée de référence dans le système, la valeur de celle-ci peut être vérifiée auprès du serveur MDM (toujours par WS)
• en allant encore plus loin, on peut imaginer que le système ne conserve même pas de copie des données de référence. Lorsqu’elle sont nécessaires, elles sont obtenues par un appel au MDM. Cette solution faisant évidemment apparaître d’autres problématiques (dépendance de l’application à un système externe, existence d’un mode dégradé en cas de panne du MDM, etc.)

Ces solutions intégrant plus directement le MDM, elles sont évidemment plus invasives dans les systèmes. Sur un existant qui ne le prévoyait pas, elles sont donc plus coûteuses à mettre en oeuvre. Elles sont donc peut-être plutôt dédiées à des nouvelles applications développées dans un environnement où le MDM est déjà en place.

La solution MDM par Talend offre donc une grande souplesse pour s’adapter aux systèmes existants comme aux nouveaux développements. Par ailleurs, cette solution s’interface très bien avec l’ETL de Talend. Ce sont ces deux points qui m’ont le plus séduit lors de cette présentation. Cependant, j’admets volontiers que le MDM n’est pas ma spécialité, et que cet intérêt que je porte à la solution manque (pour le moment) d’objectivité :

• je ne connais pas l’ensemble des problématiques liées au MDM
• je ne connais pas les différentes offres du marché, et suis donc incapable de donner le moindre élément de comparaison par rapport à l’offre de Talend

Twitter 13h27 : Après déjeuner, reprise: conférence sur le nouveau Talend MDM. Un bon déjeuner buffet nous permet de rencontrer les partenaires, ainsi que des membres de Talend, en particulier son...