Les données, souvent comparées au “pétrole du 21e siècle”, définissent notre ère numérique. L’explosion des big data dans les années 2010, conjuguée à l’émergence du cloud et de l’intelligence artificielle, a transformé notre paysage technologique. Toutefois, les structures centralisées n’ont pas réussi à exploiter pleinement ce potentiel. Né vers 2018, le concept de Data Mesh promet de révolutionner la façon dont nous gérons et exploitons les données. Découvrez ce paradigme incontournable à travers l’exploration de sa naissance, de ses principes, de ses avantages et inconvénients, et des exemples concrets tels que Netflix, BP et Vistaprint. Une lecture essentielle pour quiconque souhaite comprendre l’avenir de la gestion des données.
Sommaire
Data Mesh, c’est quoi ?
Raisons du Data Mesh
Au cours des dernières décennies, les entreprises ont été confrontées à une augmentation exponentielle de la variété, du volume, et de la vélocité des données – les 3V. Pour y répondre, on est passé du data warehouse au data lake. Ce passage était avant tout une réponse technique aux défis posés par les 3V, mais il est important de noter que la gouvernance des données, elle, est restée centralisée.
Prenons l’exemple des États-Unis, un pays fédéral où la décentralisation des pouvoirs semble avoir favorisé une grande prospérité économique. De plus, le fait que les USA aient l’une des plus vieilles constitutions au monde tend à démontrer la stabilité du système fédéral. À l’inverse, l’URSS, où toutes les décisions étaient prises à Moscou, n’a pas connu le même essor. Ce contraste joue en faveur de la décentralisation.
Par ailleurs, imaginez qu’Internet ait été bâti autour d’un ordinateur central. CompuServe, un pionnier des services en ligne, a suivi ce modèle, mais il a été supplanté par l’architecture décentralisée d’Internet, ce qui a été essentiel pour son succès à l’échelle mondiale.
De même, en entreprise, cette centralisation des données est limitante. En effet, elle peut entraver l’innovation, limiter l’accès aux données et ralentir les réponses aux besoins en constante évolution des différents domaines fonctionnels de l’entreprise.
C’est pour solutionner ces problèmes qu’une nouvelle approche a vu le jour : le Data Mesh. Cette initiative décentralise la gestion des données tout en renforçant la collaboration entre les différents acteurs. Le mot “mesh”, évoquant le maillon d’un réseau décentralisé mais interconnecté, symbolise bien cette nouvelle philosophie.
Définition du Data Mesh
Le Data Mesh est une méthode décentralisée de gestion des données. Chaque domaine fonctionnel de l’entreprise est responsable de ses données, intégrant des équipes pluridisciplinaires alliant des compétences métier et techniques. La donnée est considérée comme un produit, accessible en libre-service par d’autres domaines.
La gouvernance des données est fédérale. Chaque domaine a une liberté fonctionnelle et technique, encadrée par des normes communes. Ces normes favorisent la collaboration et la cohérence globale, tout en restant minimalistes afin de stimuler l’agilité et l’innovation.
Histoire du Data Mesh
Bien que la décentralisation de la gestion des données ait pu exister avant le Big Data, l’énoncé du concept de Data Mesh est clairement attribué à l’informaticienne Zhamak Dehghani.
Naissance du Data Mesh à Thoughtworks en 2018
C’est vers 2018, alors qu’elle était Directrice de l’Incubation de Nouvelles Technologies à Thoughtworks, entreprise américaine de services numériques, que Zhamak Dehghani a fondé le concept de Data Mesh.
Forte de plus de 20 ans d’expérience en tant qu’experte en architectures logicielles et diplômée de l’Université Shahid Beheshti en Iran ainsi que de l’Université de Sydney, elle a également écrit des ouvrages sur le Data Mesh, publiés chez O’Reilly.
Conférencière renommée, elle a finalement quitté Thoughtworks pour créer Nextdata, sa propre société.
Popularisation sur le Blog de Martin Fowler en 2019
Zhamak Dehghani a exposé le concept de Data Mesh en 2019 dans son article intitulé Comment passer d’un data lake monolithique à un Data Mesh distribué sur le site de Martin Fowler ; ce dernier étant également une personnage-clé de Thoughtworks.
Rappelons que Martin Fowler est une légende du développement de logiciels, auteur et orateur, spécialisé en conception orientée objet, UML et développement agile. Il a écrit neuf livres sur le développement logiciel.
Inspiré du Domain-Driven Design (DDD) d’Eric Evans
Le concept s’inspire surtout de la conception pilotée par le domaine d’Eric Evans.
Evans est l’auteur de Domain-Driven Design: Tackling Complexity in Software, publié en 2004. Il a travaillé sur des projets de développement de grands systèmes d’entreprise depuis les années 1990 et dirige actuellement le groupe de conseil Domain Language. Le DDD a fortement influencé la philosophie du Data Mesh.
Autres Influences
Le Data Mesh tire également des idées de la théorie des topologies d’équipe de Manuel Pais et Matthew Skelton. Cette théorie s’aligne avec l’approche décentralisée du Data Mesh, contribuant à l’accent mis sur la responsabilité, l’interopérabilité, et la collaboration au sein des équipes dans l’organisation des données.
Principes du Data Mesh
Le Data Mesh repose sur quatre principes que nous exposons ci-après en prenant l’exemple d’un supermarché, où les produits en rayon sont des données :
Propriété décentralisée des données par domaine
Dans le Data Mesh, chaque domaine fonctionnel est garant (data ownership) et responsable (data stewardship) de ses propres données.
Cela peut être illustré en faisant la comparaison avec un supermarché où chaque rayon représente un domaine différent :
Rayon alimentation
| Donnée | Description |
|---|---|
| Label | bio, commerce équitable, sans OGM |
| Date de péremption | chaque produit a une date limite |
| Provenance | lieu de récolte ou de fabrication |
Rayon bricolage
| Donnée | Description |
|---|---|
| Type | outils, matériaux, quincaillerie |
| Marque | chaque outil a une marque |
| Spécifications techniques | taille, poids, matière |
Ainsi, chaque rayon est le plus compétent pour gérer ses propres produits : chaque domaine est le plus à même de traiter ses propres données.
Donnée en tant que produit (Data as a Product)
Dans le Data Mesh, les données sont considérées comme un produit. Dans notre supermarché, chaque donnée serait donc un produit sur une étagère, prêt à être découvert, accédé et utilisé par les consommateurs. Pour faciliter cela, les produits de données doivent au minimum avoir les propriétés suivantes :
- Découvrables (discoverable) : chaque produit de données doit figurer dans un catalogue de données centralisé, à l’instar des grands hypermarchés où des bornes équipées d’écrans tactiles permettent aux clients de localiser facilement le rayon d’un produit qu’ils recherchent.
- Adressables (addressable) : chaque produit de données doit avoir une adresse unique, comme un code-barres et un rayon unique pour chaque produit dans un supermarché.
- Fiables (trustworthy) : les produits de données doivent satisfaire à des normes de qualité strictes, tout comme un produit dans un supermarché doit fournir des informations précises et vérifiables sur sa traçabilité.
- Auto-descriptives (self-describing) : tout produit de données doit avoir une description claire au sein du catalogue, comme chaque produit dans un supermarché aurait une étiquette le décrivant clairement.
Ne pas confondre avec produit de données (Data Product)
Il est important de ne pas confondre la donnée en tant que produit avec le produit de données. Un produit de données est créé à partir de données et peut prendre la forme d’un rapport ou d’une analyse, comme vous pouvez le lire dans notre article sur les consultants BI.
Dans le contexte du Data Mesh, la donnée en tant que produit fait référence à la façon dont les jeux de données (data sets) sont gouvernés et gérés.
Plateforme de données en libre-service
Le Data Mesh promeut une infrastructure de données en libre-service. C’est comme si les clients d’un supermarché pouvaient se servir eux-mêmes sans avoir à demander l’aide d’un vendeur.
Cette approche favorise une plus grande agilité et une plus grande efficacité, car les utilisateurs peuvent obtenir les données dont ils ont besoin plus rapidement.
Gouvernance des données fédérée
La gouvernance des données fédérée consiste à établir des normes et des règles pour la gestion des données à travers l’organisation.
Dans notre supermarché, bien que chaque rayon puisse gérer ses produits comme il l’entend, tous doivent suivre certaines normes, comme l’utilisation de la même monnaie ou le respect des mêmes horaires d’ouverture.
De même, dans une organisation qui utilise le Data Mesh, chaque domaine peut gérer ses données comme il l’entend. Toutefois, il doit suivre certaines normes et règles pour garantir la qualité, la véracité, l’interopérabilité, la cohérence, et la collaboration des données.
Cette structure fédérée permet une gouvernance uniforme tout en favorisant la flexibilité et l’expertise spécifique à chaque domaine.
Avantages du Data Mesh
Réduction des goulets d’étranglement et renforcement de la résilience
En décentralisant la gestion des données, le Data Mesh contribue à la réduction des goulets d’étranglement dans les flux de travail et renforce la résilience.
Dans une gouvernance centralisée, le risque est que l’équipe qui gère les données soit trop lente, peu fiable ou fasse défaut, pénalisant alors toute l’organisation.
Au contraire, dans un modèle de Data Mesh, chaque domaine gère indépendamment ses données, réduisant ainsi les blocages et améliorant la fiabilité de l’ensemble.
Amélioration de la qualité des données et de la satisfaction client
L’adoption du Data Mesh conduit souvent à une meilleure qualité des données. En effet, chaque domaine fonctionnel est le plus à même de comprendre et garantir l’intégrité de ses propres données. Par conséquent, la satisfaction client augmente.
Accessibilité accrue et nouvelles opportunités
Le Data Mesh encourage un accès plus large aux données à travers l’entreprise. Cette approche permet de découvrir de nouvelles opportunités à partir des données provenant de différents départements de l’entreprise.
Autonomie et agilité des équipes
Le Data Mesh favorise l’autonomie au niveau des équipes, augmentant l’agilité de l’entreprise. En effet, chaque équipe peut ajuster ses pratiques de gestion de données en fonction de ses besoins spécifiques, permettant un système plus souple et adaptable.
Stimulation de l’innovation
En libérant le potentiel de chaque équipe, le Data Mesh stimule l’innovation. Avoir un contrôle direct sur les données donne aux équipes la possibilité de tester de nouvelles idées et approches. Les équipes les plus innovantes peuvent inspirer les autres, et des concours d’innovation internes peuvent créer un environnement compétitif sain.
Transparence, conformité et interopérabilité
Le Data Mesh favorise la transparence en mettant toutes les données à la disposition de toutes les parties prenantes. Il assure également la conformité en fournissant un cadre global de gouvernance des données. Il favorise aussi l’interopérabilité en établissant des normes de données communes. Enfin, notons qu’il est politiquement plus facile d’auditer plusieurs domaines qu’un seul dont tout dépend…
Inconvénients du Data Mesh
Les inconvénients du Data Mesh sont essentiellement dus au manque de considération et de volonté de la part de l’équipe dirigeante, qui n’octroie pas le temps et les moyens suffisants pour appliquer correctement la théorie. Cette négligence limite alors les avantages exposés plus haut :
Complexité de la coordination et risques de silos
La décentralisation des données peut augmenter la difficulté de coordination entre les équipes et risque de créer des silos de données où certaines parties sont inaccessibles à d’autres équipes.
Cette complexité se manifeste particulièrement quand l’entreprise rencontre des difficultés à appliquer la méthode de façon globale. C’est souvent un problème de moyens et de management.
Défis de la gouvernance de données fédérée
La mise en place d’une gouvernance des données fédérée peut représenter un défi majeur, en particulier pour les grandes entreprises avec plusieurs équipes et parties prenantes.
Les entreprises aux multiples filiales, ou en cours de fusion-acquisition, avec des intérêts politiques et des cultures qui divergent, doivent considérer ces complexités avant de se lancer. Ces éléments peuvent générer des obstacles supplémentaires qui requièrent une attention toute particulière.
Coûts et défis du changement culturel
La mise en place du Data Mesh implique souvent un changement culturel majeur, qui peut être coûteux et difficile à réaliser. Il oblige à des changements d’habitudes de travail et à des investissements en formation et soutien. La sollicitation d’un cabinet de conseil, tel que Data Éclosion, est tout indiquée pour mener à bien cette conduite du changement.
Inclusion de profils techniques dans les équipes métier
Le Data Mesh nécessite une collaboration étroite entre les équipes techniques et métier. Ce n’est pas toujours facile, surtout dans les grandes entreprises. Les équipes métier peuvent manquer des compétences techniques pour gérer les données elles-mêmes. De plus, les mentalités différentes entre les équipes techniques et métier peuvent créer des obstacles. Il est vital de travailler ensemble, d’aligner les objectifs et de comprendre les besoins de chacun pour réussir avec le Data Mesh.
Quand le Data Mesh n’est pas pour vous
Votre entreprise n’est pas assez grande
Dans le cas d’une petite ou moyenne entreprise (TPE / PME), le Data Mesh peut être plus compliqué que bénéfique. La décentralisation qu’il implique peut créer des silos de données et des coûts de coordination qui n’ont pas de sens à petite échelle.
En d’autres termes, si vous n’êtes pas une grande entreprise, une équipe de données centralisée pourrait mieux répondre à vos besoins sans la complexité du Data Mesh.
En revanche, si votre entreprise est amenée à croitre, vous pouvez séparer la gestion des données en deux parties : générique et spécifique à votre activité.
Ainsi, vous pourrez plus tard remplacer la partie spécifique par les différents domaines de façon à obtenir votre Data Mesh à terme.
La culture des données est insuffisante au niveau de la direction, ne facilitant pas les décisions ascendantes
Pour réussir avec le Data Mesh, vous avez besoin d’une culture qui valorise la confiance, l’autonomie et la prise de décision ascendante.
Si ces éléments ne font pas partie de votre culture d’entreprise, la mise en place d’un Data Mesh sera un défi.
Vous devez avoir des rôles clairs, des responsabilités bien définies et une structure qui encourage l’expérimentation et la prise de décisions responsables au sein des équipes.
Faible gouvernance des données, maturité technique, sécurité
Le Data Mesh peut être une approche prématurée si votre organisation ne dispose pas d’une certaine gouvernance des données, d’une maturité technique suffisante, ou si les mesures de sécurité ne sont pas bien établies.
Avant d’envisager le Data Mesh, des chantiers préparatoires doivent être menés pour mettre en place ces éléments fondamentaux. Sans ces bases solides, la mise en œuvre du Data Mesh pourrait entraîner plus de complications que de bénéfices.
Data Mesh dans le monde réel
Explorons à présent trois exemples de cas d’usage dans de grandes entreprises :
Data Mesh de Netflix
On ne présente plus Netflix, fournisseur de streaming renommé pour ses films, séries et contenus originaux. Mais Netflix est devenu trop gros, et sa complexité a augmenté. Du début à la fin de la création, de la présentation à la post-production, tout était plus complexe. Malgré son usage innovant des microservices (Netflix OSS), la gestion traditionnelle des données était insuffisante.
Face à ce défi, Netflix a lancé une plateforme data mesh. Celle-ci facilite une gestion décentralisée des données, avec des pipelines facilement configurables via une interface par glisser-déposer.
En capturant les changements avec des sources CDC, en utilisant GraphQL et des tables Apache Iceberg, les données deviennent cohérentes et interopérables. L’audit de bout en bout renforce la fiabilité, créant un environnement fiable et découvrable.
La société a également développé une couche sémantique qui fournit une plateforme de données en libre-service. Ici, les données sont traitées comme des produits auto-descriptifs. L’accessibilité et la compréhension sont mises en avant afin d’appréhender l’ampleur des données de Netflix.
Netflix a adopté une approche technique alignée sur sa culture de développement, avec une conscience aiguë des domaines à améliorer. Au cœur de ces défis se trouve la gouvernance des données.
En passant de l’approche app centric, incarnée par le domain driven design, à l’approche data centric, représentée par le Data Mesh, l’entreprise a su s’adapter et moderniser sa gestion des données.
Data Mesh de BP
BP, géant de l’énergie aux centaines de filiales, était confrontée à un défi majeur en matière de gestion des données. L’ancien modèle centralisé ne répondait plus aux besoins de partage de données à l’échelle de cette immense entreprise. Sa nature tentaculaire se prêtait particulièrement bien à la gouvernance de données fédérée du Data Mesh.
La société a alors choisi d’adopter le modèle Data Mesh, caractérisé par une gouvernance globale mais avec des équipes décentralisées gérant leurs propres produits de données.
Accenture a joué un rôle clé dans cette transformation, comme le soulignent Teresa Tung d’Accenture, Abeth Go et Liam Donohoe de BP, dans le podcast AI Leaders Podcast: Data Mesh from Theory to Practice.
Les premières applications de BP ont porté sur des produits de données liés au suivi des émissions de CO2 et à l’optimisation de leur réduction grâce à des jumeaux numériques. Liam Donohoe a affirmé que ces cas d’usage s’alignaient avec la stratégie de développement durable de BP.
Abeth Go a mentionné que la mise en place du Data Mesh à BP a nécessité un effort important pour expliquer le modèle à toutes les parties prenantes, menant à renforcer les processus de gouvernance des données et le rôle des data stewards.
Les avantages de cette transformation commencent à émerger. Liam Donohoe note des améliorations en termes d’interopérabilité entre les systèmes existants et les nouvelles plateformes grâce à l’approche Data Mesh. Abeth Go voit aussi un potentiel dans le partage des données dans toute l’entreprise, en dépit de son organisation complexe.
Data Mesh de Vistaprint
Vistaprint a cherché à optimiser l’utilisation de ses données et capacités analytiques. Sebastian Klapdor, EVP et Chief Data Officer chez Vistaprint, a partagé son expérience lors de la conférence CDAO Fall de Corinium à Boston, rapporté par Business of Data.
Le problème résidait dans une architecture de données centralisée qui empêchait la mise à l’échelle.
Comparant les données à l’eau et non au pétrole, Klapdor a décidé de mettre en place le Data Mesh.
Pour y parvenir, il a mis en place des équipes autonomes, telle que le Marketing, afin de passer à une logique de données en tant que produits.
Grâce au cloud, il a mis en place une infrastructure de données en libre-service. Ces changements ont permis aux équipes de travailler plus rapidement.
En plus, Klapdor a partagé cinq conseils pour ceux qui cherchent à mettre en œuvre une architecture Data Mesh :
- Créer une carte des domaines.
- Développer une plateforme de données solide.
- Créer un catalogue de données.
- Promouvoir la pensée “produit de données”
- Développer des processus de communication efficaces.
Il a également mis l’accent sur une gouvernance informatique fédérée des données. À terme, il prévoit d’étendre davantage les produits de données pour améliorer la performance de Vistaprint.
Architecture Data Mesh
La plupart du temps, lorsqu’on parle d’architecture data mesh, on parle de modèle organisationnel ou de gouvernance de données plutôt que d’architecture logicielle.
Toutefois, la maîtrise des architectures de données au niveau de l’entreprise est essentielle pour implémenter concrètement le Data Mesh.
Data Mesh vs. Data Lake
À l’origine, un Data Lake est un système de fichiers distribué comme Apache Hadoop HDFS. Il répond aux besoins des 3V du Big Data, et sa simplicité peut le rendre attractif pour stocker d’énormes quantités de données brutes.
Le Data Mesh organise ces lacs de données et rend les domaines fonctionnels autonomes dans leur utilisation.
Data Mesh vs. Data Fabric
La Data Fabric, dont le terme est attribué à NetApp vers 2016, est une architecture unifiée au niveau de l’entreprise. Voisin du concept de Data Hub ou Data Platform, elle intègre toute une gamme de services, de l’ingestion des données à leur utilisation finale.
La Data Fabric va au-delà du simple stockage et offre des avantages tels que la visualisation des données, l’accès et le contrôle, la protection et la sécurité. Le Data Lake peut faire partie de cette architecture, en tant que dépôt central.
Encore une fois, le Data Mesh permet une utilisation décentralisée et autonome de cette architecture de données. Sa mise en œuvre offre une flexibilité et une efficacité maximale dans la gestion des données à grande échelle.
Aller plus loin
Livres sur le Data Mesh
- Data Mesh: Delivering Data-Driven Value at Scale de Zhamak Dehghani, 2022, O’Reilly Media, ISBNs: 1492092398, 978-1492092391. Dans ce livre pratique, l’auteure du Data Mesh introduit ce paradigme sociotechnique décentralisé tiré de l’architecture distribuée moderne. Il offre une nouvelle approche pour la gestion de données analytiques à grande échelle. Le livre guide les praticiens sur leur voyage depuis l’architecture big data traditionnelle vers une gestion de données analytiques multidimensionnelle et distribuée.
- Data Mesh: Eine dezentrale Datenarchitektur entwerfen de Zhamak Dehghani, 2023, O’Reilly, ISBNs: 3960092075, 978-3960092070. Écrit en allemand, ce livre revient sur le concept de Data Mesh, tout en introduisant de nouvelles réflexions.
- Data Mesh: Reinventing Data Architecture for Decentralized and Autonomous Data Teams de Brian Murray, 2023, éditeur indépendant, ISBNs: 979-8393243128. Ce livre offre un guide complet pour comprendre et mettre en œuvre les principes du Data Mesh et des Data Products dans votre organisation. Il fournit des exemples pratiques, les meilleures pratiques et des défis communs pour mettre en œuvre ces principes dans votre organisation.
- Building an Event-Driven Data Mesh: Patterns for Designing & Building Event-Driven Architectures de Adam Bellemare, 2023, O’Reilly Media, ISBNs: 1098127609, 978-1098127602. Ce livre montre comment concevoir et construire un Data Mesh piloté par des événements ( streaming ), en fournissant des conseils pratiques, des solutions aux pièges possibles et une compréhension claire de la modélisation des événements. Il inclut également les meilleures pratiques pour gérer les événements à grande échelle.
- Data Mesh in Action de Jacek Majchrzak, Sven Balnojan & al., 2023, Manning Publications, ISBNs: 1633439976, 978-1633439979. Ce livre pratique enseigne comment décentraliser vos données et les organiser en un mesh efficace. Il guide les lecteurs à travers la mise en œuvre d’un Data Mesh dans l’organisation, avec des techniques d’ateliers et des discussions sur l’architecture sociotechnique et la conception pilotée par le domaine.
- Data Products and the Data Mesh: Driving Business Value through Data Modernization de Alberto Artasanchez, 2023, éditeur indépendant, ISBNs: 979-8397010504. Ce guide complet explore le paradigme émergent du Data Mesh et son impact sur les organisations dans le paysage axé sur les données. Le livre offre une feuille de route complète pour construire un écosystème de données décentralisé, innovant et évolutif, et est une ressource essentielle pour les professionnels des données, les architectes et les dirigeants.
Communauté Data Mesh Learning sur Slack
Data Mesh Learning a été fondée en février 2021. Cette communauté globale rassemble plus de 7000 leaders des données intéressés par le Data Mesh. Elle utilise Slack pour la connexion et le partage, et organise des meetups bisannuels pour discuter du Data Mesh.
Les utilisateurs peuvent également découvrir des exemples d’implémentation grâce à la série de vidéos User Journey. La communauté s’est récemment ouverte au parrainage pour élargir ses ressources et a également lancé une newsletter.
L’équipe, comprenant Melissa Logan, Hugh Lashbrooke et des membres du conseil tels que Zhamak Dehghani, travaille à faciliter l’apprentissage et la connexion entre les membres via Slack.
Conclusion
Vous avez maintenant les clés pour comprendre le Data Mesh, une notion désormais incontournable. Elle révolutionne la façon dont les données sont gérées et exploitées. Cette transformation n’est pas seulement réservée aux géants de la technologie, mais elle est essentielle pour les entreprises de taille intermédiaire et les grands groupes qui cherchent à rester compétitives dans un monde en constante évolution.
Si vous envisagez une telle innovation au sein de votre organisation, contactez Data Éclosion, notre cabinet de conseil. Nos experts, spécialisés dans ce type de transformation, sont là pour vous guider, en adaptant les meilleures méthodes à vos besoins spécifiques. La maîtrise de la nouvelle ère du big data et de l’intelligence artificielle est à votre portée : à vous de jouer !
