ENGIE crée le Common Data Hub sur AWS et accélère sa transition vers la neutralité carbone

Les clients d'ENGIE sont d'origines diverses : grandes villes, clients particuliers, grandes entreprises, etc. La société soutient de plus en plus la capacité des clients à produire leur propre électricité avec des ressources décentralisées, notamment des panneaux solaires et des parcs éoliens. Alors qu'ENGIE s'orientait de plus en plus vers la décentralisation, elle a constaté que son logiciel de planification des ressources d'entreprise, Systems, Applications, and Products in Data Processing, devait être mis à jour. L'entreprise avait besoin d'une méthode uniforme de collecte et d'analyse des données pour aider ses clients à gérer leurs chaînes de valeur. « Nous devons utiliser les données pour mesurer la consommation et anticiper les volumes de production d'électricité en fonction des prévisions météorologiques, par exemple », explique Gregory Wolowiec, le chef de l'équipe technologique qui guide le développement et la mise en œuvre des programmes de données d'ENGIE. M. Wolowiec mentionne également des problèmes d'isolement et d'incohérence entre les pays : « Toutes les solutions étaient différentes d'un pays à l'autre ; il n'existe pas de partage entre les différentes parties de l'organisation. Il était devenu très important pour nous de pouvoir collecter et partager les données de manière rationnelle partout dans le monde. »

Yves Le Gélard, le reponsable du numérique chez ENGIE, explique la finalité de l'entreprise : « Le développement durable pour ENGIE est l'alpha et l'oméga de tout. C’est notre raison d’être. Nous aidons les grandes entreprises et les plus grandes villes du monde dans leurs tentatives de transition vers le zéro carbone le plus rapidement possible, car c'est en fait la question numéro un de l'humanité aujourd'hui. »

Gérard Guinamand, directeur des données du groupe ENGIE, ajoute : « Notre stratégie en matière de données est en fait directement liée à notre objectif. Si vous voulez mener à bien une transition vers une économie sans carbone, vous devez d'abord recueillir des données sur ce qui se passe. Il s'agit notamment de données sur la quantité de dioxyde de carbone que vous brûlez, sur l'endroit où vous le brûlez et sur la façon dont tout cela est corrélé avec des sujets environnementaux tels que le temps, la température et le nombre d'habitants. Toutes ces données doivent être stockées, rassemblées et calculées, afin de pouvoir mesurer les progrès et suivre une feuille de route. »

Quelle que soit la méthode adoptée par ENGIE, elle doit démontrer un niveau élevé de sécurité et être en conformité avec les réglementations en vigueur dans le monde entier. Pendant la mise au point d'une preuve de concept, l'entreprise a exploré diverses solutions auprès des fournisseurs de services de cloud locaux et internationaux. « Nous étions convaincus qu'AWS était une bonne solution pour de nombreuses raisons, notamment le modèle de coût, et surtout en termes de stockage de données », explique M. Wolowiec. ENGIE a donc entrepris son grand projet de données avec AWS au milieu de l'année 2018.

M. Wolowiec décrit le Common Data Hub comme « un lac de données collaboratif et distribué qui permet à ENGIE de stocker des données, de les partager et de créer de la valeur grâce aux données. » Il a été créé avec Amazon Simple Storage Service (Amazon S3), un service de stockage d'objets qui offre des fonctionnalités de pointe : capacité de mise à l'échelle, disponibilité des données, sécurité et performance. Cette solution utilise également Amazon Redshift, un service d'entrepôt de données dans le cloud entièrement géré, à l'échelle du pétaoctet, qui peut interroger des données semi-structurées dans le lac de données Amazon S3. Cette solution illustre l'approche lake house pour l'entreposage de données.

Comme la solution utilise Amazon Redshift, les clients peuvent déployer des entrepôts de données en toute sécurité dans leurs environnements Common Data Hub et faire appel à l'analytique. La gestion des clusters Amazon Redshift sur le Common Data Hub permet d'ajouter les administrateurs des unités opérationnelles de l'entreprise aux projets Common Data Hub. Ils peuvent alors accéder facilement aux jeux de données dans le lac de données Amazon S3, et recueillir des informations précieuses dans le riche catalogue de jeux de données du Common Data Hub. Le Common Data Hub utilise Amazon Redshift pour deux types différents d'accès aux données. Il utilise Amazon Redshift Spectrum pour l'interrogation directe des compartiments S3 du Common Data Hub, et utilise Amazon Redshift comme un entrepôt de données alloué avec son propre stockage interne. « Nous nous appuyons sur la fonctionnalité Amazon Redshift Spectrum pour faire le lien entre le lac de données Amazon S3 géré par le Common Data Hub et l'entrepôt de données Amazon Redshift », explique M. Wolowiec.

Les autres services AWS impliqués dans le Common Data Hub comprennent Amazon Kinesis Data Streams (Amazon KDS), un service de streaming de données en temps réel extrêmement évolutif et durable. L'utilisation d'Amazon KDS permet à ENGIE de collecter, de traiter et d'analyser facilement et en temps réel les données streaming des appareils de l'Internet des objets. Cela permet à ENGIE de rassembler rapidement les informations pour en tirer des réflexions. AWS Glue, un service d'extraction, de chargement et de transformation (ETL) entièrement géré, prévu pour un référentiel de métadonnées, contribue également au transfert et au nettoyage des données. Amazon Athena, un service de requête interactive qui facilite l'analyse des données dans Amazon S3 à l'aide de SQL standard, permet aux unités opérationnelles d'ENGIE de visualiser les données. Pour extraire davantage d'insights des données, ENGIE utilise Amazon SageMaker, un service entièrement géré qui permet à tous les développeurs et spécialistes des données de créer, de former et de déployer rapidement des modèles de machine learning.

Pour faciliter l'adoption facile et fluide du Common Data Hub dans le monde entier, ENGIE a fourni des modèles et de la documentation sur l'accélération, afin de permettre aux administrateurs de ses unités opérationnelles de voir la valeur des données qu'ils collectent et d'accéder aux données dans le lac de données distribué. Le Common Data Hub offre également des niveaux élevés de gouvernance et de sécurité des données. Les producteurs de données peuvent partager et contrôler l'accès aux jeux de données et aux flux de travail, et les consommateurs peuvent demander l'accès aux données et les consommer.

L'intégration des services AWS a fourni une solution sécurisée, agile et évolutive à ENGIE. Désormais, les différentes unités opérationnelles peuvent utiliser le cadre comme elles l'entendent sans sacrifier quoi que ce soit d'essentiel aux opérations. La facilité d'utilisation et l'automatisation ont permis aux unités commerciales d'ENGIE d'accroître rapidement leur productivité après la création de la solution Common Data Hub sur AWS. Il existe aussi des impacts environnementaux positifs : ENGIE utilise les données pour obtenir la quantité maximale d'énergie possible des parcs éoliens, ce qui contribue à accroître l'efficacité de cette importante source d'énergie renouvelable. « Nous fournissons des outils adéquats pour que les entités puissent se concentrer sur la création de valeur et ne perdent pas de temps à s'occuper des questions techniques », explique M. Wolowiec. ENGIE a déjà collecté 200 To de données mises en place dans le Common Data Hub.

Le Common Data Hub constitue la pierre angulaire de la stratégie d'ENGIE orientée données. Cette solution permet de mettre les données en commun entre les utilisateurs des départements informatiques et ceux des départements commerciaux. Elle favorise ainsi l'accroissement de la culture des données à tous les niveaux d'ENGIE et aide à optimiser les processus internes ou à créer de nouveaux services orientés données. Toutes les unités commerciales disposent désormais d'une solution unique pour créer plus rapidement des applications orientées données. ENGIE a actuellement plus de 1 000 projets sur le Common Data Hub dans le monde entier. Le Common Data Hub offre une solution véritablement cohérente puisqu'il élimine les silos et permet à chaque service de bénéficier d'un accès égal au cadre commun.

Avec sa nouvelle méthode de collecte et de partage des données, ENGIE voit une opportunité de changer sa façon de travailler ; l'entreprise est en train de créer un centre de données vertical à cet effet. ENGIE a historiquement adopté une approche ascendante, ses unités opérationnelles fournissant des services aux clients dans leurs régions respectives. Cependant, comme beaucoup de ses services énergétiques sont les mêmes, cela entraîne une duplication inutile du travail. « Notre activité de production d'électricité et surtout notre production d'énergie renouvelable sont fondamentalement les mêmes partout », explique M. Wolowiec. « Nous pouvons utiliser le Common Data Hub pour créer des cas d'utilisation communs dans le monde entier. La prochaine étape pour nous est d'introduire de plus en plus d'approches descendantes, notamment pour les parcs éoliens. »

ENGIE a découvert une valeur significative en utilisant les services AWS pour créer son Common Data Hub, permettant à ses unités commerciales mondiales de collecter, partager et analyser les données de manière plus productive. Les unités commerciales d'ENGIE conservent leur autonomie, mais elles peuvent désormais bénéficier des avantages de la centralisation des données et tirer des informations importantes de cas d'utilisation similaires, tout en découvrant de nouveaux moyens plus efficaces d'alimenter le monde en énergie.