ENGIE costruisce il Common Data Hub su AWS e accelera la transizione verso un'energia a zero emissioni

La clientela di ENGIE è molto diversificata e comprende sia clienti al dettaglio sia aziende di grandi e grandissime dimensioni. La compagnia incoraggia sempre di più i clienti a produrre energia in maniera autonoma con risorse decentralizzate, come i pannelli solari e i parchi eolici. Durante la sua transizione verso la decentralizzazione, ENGIE si era resa conto che il software per la pianificazione delle risorse aziendali SAP (Systems, Applications, and Products in Data Processing) necessitava di un aggiornamento. Aveva bisogno di un metodo standardizzato di raccolta e di analisi dei dati per aiutare i clienti nella gestione delle catene di valore. "Avevamo bisogno di utilizzare i dati per misurare il consumo e prevedere i volumi di produzione di elettricità in base alle previsioni meteorologiche, ad esempio", dice Gregory Wolowiec, responsabile del team tecnologico alla guida dello sviluppo e della distribuzione dei programmi di dati di ENGIE. Wolowiec cita anche problemi di isolamento e di disomogeneità tra i paesi: "Ogni paese attuava soluzioni diverse, non c'era condivisione tra le varie componenti dell'organizzazione. È diventato molto importante per noi poter raccogliere e condividere i dati in modo semplificato ovunque nel mondo".

Yves Le Gélard, chief digital officer di ENGIE, spiega lo scopo della società: “La sostenibilità rappresenta per ENGIE l'alfa e l'omega di tutto. È la nostra ragione d'essere. Assistiamo le grandi aziende e le più grandi città del pianeta nei loro tentativi di passare a zero emissioni di carbonio il più rapidamente possibile perché questo rappresenta oggi la priorità per l'umanità".

Il chief data officer del gruppo ENGIE, Gérard Guinamand, aggiunge: "La nostra strategia quando si tratta di dati è in realtà direttamente collegata al nostro scopo. Per poter guidare e mettere in atto la transizione verso un'energia a emissioni zero si devono prima raccogliere dati su ciò che sta accadendo. Ad esempio, quanta anidride carbonica si brucia, dove la si brucia e come ciò si correla con argomenti che riguardano l'ambiente, quali il clima, la temperatura e il numero di persone. Tutti questi dati devono essere archiviati, raccolti e calcolati in modo da poter misurare i progressi e seguire una road map".

Qualunque sia il metodo adottato da ENGIE, doveva avere un alto livello di sicurezza ed essere conforme alle normative di tutto il mondo. Durante la fase di definizione del Proof of concept, la società ha vagliato diverse soluzioni con fornitori di cloud locali e globali. "Eravamo convinti che AWS fosse una buona soluzione per più di un motivo: senz'altro per il modello dei costi, ma soprattutto per quanto riguarda l'archiviazione dei dati", dice Wolowiec. ENGIE ha così iniziato a lavorare al grande progetto di dati su AWS a metà del 2018.

Wolowiec descrive il Common Data Hub come "il data lake collaborativo e distribuito che permette a ENGIE di archiviare e condividere dati e di utilizzarli per creare valore". È stato costruito utilizzando Amazon Simple Storage Service (Amazon S3), un servizio di archiviazione di oggetti che offre scalabilità, disponibilità dei dati, sicurezza e prestazioni leader del settore. La soluzione utilizza anche Amazon Redshift, un servizio di data warehouse su scala di petabyte completamente gestito nel cloud in grado di eseguire query su dati semistrutturati nel data lake di Amazon S3, dimostrando l'approccio lake house al data warehousing.

Poiché la soluzione utilizza Amazon Redshift, i clienti possono implementare data warehouse in modo sicuro nei loro ambienti Common Data Hub e utilizzare l'analisi dei dati. Gli amministratori delle unità operative dell'azienda che gestiscono i cluster Amazon Redshift su Common Data Hub possono essere aggiunti ai progetti di Common Data Hub e accedere facilmente ai set di dati nel data lake Amazon S3, oltre a costruire preziose informazioni dettagliate a partire dal ricco catalogo di set di dati di Common Data Hub. Common Data Hub utilizza Amazon Redshift per due tipologie di accesso ai dati. Grazie a Amazon Redshift Spectrum è possibile effettuare una query diretta ai bucket S3 di Common Data Hub, mentre Amazon Redshift viene utilizzato come data warehouse assegnato con un'archiviazione interna indipendente. "Ci affidiamo alla caratteristica di Amazon Redshift Spectrum per creare il collegamento tra il data lake Amazon S3 gestito dal Common Data Hub e il data warehouse Amazon Redshift", afferma Wolowiec.

Altri servizi AWS del Common Data Hub includono il flusso di dati Amazon Kinesis (Amazon KDS), un servizio di flusso di dati in tempo reale estremamente scalabile e durevole. L'utilizzo di Amazon KDS consente a ENGIE di raccogliere, elaborare e analizzare facilmente i dati in streaming dai dispositivi Internet of Things in tempo reale, il che significa che ENGIE può raccogliere rapidamente le informazioni che utilizza per sviluppare informazioni dettagliate. AWS Glue, un servizio di estrazione, trasformazione e caricamento (ETL) completamente gestito per un repository di metadati, aiuta ulteriormente a trasferire e pulire i dati. Amazon Athena è un servizio di query interattivo che semplifica l'analisi dei dati in Amazon S3 utilizzando SQL standard e consente alle unità aziendali di ENGIE di visualizzare i dati. E per ottenere ulteriori informazioni dai dati, ENGIE si affida ad Amazon SageMaker, un servizio completamente gestito che fornisce a ogni sviluppatore e data scientist la capacità di costruire, addestrare e implementare rapidamente modelli di machine learning.

Per facilitare l'adozione semplice del Common Data Hub in tutto il mondo, ENGIE ha fornito modelli e documentazione di accelerazione per aiutare gli amministratori delle unità operative a vedere il valore dei dati che raccolgono e ad accedere ai dati nel data lake distribuito. Il Common Data Hub, inoltre, garantisce sicurezza e governance dei dati ad alti livelli. I produttori di dati possono condividere e controllare l'accesso a set di dati e flussi di lavoro, mentre i consumatori possono richiedere l'accesso e utilizzare i dati.

L'integrazione dei servizi AWS ha fornito una soluzione sicura, agile e scalabile per ENGIE. Ora diverse unità operative possono utilizzare il framework in base alle varie esigenze e senza pregiudicare il corretto svolgimento delle operazioni. La facilità d'uso e l'automazione consentono alle unità aziendali di ENGIE di aumentare rapidamente la produttività dopo aver costruito la soluzione Common Data Hub su AWS. Ciò crea un impatto positivo anche sull'ambiente: ENGIE sfrutta i dati per massimizzare la quantità di energia prodotta dai parchi eolici, contribuendo ad aumentare l'efficacia di questa importante fonte di energia rinnovabile. "Forniamo gli strumenti giusti affinché le entità possano concentrarsi sulla creazione di valore anziché impiegare il tempo per risolvere i problemi tecnici", dice Wolowiec. Fino ad ora la quantità dei dati raccolti da ENGIE sul Common Data Hub ha raggiunto i 200 TB.

Il Common Data Hub costituisce la spina dorsale della strategia guidata dai dati di ENGIE, consentendo la comunità dei dati tra la tecnologia dell'informazione e gli utenti aziendali, accelerando una maggiore alfabetizzazione sui dati a tutti i livelli di ENGIE e contribuendo a ottimizzare i processi interni o creare nuovi servizi guidati dai dati. Tutte le unità operative sono ora dotate di una soluzione unica per costruire più velocemente applicazioni guidate dai dati. Al momento, sono oltre 1.000 i progetti attivi in tutto il mondo che ENGIE ha impostato sul Common Data Hub. Il Common Data Hub offre una soluzione coesa poiché elimina i silos e consente a ogni reparto di beneficiare di un accesso paritario al framework comune.

Con il suo nuovo metodo di raccolta e condivisione dei dati, ENGIE vede un'opportunità per cambiare il modo in cui fa affari e per questo motivo la società sta costruendo un hub di dati verticale. L'approccio tradizionale di ENGIE è dal basso verso l'alto, con le unità operative che forniscono i servizi ai clienti nelle rispettive regioni. Tuttavia, dal momento che molti dei servizi energetici offerti sono gli stessi, questo approccio ha prodotto una inutile duplicazione del lavoro. "Le attività per generare elettricità e soprattutto energia rinnovabile sono fondamentalmente le stesse ovunque", afferma Wolowiec. "Possiamo usare il Common Data Hub per costruire casi d'uso comuni in tutto il mondo. Il nostro prossimo passo è introdurre sempre più approcci dall'alto verso il basso, soprattutto per i parchi eolici".

L'utilizzo dei servizi AWS per la costruzione del Common Data Hub ha permesso a ENGIE di creare valore e alle sue unità operative globali di raccogliere, condividere e analizzare i dati in maniera più produttiva. Le unità operative di ENGIE mantengono ancora l'autonomia, ma possono ora beneficiare dei vantaggi dei dati centralizzati, che permettono di raccogliere informazioni dettagliate da casi d'uso simili e di scoprire modi nuovi e più efficienti per fornire energia a tutto il mondo.