Resilience crea una data mesh globale su AWS per la connettività di laboratorio

Fondata nel 2020, Resilience sta promuovendo processi di bioproduzione innovativi. Offre una varietà di opzioni di bioproduzione scalabili e pronte all'uso, tra cui terapie geniche, sintesi di acidi nucleici, purificazione delle proteine, nonché altre soluzioni, per le principali aziende farmaceutiche e biotecnologiche. Inoltre, supervisiona una vasta rete di strumenti, tra cui bioreattori, citometri a flusso, microscopi e sequenziatori genomici.
 
Per velocizzare il processo produttivo e diminuire l'intervallo temporale tra la realizzazione degli esperimenti e la generazione di approfondimenti, Resilience aveva bisogno di stabilire una connessione tra ciascuno dei suoi siti di ricerca/produzione e il cloud. Con un volume e una diversità di dati così grandi, tuttavia, creare una rete di dati connessa non è stato un compito semplice. "Abbiamo diverse aree di prodotto, che comportano l'uso di un'ampia varietà di strumenti di laboratorio per lo sviluppo. Questo porta a un alto livello di eterogeneità nei dati", ha dichiarato Adam Mendez, associate director for data engineering presso Resilience. "Avevamo necessità di un sistema affidabile per il trasferimento dei dati, indipendente dalla tipologia e in grado di caricare rapidamente e in sicurezza i dati dal cloud a tutti i dispositivi di laboratorio." L'azienda ha scelto AWS come soluzione ideale per il suo progetto, grazie alla sua infrastruttura sicura e scalabile e alle avanzate capacità nel campo dell'Internet delle cose (IoT).

In meno di tre mesi, il team di ricerca e sviluppo digitale di Resilience, collaborando a stretto contatto con gli ingegneri dei dati e i team di rete, ha sviluppato l'infrastruttura AWS necessaria per sostenere il suo sistema connesso su scala globale. La soluzione impiega AWS DataSync, un servizio online sicuro che automatizza e velocizza il trasferimento dei dati, per spostare i dati dai sistemi on-premise al cloud AWS. Questi dati vengono trasferiti in modo sicuro attraverso AWS PrivateLink, che crea una connessione tra cloud privati virtuali e servizi AWS senza esporre i dati a Internet. Successivamente, i dati vengono archiviati su Amazon Simple Storage Service (Amazon S3), un servizio di archiviazione di oggetti progettato per recuperare dati da qualsiasi luogo, a cui possono accedere sia gli utenti aziendali sia quelli in ambito scientifico all'interno di Resilience. "Con un sistema centralizzato per l'archiviazione di dati su AWS, possiamo integrarci senza difficoltà con altre applicazioni e software di analisi, siano essi soluzioni software as a service di terze parti o sviluppate internamente", ha spiegato Mendez.
 
Finora, Resilience ha caricato su Amazon S3 oltre 75 TB di dati di ricerca da più di 100 diversi dispositivi di laboratorio. Gli utenti aziendali e del settore scientifico di Resilience ora possono esaminare, processare e analizzare i dati dei propri strumenti su Amazon S3 per raggiungere gli obiettivi di ricerca e sviluppo. L'azienda si affida ai servizi Internet delle cose di AWS, come AWS IoT Greengrass, un servizio cloud open source e runtime edge, per richiamare automaticamente le operazioni di migrazione su richiesta, consentendo agli scienziati di accedere ai propri dati sul cloud in meno di cinque minuti. Impiegando il Kit di sviluppo per il cloud AWS (AWS CDK), che accelera lo sviluppo del cloud utilizzando linguaggi di programmazione comuni per modellare le applicazioni, Resilience riesce a integrare nuovi dispositivi e rendere operativi interi siti in pochi giorni. Con il suo approccio basato sull'infrastructure as code, l'azienda sta aiutando numerosi team di ricerca a incrementare la loro produttività. "Permettendo il caricamento quasi in tempo reale dei dati da ciascuno dei nostri siti, possiamo assicurare una solida protezione dei dati, consentendo ai team di utilizzare gli approfondimenti in modo interfunzionale e intersito", spiega Jonathan Rivernider, lab systems engineer presso Resilience. "Questo permette di mettere i dati nelle mani degli scienziati più rapidamente, accelerando i cicli di apprendimento."
 
Nel cloud, i dati di laboratorio di Resilience dovevano essere organizzati in modo da allinearsi alle esigenze degli scienziati nell'uso dei loro dati. A tale scopo, il team ha progettato un data lake Amazon S3 utilizzando il Prontuario AWS per le architetture dei data lake e ha incaricato Quilt Data, un partner AWS, dei controlli di governance. Questi controlli trasformano i set di dati degli strumenti in pacchetti di dati, un record immutabile di dati di laboratorio non elaborati, dati analizzati e file di laboratorio associati, inclusi grafici e PowerPoint. Man mano che i pacchetti di dati attraversano le diverse fasi di analisi condotte dagli scienziati, vengono gestiti su Amazon S3. In questo processo, i dati sono organizzati con il controllo delle versioni, i metadati e la genealogia delle informazioni. Questi dati sono poi resi accessibili attraverso un portale dedicato agli utenti autorizzati, sia aziendali sia di laboratorio, e vengono integrati nei notebook digitali della biblioteca elettronica.
 
Per potenziare ulteriormente la gestione dei dati, viene utilizzato Amazon CloudWatch, un servizio di monitoraggio che fornisce approfondimenti essenziali su diverse risorse AWS. Questo servizio ha permesso ai team di sviluppare un efficace sistema di registrazione per monitorare tutte le attività legate al trasferimento dei dati. Grazie a queste implementazioni, ora Resilience ha la capacità di garantire che siano presenti sistemi di allarme appropriati per il monitoraggio dello stato operativo sia dell'intero sistema sia di ciascun strumento impiegato nei laboratori. "Data la natura sensibile dei dati della ricerca, la sicurezza di questo sistema è fondamentale", afferma Jiro Koga, senior systems engineer presso Resilience. "Incorporando regole del firewall di rete rigide, certificati client ed endpoint sicuri tramite l'uso di AWS PrivateLink, tutti i dati vengono trasferiti in modo sicuro con crittografia in transito e a riposo".