AWS Glue è un servizio di integrazione dei dati serverless che offre più motori di integrazione dei dati per supportare gli utenti e i carichi di lavoro. Con AWS Glue, puoi utilizzare il motore appropriato per qualsiasi carico di lavoro in base alle sue caratteristiche e alle preferenze di sviluppatori e analisti.
Caratteristiche principali
AWS Glue per Apache Spark
AWS Glue offre un'infrastruttura serverless con prestazioni ottimizzate per l'esecuzione di Apache Spark per l'integrazione dei dati e i processi di estrazione, trasformazione e caricamento (ETL). AWS Glue per Apache Spark supporta l'elaborazione in batch e in streaming e velocizza l'importazione, l'elaborazione e l'integrazione dei dati. È quindi possibile creare e aggiornare i propri data lake e data warehouse ed estrarre più rapidamente informazioni dettagliate dai dati.
AWS Glue per Ray
AWS Glue per Ray aiuta i data engineer e gli sviluppatori a elaborare set di dati di grandi dimensioni utilizzando Python e le relative librerie più diffuse. AWS Glue usa Ray (Ray.io), un framework di calcolo unificato open source utilizzato per ridimensionare i carichi di lavoro Python. AWS Glue per Ray include le librerie di elaborazione dei dati Python più diffuse, quindi è possibile portare le proprie librerie per personalizzare il processo di integrazione dei dati.
AWS Glue per Python Shell
Con AWS Glue per Python Shell, puoi utilizzare un processo Python Shell per eseguire script Python in AWS Glue. Attraverso tali processi, puoi scriverne altri più complessi di integrazione e analisi dei dati in Python. I processi AWS Glue per Python Shell offrono librerie di analisi comuni predefinite, tra cui Pandas, NumPy e Amazon SageMaker Data Wrangler. Puoi usare la funzionalità in bundle per connetterti a vari database, data warehouse e servizi AWS.