Le integrazioni sono un modo fondamentale per ridurre i costi operativi, soprattutto quando sono integrate nei sistemi di dati. Attraverso le principali integrazioni di dati tra il servizio OpenSearch di Amazon e altri servizi AWS, è possibile sfruttare i principali vantaggi del servizio OpenSearch sui dati, ovunque siano archiviati, riducendo spesso i costi operativi e la complessità di gestione. Inoltre, l'importazione dei dati consente una conversione, una pulizia, una mappatura e un caricamento efficienti dei dati, in modo che siano disponibili immediatamente dopo la query senza sovraccaricare i sistemi di elaborazione e rete del cluster.
Con il servizio OpenSearch di Amazon, è possibile realizzare tutto questo facilmente sfruttando Amazon OpenSearch Ingestion e le integrazioni con vari servizi AWS, tra cui Amazon Kinesis Data Firehose, Logstash, Amazon CloudWatch o AWS IoT. E con le integrazioni Zero-ETL, tra cui Amazon S3 e DynamoDB, è possibile ottenere ancora di più. Queste integrazioni e connessioni offrono la flessibilità necessaria per selezionare lo strumento di integrazione e importazione che soddisfa i requisiti del caso d'uso specifico.
Importazione dei dati con Amazon OpenSearch Ingestion
Amazon OpenSearch Ingestion è una funzionalità del servizio OpenSearch di Amazon per la raccolta, la trasformazione e l'instradamento dei dati verso i domini del servizio OpenSearch di Amazon. OpenSearch Ingestion favorisce l'efficienza dei costi e contribuisce a garantire la qualità dei dati. Il servizio OpenSearch Ingestion esegue le pipeline di OpenSearch Data Prepper come processo serverless che effettua il dimensionamento automatico in base alle esigenze di elaborazione dei carichi di lavoro di importazione. Ulteriori informazioni »
Integrazione Zero-ETL del servizio OpenSearch di Amazon con Amazon S3
L'integrazione Zero-ETL del servizio OpenSearch di Amazon con Amazon S3 è un nuovo modo di connettersi ai propri dati che consente ai clienti di utilizzare le ricche funzionalità interattive del servizio OpenSearch direttamente sui dati sottoposti a query non frequenti archiviati nel data lake Amazon S3 con Zero-ETL. La connessione Zero-ETL con S3 elimina la necessità che i clienti creino o gestiscano pipeline ETL complesse, consentendo loro di eseguire query fondamentali per ricavare informazioni e visualizzare dati di sicurezza e osservabilità, riducendo al contempo i costi e la complessità operativa della duplicazione dei dati o della gestione di più strumenti di analisi. Ulteriori informazioni >>
Integrazione Zero-ETL con DynamoDB
L'integrazione Zero-ETL del servizio OpenSearch di Amazon con Amazon DynamoDB consente di utilizzare funzionalità di ricerca avanzate come la ricerca full-text e vettoriale sui dati operativi in Amazon DynamoDB. Questa integrazione utilizza Amazon OpenSearch Ingestion per sincronizzare senza problemi i dati da Amazon DynamoDB al servizio OpenSearch di Amazon senza la necessità di scrivere alcun codice personalizzato. Inoltre, riduce l'onere operativo e i costi legati alla sincronizzazione dei dati tra questi due archivi, consentendo di concentrarsi sulle applicazioni. Ulteriori informazioni>>
Importazione dei dati con Amazon Kinesis Data Firehose
Con Amazon Kinesis Firehose, è possibile convertire facilmente i dati grezzi da sorgenti di dati streaming nei formati richiesti dall'indice Elasticsearch o OpenSearch e caricarli su Amazon OpenSearch Service, senza dover costruire le pipeline di elaborazione dati.
È sufficiente selezionare una funzione AWS Lambda dalla scheda relativa alla configurazione del delivery stream di Amazon Kinesis Firehose nella Console di gestione AWS. Amazon Kinesis Firehose applicherà automaticamente la funzione AWS Lambda a tutti i record dati di input, caricando i dati trasformati nell'indice di Amazon OpenSearch Service.
Amazon Kinesis Firehose fornisce piani Lambda predefiniti senza alcuna modifica o personalizzazione, per la conversione delle sorgenti dati più comuni, ad esempio i log di Apache e i log di sistema in formato JSON e CSV. È possibile inoltre configurare Amazon Kinesis Firehose affinché riesegua i processi falliti ed effettui il backup dei flussi di dati grezzi. Ulteriori informazioni »
Acquisizione di dati con Logstash
Amazon OpenSearch Service supporta l'integrazione con Logstash, uno strumento di elaborazione dati open source che raccoglie dati provenienti dalle fonti, e li carica in Elasticsearch o OpenSearch. È possibile implementare facilmente Logstash su Amazon EC2 e configurare il dominio Amazon OpenSearch Service come archivio di back-end per tutti i log provenienti dalla tua implementazione di Logstash. Logstash supporta una libreria di filtri predefiniti per semplificare l'esecuzione delle operazioni di trasformazione più comuni, ad esempio la conversione di dati di log non strutturati in dati strutturati tramite condizioni di ricerca, ridenominazione, rimozione, sostituzione e modifica dei campi nei record dati o l'aggregazione di metriche. Ulteriori informazioni »
Acquisizione di dati con Amazon CloudWatch Logs
Amazon CloudWatch Logs consente di monitorare e risolvere i problemi dei tuoi sistemi e applicazioni utilizzando i file di log di sistema o di applicatione già esistenti o personalizzati. È possibile configurare un gruppo di log di CloudWatch Logs per trasmettere i dati al dominio Amazon OpenSearch Service quasi in tempo reale tramite un abbonamento a CloudWatch Logs. Questa integrazione è utile se stai già utilizzando CloudWatch Logs per raccogliere dati di log e desideri condividere tali dati con gli utenti di Amazon OpenSearch Service. Ulteriori informazioni »
Acquisizione di dati con AWS IoT
AWS IoT è una piattaforma cloud gestita che consente a dispositivi connessi di interagire in modo semplice e sicuro con applicazioni nel cloud e altri dispositivi. AWS IoT consente di acquisire dati dai dispositivi connessi quali elettrodomestici, sensori incorporati e set-top box per TV. Con la console di gestione AWS, è possibile configurare AWS IoT per caricare direttamente i dati in Amazon OpenSearch Service, consentendo di fornire ai clienti un accesso quasi in tempo reale a dati e parametri IoT. Ulteriori informazioni »
Come scegliere il meccanismo di acquisizione dati più adatto
La scelta di un meccanismo di acquisizione dati più adatto dipende dai requisiti del caso d'uso come la latenza dei dati e il tipo di dati. Per grandi volumi di dati, consigliamo di utilizzare Amazon Kinesis Data Firehose, che è completamente gestito, scala automaticamente per adattarsi al flusso dei dati e non richiede amministrazione continua. Può anche trasformare, comprimere e raggruppare i dati prima di caricarli nel dominio di Amazon OpenSearch Service. La scelta spesso ricade su servizi già in uso. Ad esempio, se stai già raccogliendo i log delle applicazioni utilizzando Amazon CloudWatch Logs, puoi semplicemente caricare quei dati nel tuo dominio Amazon OpenSearch Service senza troppi sforzi aggiuntivi.
Fasi successive
- Inizia a usare Amazon OpenSearch Service con il piano gratuito di AWS »
- Consulta la Guida alle nozioni di base su Amazon OpenSearch Service »
OpenSearch include alcuni codici Elasticsearch con licenza Apache di Elasticsearch B.V. e altri codici sorgente. Elasticsearch B.V. non è la fonte dell’altro codice sorgente. ELASTICSEARCH è un marchio registrato di Elasticsearch B.V.
Ulteriori informazioni sui prezzi di Amazon OpenSearch Service