Acquisisci, trasforma e indirizza i dati su larga scala ai domini OpenSearch di Amazon e alle raccolte serverless
Amazon OpenSearch Ingestion è una funzionalità del servizio OpenSearch di Amazon che consente all'utente di inserire, filtrare, trasformare, arricchire e indirizzare i dati a un dominio OpenSearch di Amazon o a una raccolta serverless. Amazon OpenSearch Ingestion è in grado di acquisire dati da un'ampia varietà di fonti e dispone di un ricco ecosistema di processori integrati per soddisfare le esigenze più complesse di trasformazione dei dati. Amazon OpenSearch Ingestion è per natura serverless e si ridimensiona automaticamente per soddisfare i requisiti dei carichi di lavoro più impegnativi, aiutandoti a concentrarti sulla logica aziendale e a eliminare la complessità della gestione di pipeline di dati complesse per i tuoi casi d'uso in materia di osservabilità e sicurezza.
Vantaggi
Ottimizzazione dei costi
Riduci i costi di archiviazione deduplicando, campionando e indirizzando i dati eccessivi a un'archiviazione a costi inferiori.
Qualità dei dati
Migliora la qualità dei dati trasformando, filtrando e arricchendo i dati con processori integrati e adottando schemi per accelerare l'osservabilità e ridurre i tempi delle indagini di sicurezza.
Protezione dei dati
Proteggi i dati sensibili oscurando e offuscando le informazioni sensibili prima che arrivino a destinazione.
Sicurezza e conformità
Indirizza i dati utilizzando la logica condizionale per garantire la conformità alle leggi sulla residenza dei dati.
Come funziona
Scrivi i tuoi dati su un dominio OpenSearch di Amazon o su una raccolta OpenSearch serverless per cercare, analizzare e visualizzare i dati con lo scopo di ottenere informazioni in tempo reale.
Il diagramma mostra come filtrare, arricchire, trasformare, normalizzare e aggregare i dati per l'analisi e la visualizzazione a valle nei domini OpenSearch di Amazon e nelle raccolte Amazon OpenSearch serverless. Viene mostrata un'icona che rappresenta Amazon OpenSearch Ingestion e il modo in cui influisce sulle pipeline di log o traccia.
La prima sezione presenta un'icona illustrativa di Amazon OpenSearch Ingestion, sovrapposta alla sezione log o pipeline della traccia. L'illustrazione recita "Importazione dei dati completamente gestita per l'osservabilità e l'analisi della sicurezza."
La seconda sezione è intitolata "Log e pipeline di traccia” e include tre icone che indicano come vengono importati i dati da una sorgente di pipeline ai processori di dati e infine a un sink di pipeline. I dati fluiscono dalla prima icona alla seconda e infine alla terza. La prima icona è intitolata "Origine pipeline". La seconda icona è intitolata "Processori di dati". La terza icona è intitolata "Sink di pipeline".
La terza sezione illustra che, una volta acquisiti e ordinati, i dati possono essere scritti sia su un dominio di servizio OpenSearch di Amazon che su una raccolta Amazon OpenSearch serverless. Ci sono due icone impilate l'una sull'altra. La prima icona è intitolata "Dominio del servizio OpenSearch di Amazon" e la seconda è intitolata "Raccolte di Amazon OpenSearch serverless".
Caratteristiche principali
AWS è un contributore chiave del progetto OpenSearch che molti clienti utilizzano. Avrai accesso alle innovazioni per OpenSearch Data Prepper all'interno di questo servizio gestito. Oltre a queste funzioni, a cui la community contribuisce, il servizio Amazon OpenSearch Ingestion offre anche le seguenti funzionalità:
Installazione e applicazione di patch del software gestito da AWS
AWS monitora e corregge il servizio 24 ore su 24, 7 giorni su 7
AWS aggiorna le versioni
Tempo di inattività azzerato per aggiornamenti e upgrade
Disponibilità SLA: 99,9%
Serverless con dimensionamento automatico per i carichi di lavoro di importazione
Clienti e partner
-
CyberArk
-
Calyptia
-
Confluent
-
CyberArk
-
.b6a27b975cd1a88ec7810a0258a2ae39ebbe77db.png "CyberArk")
"In CyberArk EPM (Endpoint Privilege Manager), un sistema multi-tenant basato su cloud, gestiamo milioni di endpoint e raccogliamo eventi di dati ad alto traffico utilizzando AWS OpenSearch. Sfruttando Amazon OpenSearch Ingestion, abbiamo sostituito la nostra precedente pipeline Logstash autogestita con una gestita da AWS, che ha eliminato l'onere della gestione della nostra infrastruttura e ci ha fornito un'architettura più scalabile, conveniente, affidabile e sicura per l'importazione dei dati. Questa decisione è stata presa con l'ulteriore vantaggio che CyberArk EPM ha ottenuto lo status di FedRAMP High In-Process, mentre Amazon OpenSearch Ingestion è già conforme a FedRAMP, consentendoci di mantenere un elevato livello di sicurezza nella nostra offerta."
Ori Doolman, architetto software senior di CyberArk EPM
-
Calyptia
-
"In Calyptia lavoriamo con l'importazione dei dati da oltre 12 anni come creatori e manutentori del progetto Cloud Native Computing Foundation, Fluentd e Fluent Bit. Con le ultime versioni di questi progetti siamo entusiasti che gli utenti possano ottenere un maggiore controllo nella prima fase grazie alla combinazione dei progetti Fluent e del servizio OpenSearch Ingestion. Con il servizio di importazione, gli utenti possono continuare a ridimensionare gli agenti l'elaborazione senza doversi preoccupare della gestione e della manutenzione dell'infrastruttura."
Anurag Gupta, cofondatore di Calyptia
-
Confluent
-
"Siamo entusiasti di collaborare con il team OpenSearch di Amazon nella creazione del servizio OpenSearch Ingestion, che fornirà un'integrazione nativa con Apache Kafka e Confluent. Questa integrazione aiuterà i nostri clienti congiunti ad accedere ai dati in tempo reale tramite Apache Kafka all'interno di OpenSearch, in modo che possano ripensare l'esperienza dei clienti, creare operazioni di back-end in tempo reale o lanciare nuovi prodotti e servizi. In qualità di principale contributore di Apache Kafka, Confluent ha sviluppato Kafka 10X, creando una piattaforma di streaming di dati completa e nativa del cloud, che consente di spostare i dati da qualsiasi luogo vengano creati in luoghi in cui le aziende possono intervenire nel mondo multi-SaasS in cui viviamo tutti. Ciò consente agli utenti di OpenSearch di beneficiare delle centinaia di origini dati con cui Confluent è integrato. Siamo entusiasti di vedere cosa creano i nostri clienti congiunti mettendo in moto i dati con Confluent e OpenSearch."
Paul Mac Farland, vicepresidente di Partner & Innovation Ecosystem - Confluent
Risorse
Domande frequenti
D: Perché utilizzare Amazon OpenSearch Ingestion?
Amazon OpenSearch Ingestion è un livello di importazione dei dati che consente di filtrare, arricchire, trasformare, normalizzare e aggregare i dati per l'analisi e la visualizzazione a valle nei domini Amazon OpenSearch e nelle raccolte Amazon OpenSearch serverless. Amazon OpenSearch Ingestion ti consente di creare pipeline di dati personalizzate per migliorare la visualizzazione operativa delle tue applicazioni. La natura serverless di Amazon OpenSearch Ingestion elimina la complessità della gestione automatica delle pipeline di dati e garantisce che le loro capacità di elaborazione si ridimensionino automaticamente in base alle esigenze dei carichi di lavoro. Con Amazon OpenSearch Ingestion, puoi:
- Ridurre i costi di archiviazione mediante la deduplicazione dei dati e il campionamento per evitare che i dati eccessivi vengano indicizzati in OpenSearch di Amazon.
- Applicare la qualità dei dati e adottare schemi comuni trasformando, formattando e arricchendo i dati prima che vengano indicizzati nei domini OpenSearch di Amazon, semplificando la risoluzione dei problemi.
- Oscurare oppure offusca le informazioni sensibili prima che raggiungano una destinazione, garantendo la conformità alle leggi sulla residenza dei dati.
D: Quali sono i componenti principali di una pipeline OpenSearch di Amazon?
Una pipeline di Amazon OpenSearch Ingestion è composta da tre componenti principali:
- La fonte è il componente di input di una pipeline. Definisce il meccanismo attraverso il quale una pipeline consuma i record. La fonte può consumare i record sia ricevendo dati tramite http/s che leggendo da endpoint esterni di terze parti.
- I processori sono unità di elaborazione intermedie in grado di filtrare, trasformare e arricchire i record nel formato desiderato prima di pubblicarli nel sink. Il processore è un componente opzionale di una pipeline. Se non definisci un processore, i record vengono pubblicati nel formato definito nel codice sorgente. Puoi avere più di un processore. I processori vengono eseguiti nell'ordine in cui li definisci nella pipeline.
- Il sink è il componente di uscita di una pipeline. Definisce una o più destinazioni in cui una pipeline pubblica i record. Un sink può anche essere una pipeline diversa che consente di concatenare numerose pipeline.
D: Che tipo di dati posso importare utilizzando Amazon OpenSearch Ingestion?
OpenSearch di Amazon supporta l'importazione di tutti i tipi di dati che normalmente indicizzeresti in un suo dominio. Ciò include ma non è limitato a dati strutturati, non strutturati, testuali, numerici e geospaziali. OpenSearch Ingestion supporta anche l'importazione di tutti e tre i pilastri dei dati di osservabilità: log, metriche e tracce. Puoi utilizzare OpenSearch Ingestion insieme al suo supporto per un ricco ecosistema di origini dati, processori e sink per trasformare i tuoi dati prima di archiviarli nei domini OpenSearch di Amazon. Con OpenSearch Ingestion, non è più necessario scrivere una funzione Lambda personalizzata o gestire automaticamente i nodi di importazione Logstash ed Elasticsearch per importare dati che devono essere indicizzati nei cluster OpenSearch di Amazon. Consulta la nostra pagina della documentazione per visualizzare l'elenco delle fonti, dei processori e dei sink supportati da Amazon OpenSearch Ingestion.
D: In che modo Amazon OpenSearch Ingestion si collega al progetto OpenSearch di Amazon?
Amazon OpenSearch Ingestion è un livello di importazione dei dati che elabora preventivamente i dati prima che vengano indicizzati nel servizio OpenSearch di Amazon. OpenSearch Ingestions è costruito con Data Prepper che è un componente del progetto OpenSearch e supporta tutti i formati di dati, le fonti, i processori e i sink supportati da Data Prepper.
D: Come posso iniziare a usare Amazon OpenSearch Ingestion?
Per iniziare a lavorare con Amazon OpenSearch Ingestion, devi prima definire una pipeline di dati. Una pipeline di OpenSearch Ingestion è il fulcro della logica aziendale ed è composta da una fonte, uno o più processori singoli o una serie di processori e un sink. La configurazione della pipeline viene definita tramite un file YAML che contiene i dettagli della fonte, dei processori e dei sink. OpenSearch Ingestion consente inoltre di configurare una capacità minima e massima delle OpenSearch Compute Units for Ingestion (OCU) che si desidera impostare per pipeline. Infine, puoi scegliere in che modo i dati raggiungono le tue pipeline di OpenSearch Ingestion:
- Accesso VPC: per l'accesso VPC, stabiliamo un collegamento privato dal tuo VPC alla pipeline di Amazon OpenSearch Ingestion. Ciò fornisce connettività privata alle tue pipeline senza esporre il tuo traffico alla rete Internet pubblica.
- Accesso pubblico: in questa configurazione di rete, i dati delle pipeline di OpenSearch fluiscono sulla rete Internet pubblica.
Puoi iniziare a creare una pipeline di dati tramite la Console AWS o la riga di comando AWS.
Nozioni di base di Amazon OpenSearch Ingestion
Scopri gli ulteriori vantaggi dell'importazione e dell'integrazione.
Esplora le funzionalità di sicurezza, la suddivisione dell'archiviazione e altro ancora.
Chiedi consiglio agli esperti e ottieni gli strumenti e gli incentivi finanziari di cui hai bisogno per migrare facilmente.