Cos'è Apache Flink?

Grazie all'ampia gamma di funzionalità, Apache Flink viene utilizzato per creare molti tipi diversi di applicazioni di streaming e batch.
Alcuni tipi di applicazioni più comuni basate su Apache Flink sono:

• Applicazioni basate su eventi, importazione di eventi da uno o più flussi di eventi ed esecuzione di calcoli, aggiornamenti di stato o azioni esterne. L'elaborazione con stato consente di implementare una logica che supera la trasformazione a messaggio singolo, in cui i risultati dipendono dalla cronologia degli eventi importati.
• Applicazioni di analisi dei dati, che estraggono informazioni e approfondimenti dai dati. Generalmente, queste applicazioni interrogano set di dati finiti e rieseguono le query, o modificano i risultati per incorporare nuovi dati. Con Apache Flink, l'analisi può essere eseguita aggiornando continuamente, trasmettendo query in streaming o elaborando gli eventi importati in tempo reale, emettendo e aggiornando continuamente i risultati.
• Applicazioni di pipeline di dati, che trasformano e arricchiscono i dati da spostare da un'archiviazione di dati all'altra. Di solito, la fase di estrazione, trasformazione e caricamento (ETL) viene eseguita periodicamente, in batch. Con Apache Flink, il processo può svolgersi in modo continuo, spostando i dati con bassa latenza verso la loro destinazione.

Elabora set di dati illimitati (flussi) e limitati (batch)

Apache Flink può elaborare set di dati illimitati e limitati, ad esempio flussi e dati in batch. I flussi illimitati hanno un inizio ma sono praticamente infiniti. L'elaborazione potrebbe, teoricamente, non interrompersi mai.

I dati limitati, come le tabelle, sono finiti e possono essere elaborati dall'inizio alla fine in un tempo limitato.
Apache Flink fornisce algoritmi e strutture di dati per supportare l'elaborazione limitata e illimitata tramite la stessa interfaccia di programmazione. Le applicazioni che elaborano dati illimitati vengono eseguite continuamente. L'esecuzione delle applicazioni che elaborano dati limitati terminerà quando avranno raggiunto la fine dei set di dati di input.

Esecuzione di applicazioni su vasta scala

Apache Flink è progettato per eseguire applicazioni con stato praticamente su qualsiasi scala. L'elaborazione è parallelizzata a migliaia di attività, distribuite su più macchine contemporaneamente.

Lo stato è inoltre partizionato e distribuito orizzontalmente, consentendo di gestire diversi terabyte su più macchine. Lo stato è indirizzato verso un’archiviazione persistente in modo incrementale.

Prestazioni in memoria

I dati che fluiscono attraverso l'applicazione e lo stato vengono partizionati su più macchine. Pertanto, il calcolo può essere completato accedendo ai dati locali, spesso in memoria.

Coerenza exactly-once dello stato

Le applicazioni che vanno oltre le trasformazioni di un singolo messaggio sono basate sullo stato. È importante che logica aziendale ricordi eventi o risultati intermedi. Apache Flink garantisce la coerenza dello stato interno, anche in caso di guasto e in fase di arresto e il riavvio dell'applicazione. L'effetto di ogni messaggio sullo stato interno viene applicato sempre esattamente una volta, indipendentemente dal fatto che l'applicazione possa ricevere duplicati dall'origine dati al momento del ripristino o del riavvio.

Ampia gamma di connettori

Apache Flink dispone di una serie di connettori collaudati per i più diffusi sistemi di messaggistica e streaming, archivi dati, motori di ricerca e file system. Alcuni esempi sono Apache Kafka, il flusso di dati Amazon Kinesis, Amazon SQS, Active MQ, Rabbit MQ, NiFi, OpenSearch ed ElasticSearch, DynamoDB, HBase e qualsiasi database che fornisce client JDBC.

Livelli multipli di astrazione

Apache Flink offre livelli multipli di astrazione per l'interfaccia di programmazione, a partite dalle API SQL e Table per streaming di livello superiore, all'utilizzo di astrazioni note come table, join e group by. L'API DataStream offre un livello di astrazione inferiore ma anche un maggiore controllo, con la semantica dei flussi, delle finestre e della mappatura. Infine, l'API ProcessFunction offre un controllo preciso sull'elaborazione di ogni messaggio e il controllo diretto dello stato. Tutte le interfacce di programmazione funzionano perfettamente con set di dati illimitati (flussi) e limitati (tabelle). È possibile utilizzare diversi livelli di astrazione nella stessa applicazione come strumento idoneo per risolvere qualsiasi problema.

Linguaggi di programmazione multipli

Apache Flink può essere programmato con più linguaggi, da SQL per streaming ad alto livello, a Python, Scala, Java, ma anche altri linguaggi JVM come Kotlin.

Norton LifeLock

NortonLifeLock è una società globale di sicurezza informatica e privacy su Internet che offre servizi a milioni di clienti per la sicurezza dei dispositivi e l'identità e la privacy online per l'abitazione e le famiglie.

NortonLifeLock offre agli utenti un prodotto VPN come servizio freemium. C'era il bisogno di applicare limiti di utilizzo in tempo reale per evitare che gli utenti freemium usufruissero del servizio una volta superato il limite. Riuscire a farlo in modo affidabile e conveniente rappresentava una sfida per NortonLifeLock.

NortonLifeLock ha semplificato l'implementazione dell'aggregazione a livello di utente e dispositivo adottando Apache Flink.

Samsung SmartThings

In qualità di filiale indipendente di Samsung, SmartThings è uno dei principali ecosistemi IoT al mondo, capace di fornire a tutti il modo più semplice per creare una casa intelligente.

Samsung SmartThings riscontrava problemi relativi alla disponibilità delle risorse per le singole applicazioni. Ciò ha causato un ritardo e un peggioramento delle prestazioni durante l'elaborazione dei dati, con conseguente aumento dei costi generali per la gestione dei carichi di lavoro durante le operazioni. È stato necessario riprogettare la piattaforma dati,

passando da Apache Spark ad Apache Flink.

Gruppo BT

BT Group è il principale fornitore di telecomunicazioni e reti del Regno Unito e un fornitore leader di servizi e soluzioni di comunicazione globali, con clienti in 180 paesi. Le sue attività principali nel Regno Unito comprendono la fornitura di telefonia fissa, mobile, banda larga e TV (incluso lo sport) e una gamma di prodotti e servizi su reti fisse e mobili convergenti a clienti privati, aziendali e del settore pubblico.

BT aveva bisogno di un'applicazione di monitoraggio dei servizi per supportare il lancio di Digital Voice, il suo nuovo prodotto di consumo che consente chiamate vocali ad alta definizione sulla sua rete a banda larga del Regno Unito.

BT ha creato un servizio di analisi basato sugli eventi utilizzando Apache Flink, per acquisire, elaborare e visualizzare i dati del servizio.

Autodesk

Autodesk, un fornitore leader nel mercato di software per la progettazione e l'ingegneria 3D, desidera andare oltre la creazione e la distribuzione di software. Desidera garantire ai suoi milioni di utenti la migliore esperienza possibile nell'esecuzione di tale software.

Autodesk crea software per chi crea prodotti. Serve oltre 200 milioni di clienti. Il loro obiettivo era eliminare i silos per individuare e risolvere più rapidamente i problemi dei clienti. Erano alla ricerca di un procedimento per raccogliere e misurare le metriche in modo coerente, con il lavoro di un piccolo team operativo e senza aumentare i costi o creare un lock-in dei dati.

NHL

La National Hockey League è la seconda più antica delle quattro principali leghe professionistiche di squadra del Nord America. Oggi, la NHL è composta da 32 club membri, ognuno dei quali riflette la composizione internazionale della Lega, con giocatori provenienti da più di 20 paesi rappresentati nelle rose delle squadre.

La NHL stava affrontando diverse sfide tecniche, tra cui la definizione delle funzionalità richieste e di metodi di modellazione per prevedere un evento caratterizzato da grande incertezza e determinare come utilizzare i dati in streaming dei sensori PPT per identificare il punto in cui si sta verificando uno scontro, i giocatori coinvolti e la loro probabilità di successo, il tutto in un intervallo di centinaia di millisecondi.

Sfruttando Apache Flink, la NHL è stata in grado non solo di prevedere il vincitore di un contrasto, ma anche di gettare le basi per risolvere una serie di problemi simili in tempo reale e in modo conveniente.

Poshmark

Poshmark è un marketplace social leader nel settore moda di prima e seconda mano per donne, uomini, bambini, articoli per animali domestici, per la casa e altro ancora. La community di oltre 80 milioni di persone negli Stati Uniti, in Canada, Australia e India sta plasmando il futuro dello shopping in chiave semplice, social e sostenibile.

Poshmark ha puntato a una crescita del fatturato attraverso la personalizzazione e il miglioramento dell'esperienza utente. L'approccio iniziale, basato sull'utilizzo dell'elaborazione in batch per la personalizzazione e la sicurezza, non ha soddisfatto le aspettative di miglioramento dell'esperienza del cliente.

Poshmark ha quindi progettato una personalizzazione in tempo reale utilizzando l'arricchimento dei dati in tempo reale con Apache Flink.