Nuove opportunità commerciali per Guru con l'utilizzo di Amazon OpenSearch Service

Guru Technologies (Guru), una startup che fornisce software di gestione della conoscenza, semplifica l'accesso delle aziende alle proprie informazioni interne in qualsiasi momento e a prescindere dalla posizione di archiviazione. Per Guru è sempre stato essenziale assicurare risultati delle query rapidi e pertinenti alla sua clientela, che comprende aziende come Slack, Noom, Nubank, Zoom Video Communications, Shopify e Spotify. A fronte di una crescita significativa, specialmente nel ragguardevole numero di utenti attivi al mese, Guru si è resa conto che la soluzione Elasticsearch autogestita non offriva la scalabilità, la velocità o l'affidabilità che occorrevano all'azienda per continuare a innovare su vasta scala. 

Avendo utilizzato Amazon Web Services (AWS) sin dalla sua fondazione nel 2014, Guru si è nuovamente rivolta ad AWS in cerca di una soluzione. Utilizzo di Amazon OpenSearch Service, un servizio gestito che semplifica l'esecuzione di analisi interattive dei dati dei registri, il monitoraggio delle applicazioni in tempo reale, la ricerca sui siti Web e altro ancora

Intendendo implementare una soluzione basata sul cloud, Guru ha costruito sin dal principio la propria infrastruttura tecnologica su AWS. L'azienda sapeva che il cloud poteva soddisfare le sue necessità in termini di archiviazione, dimensionamento ed elasticità, mentre l'esecuzione dell'infrastruttura in un centro in co-locazione avrebbe comportato uno sforzo significativo sotto il profilo della gestione e dell'ampliamento della capacità. "Quando abbiamo iniziato a lavorare su AWS, l'obiettivo era disporre di una infrastruttura come codice in modo da poter creare automaticamente i nostri ambienti", spiega Mitchell Stewart, Chief Technology Officer e co-fondatore di Guru.

Inizialmente, l'azienda ha utilizzato AWS CloudFormation, che offre un modo semplice per modellare una raccolta di risorse AWS e di terze parti, effettuarne il provisioning in modo rapido e coerente e gestirle in tutto il loro ciclo di vita, trattando l'infrastruttura come codice. Inoltre, Guru si serviva di Amazon Elastic Block Store (Amazon EBS), un servizio di archiviazione a blocchi ad alte prestazioni e facile da usare, progettato per l'utilizzo su Amazon Elastic Compute Cloud (Amazon EC2) per carichi di lavoro a elevata intensità di velocità effettiva o transazioni su qualsiasi scala. "Siamo partiti da un'architettura molto semplice", spiega Stewart. "Da allora, abbiamo continuato a adottare tutti questi componenti tecnologici che AWS ha rilasciato nel corso degli ultimi 7 anni La nostra architettura è diventata assai più complessa, ma il principio è rimasto invariato: AWS continua a fornire servizi completamente gestiti, risolvendo una quantità di problemi elastici e dinamici di cui non dobbiamo occuparci noi stessi."

Uno dei problemi di dimensionamento di Guru riguardava Elasticsearch. Inizialmente, l'azienda ospitava il proprio cluster Elasticsearch utilizzando Amazon EC2 per il calcolo. "Elasticsearch è una parte fondamentale del nostro prodotto", continua Stewart. "Abbiamo dedicato molto tempo e attenzione alle risorse perché stiamo cercando attivamente di migliorare le prestazioni complessive di ricerca fornendo ai nostri utenti una latenza bassa e risultati delle ricerche pertinenti." La decisione di migrare ad Amazon OpenSearch Service si è basata sulle risorse. "Ci siamo chiesti: vogliamo avere un gruppo di dipendenti che si occupino solo del nostro cluster Elasticsearch oppure preferiamo delegare la gestione del servizio Elasticsearch a un team di amministratori esperti?", spiega Stewart.

Guru ha avviato la migrazione ad Amazon OpenSearch Service nell'estate 2020 e l'ha conclusa pochi mesi dopo. Nell'arco di un breve lasso di tempo, l'azienda ha riscontrato diversi vantaggi dalla migrazione. In primo luogo, l'azienda ha potuto utilizzare Amazon EMR, un servizio cloud di Big Data leader di settore per l'elaborazione di enormi quantità di dati utilizzando strumenti open source, al fine di sviluppare un framework di sperimentazione per migliorare la pertinenza dei risultati delle ricerche del suo motore di ricerca. In ultima istanza, ciò ha aiutato gli utenti a trovare più rapidamente le informazioni che stavano cercando.

Utilizzando questo framework, Guru può eseguire velocemente molti test utili. Ad esempio, l'azienda può creare un nuovo cluster Elasticsearch con le modifiche proposte all'algoritmo e stabilire se la pertinenza dei risultati delle ricerche del nuovo cluster è migliore o peggiore di quello originale di produzione. Guru ha potuto misurare e confrontare la pertinenza dei risultati delle ricerche in parte perché Amazon OpenSearch Service permette di registrare i risultati delle ricerche in tempo reale. "Se non avessimo avuto [Amazon OpenSearch Service], Amazon EMR e tutti quegli strumenti a disposizione per sperimentare le iterazioni degli algoritmi, non avremmo potuto neppure prendere in considerazione l'idea", commenta Stewart.

In precedenza, gli esperimenti in cui Guru si era cimentata richiedevano settimane o mesi. Ma dopo la migrazione all'ambiente AWS, l'azienda era in grado di condurre gli esperimenti in poche ore o addirittura nel giro di minuti. "In passato, ogni volta che dovevamo fare un esperimento, occorreva che una risorsa DevOps dedicasse 5-6 ore soltanto al dimensionamento, per essere nella condizione materiale di poter avviare l'esperimento", spiega Nabin Mulepati, ingegnere principale del machine learning di Guru. "Ora ci basta dire: 'Ehi, dammi 30 nodi', e nel giro di un'ora abbiamo un cluster pronto per eseguire gli esperimenti. E una volta fatto, possiamo eseguire la riduzione verticale per non sostenere costi superflui."

Tra il completamento della migrazione, nell'autunno 2020, e i primi mesi del 2021, Guru ha condotto esperimenti che prevedevano la riproduzione di quasi mezzo miliardo di query. In seguito a tali esperimenti, l'azienda ha riscontrato un miglioramento del 10 percento nelle prestazioni della ricerca.

Anche quando Guru non sta conducendo attivamente degli esperimenti, l'ambiente Amazon OpenSearch Service gestito semplifica enormemente la gestione degli aggiornamenti per l'azienda. "In passato non riuscivamo ad approfittare delle nuove caratteristiche che Elasticsearch rilasciava, e di conseguenza non eravamo in grado di risolvere i problemi dei nostri clienti", spiega Jeff Plater, ingegnere principale di Guru. "Ora che siamo passati ad {Amazon OpenSearch Service} possiamo rimanere aggiornati e implementare queste caratteristiche. Ciò si traduce nella possibilità di migliorare più velocemente il servizio di ricerca per i nostri utenti." Con picchi di un milione di richieste di ricerca al giorno, Guru non può permettersi rallentamenti.

Effettuando la migrazione dai cluster Elasticsearch autogestiti ad Amazon OpenSearch Service, Guru ha potuto dedicare più tempo alle attività di sperimentazione e innovazione. Grazie a questo framework, Guru dispone di un percorso scalabile per la sperimentazione con il machine learning e il deep learning, compresa l'implementazione dell'algoritmo k-nearest neighbor e la classificazione dei risultati basata su ML. L'azienda prevede inoltre di iniziare a utilizzare Amazon SageMaker, che aiuta sviluppatori e data scientist a preparare, creare, addestrare e implementare rapidamente modelli di machine learning di alta qualità combinando un’ampia gamma di funzionalità create ad hoc per il ML.

Come startup che cerca di crescere rapidamente rilasciando nuove caratteristiche, Guru si è resa conto che AWS poteva fornire l'affidabilità, la scalabilità e l'elasticità che le occorrevano per continuare a innovare. "Una cosa che apprezziamo molto di AWS è il self-service: puoi muoverti al ritmo che desideri all'interno dell'ambiente", commenta Steve Mayernick, direttore del marketing di prodotto di Guru. "Puoi ambientarti e operare molto in fretta, utilizzare tutti i sistemi che ti servono per la tua startup e poi semplicemente iterare, iterare e ancora iterare. Puoi costruire tutto quello che ti serve senza bisogno di coinvolgere un fornitore di terze parti che potrebbe rallentarti."