Nozioni di base / Esperienza pratica / ...
Ottimizza i costi e ottieni visibilità sull'utilizzo con Amazon S3 Storage Lens
TUTORIAL
Panoramica
Amazon S3 Storage Lens offre visibilità a livello di organizzazione dell'utilizzo e delle tendenze delle attività di archiviazione di oggetti e offre consigli sulle azioni da intraprendere per ottimizzare i costi e applicare best practice di protezione dei dati. S3 Storage Lens è la prima soluzione di strumenti di analisi dell'archiviazione su cloud a fornire una singola visualizzazione dell'utilizzo dell'archiviazione di oggetti e delle attività di centinaia, o addirittura migliaia, di account in un'organizzazione AWS, con drill-down per la generazione di analisi a livello di aggregazioni multiple. Utilizzando le raccomandazioni contestuali che S3 Storage Lens deriva dall'analisi dei parametri all'interno dell'organizzazione, puoi adottare misure immediate per ottimizzare lo spazio di archiviazione.
Amazon S3 viene utilizzato per archiviare set di dati condivisi di grandi dimensioni su decine o centinaia di account e bucket, più regioni e migliaia di prefissi. Con S3 Storage Lens, puoi comprendere facilmente il tuo spazio di archiviazione e analizzarlo per rilevare valori anomali. S3 Storage Lens fornisce più di 60 parametri (parametri gratuiti e avanzati) sull'utilizzo e l'attività dell'archiviazione S3 a un pannello di controllo interattivo nella console S3. Tutti i clienti hanno accesso ai parametri gratuiti e possono abilitare i parametri avanzati con un costo mensile di monitoraggio per oggetto per ricevere approfondimenti a livello di prefisso, conservazione estesa dei dati, consigli e la possibilità di pubblicare i parametri su Amazon CloudWatch.
Obiettivi
- Capire la differenza tra i parametri gratuiti e quelli avanzati
- Creare e configurare un pannello di controllo di S3 Storage Lens e muoversi al suo interno
- Scoprire i casi d'uso di S3 Storage Lens
Prerequisiti
Accedi a questa pagina di supporto per ulteriori informazioni su come creare e attivare un nuovo account AWS.
Per assistenza nella creazione del tuo primo bucket S3, consulta la Guida per l'utente di Amazon S3.
Esperienza AWS
Tempo per il completamento
30 minuti
Costo per il completamento (con metriche gratuite)
Gratis
Costo per il completamento (con metriche avanzate)
I prezzi possono variare: 0,20 USD per milione di oggetti monitorati al mese (pagina dei prezzi di Amazon S3)
Requisiti
Account AWS e bucket Amazon S3 popolato
Servizi utilizzati
Ultimo aggiornamento
17 novembre 2022
Implementazione
Parametri gratuiti
Tutti i clienti Amazon S3 possono accedere a un pannello di controllo interattivo nella console S3 che contiene viste preconfigurate dell'utilizzo dell'archiviazione e delle tendenze delle attività. Con i parametri gratuiti di S3 Storage Lens si ricevono 28 parametri a livello di bucket ed è possibile accedere per 14 giorni ai dati cronologici nel pannello di controllo. Puoi filtrare il pannello di controllo per riepilogo, ottimizzazione dei costi, protezione dei dati, gestione degli accessi, prestazioni o eventi in modo da analizzare parametri specifici per i casi d'uso previsti. Oltre al pannello di controllo della console S3, puoi esportare parametri in formato CSV o Parquet in un bucket S3 a scelta e utilizzarli in futuro. Per ulteriori informazioni sui parametri di utilizzo aggregati da S3 Storage Lens, consulta il glossario dei parametri di Amazon S3 Storage Lens.
Parametri avanzati e raccomandazioni
S3 Storage Lens offre parametri gratuiti per tutti i pannelli di controllo e le configurazioni con la possibilità di passare a parametri avanzati e raccomandazioni a un costo aggiuntivo. Per ulteriori informazioni, consulta la scheda Gestione e analisi nella pagina dei prezzi di Amazon S3.
Effettuando l'aggiornamento ai parametri avanzati di Storage Lens, riceverai 35 parametri aggiuntivi con 15 mesi di dati storici. I parametri avanzati forniscono informazioni dettagliate relative all'attività (come i numeri di richieste), all'ottimizzazione di costi (come il numero di regole del ciclo di vita S3), alla protezione dei dati aggiuntiva (come il numero di regole di S3 Replication) e ai codici di stato dettagliati (come gli errori di autorizzazione 403). Inoltre, potrai approfondire il livello di prefisso per identificare i prefissi più grandi e con la crescita più rapida all'interno di un bucket. Potrai accedere ai parametri di S3 Storage Lens anche tramite Amazon CloudWatch, per creare gli allarmi, o l'API CloudWatch per inviare i parametri a partner di osservabilità integrati. Potrai utilizzare le informazioni avanzate per ampliare l'utilizzo delle regole del ciclo di vita per una maggiore ottimizzazione dei costi, identificare i bucket con policy di protezione dei dati insufficienti e migliorare le prestazioni dei carichi di lavoro delle applicazioni.
S3 Storage Lens fornisce raccomandazioni automatiche per ottimizzare lo spazio di archiviazione. Le raccomandazioni vengono inserite contestualmente insieme ai parametri pertinenti nel pannello di controllo di S3 Storage Lens. I dati storici non sono adatti alle raccomandazioni in quanto le raccomandazioni sono pertinenti a ciò che sta accadendo nel periodo più recente. Le raccomandazioni vengono visualizzate solo quando sono pertinenti.
Le raccomandazioni di S3 Storage Lens sono disponibili nelle seguenti forme:
- Suggerimenti
I suggerimenti segnalano le tendenze relative all'utilizzo e all'attività dell'archiviazione che potrebbero indicare un'opportunità per ottimizzare i costi di archiviazione o applicare le best practice di protezione dei dati. - Chiamate
Le chiamate sono raccomandazioni che avvisano l'utente di interessanti anomalie nell'utilizzo e nell'attività dello spazio di archiviazione in un periodo che potrebbe richiedere ulteriore attenzione o monitoraggio. - Promemoria
I promemoria forniscono informazioni sul funzionamento di Amazon S3. Possono aiutarti a saperne di più su come utilizzare le funzionalità di S3 per ridurre i costi di archiviazione o applicare le best practice di protezione dei dati.
S3 Storage Lens raccoglie i parametri ogni giorno e i dati restano disponibili per le query per 15 mesi. Per ulteriori informazioni sui parametri di archiviazione aggregati da S3 Storage Lens, consulta il glossario dei parametri di Amazon S3 Storage Lens.
Fase 1: creazione di un pannello di controllo di S3 Storage Lens
1.1: accedi alla Console di gestione AWS utilizzando le credenziali del tuo account. Nella barra di ricerca dei servizi della console AWS, inserisci S3. Nella sezione dei risultati della ricerca dei servizi, seleziona S3.
1.2: vai alla voce di menu Pannelli di controllo nella sezione Storage Lens nel pannello di sinistra. Quindi, scegli Crea pannello di controllo.
1.3: nel pannello Generale, inserisci un nome descrittivo per il pannello di controllo e scegli una regione principale. Quindi, scegli l'opzione Abilita in Stato per i parametri giornalieri aggiornati.
1.4: un pannello di controllo può analizzare lo spazio di archiviazione tra account, regioni, bucket e prefissi. In Ambito del pannello di controllo, scegli se includere o escludere determinate regioni, bucket o entrambi per modificare l'ambito del pannello di controllo.
Se selezioni il pulsante Includi regioni e bucket, avrai la possibilità di includere da un menu a discesa tutte le regioni e i bucket o selezionare le regioni e i bucket desiderati. Altrimenti, se selezioni il pulsante Escludi regioni e bucket, avrai un'opzione a discesa per scegliere quali regioni e bucket escludere.
1.5: nella sezione Selezione parametri, scegli le opzioni che desideri utilizzare. Per questo tutorial, abbiamo selezionato Parametri avanzati e raccomandazioni e incluso Parametri avanzate, pubblicazione CloudWatch e Aggregazione di prefissi. Inoltre, puoi scegliere le categorie di parametri avanzati che desideri includere nel pannello di controllo. Per questo tutorial, abbiamo selezionato Parametri di attività, Parametri dettagliati del codice di stato, Parametri avanzati di ottimizzazione dei costi e Parametri avanzati di protezione dei dati. Puoi trovare un elenco dettagliato dei parametri nel glossario dei parametri nella Guida per l'utente di Amazon S3.
1.6: in Esportazione dei parametri, puoi scegliere Abilita per esportare i parametri del pannello di controllo in un bucket S3 specificato ogni 24 ore.
Se decidi di abilitare questa opzione, dovrai selezionare il tuo formato di output preferito e il bucket di destinazione.
Per saperne di più, consulta la documentazione sull\asw' esportazione dei dati di S3 Storage Lens.
Durante questo periodo, potrai uscire e tornare a questo tutorial fino a che vengono generati i parametri.
Fase 2: esplorazione del pannello di controllo di S3 Storage Lens
2.1: torna al pannello di controllo accedendo alla console Amazon S3, quindi vai alla voce di menu Pannelli di controllo, come già fatto nel passaggio 1.2. Una volta aperto il pannello di controllo, potrai espandere il pannello Filtri per filtrare temporaneamente i dati del pannello per Account, Regioni, Classi di archiviazione, Bucket e e Prefissi.
2.2 : la sezione successiva è uno snapshot di una varietà di parametri. Puoi visualizzare una linea di tendenza che mostra l'andamento di ogni parametro negli ultimi 30 giorni, se utilizzi parametri avanzate, e una variazione percentuale (14 giorni se utilizzi parametri gratuiti o se hai abilitato i parametri avanzati meno di 30 giorni prima). Il numero nella colonna di confronto delle modifiche % mostra la variazione percentuale giorno/giorno per impostazione predefinita. Puoi scegliere di confrontare per settimana/settimana o mese/mese.
Inoltre, puoi selezionare diversi gruppi di parametri da visualizzare nella panoramica degli snapshot dal menu a discesa. Le selezioni includono Riepilogo, Ottimizzazione dei costi, Protezione dei dati, Attività, Gestione degli accessi, Eventi e Prestazioni.
2.3: nel pannello Snapshot, vedrai la sezione Tendenze e distribuzioni. In questa sezione, puoi confrontare due parametri in un intervallo di date specificato e visualizzare le tendenze nel tempo.
2.4: subito sotto, il pannello di controllo riporta anche questi due parametri e mostra come sono distribuiti tra classi di archiviazione e Regioni AWS. Puoi fare clic su qualsiasi valore in questo grafico ed eseguire il drill down per filtrare l'intero pannello di controllo in base a quel valore oppure selezionare Analizza per per passare a una nuova vista del pannello di controllo per quella dimensione.
2.5: l'ultima sezione della scheda Panoramica consente di eseguire un'analisi di tipo Primi N di un parametro in un intervallo di date, in cui N è compreso tra 1 e 25. Nell'esempio riportato di seguito, abbiamo selezionato i primi tre elementi in ordine decrescente per il parametro Archiviazione totale.
Potrai quindi visualizzare i primi tre account, Regioni, bucket e prefissi in base al parametro scelto, insieme alle tendenze associate.
Puoi visualizzare le altre schede del pannello di controllo per parametri più specifici su Account, Regioni, Classi di archiviazione, Bucket e Prefissi.
Fase 3: esplorazione dei casi d'uso di S3 Storage Lens
Identificazione di bucket di grandi dimensioni di cui non si è a conoscenza (livello gratuito)
Il primo passo per gestire i costi di archiviazione consiste nell'acquisire una conoscenza dettagliata dell'utilizzo di S3 per bucket. Con S3 Storage Lens, puoi accedere a una visualizzazione centralizzata di tutti i bucket del tuo account. Puoi persino configurare un pannello di controllo a livello di organizzazione AWS per visualizzare tutti i bucket in tutti gli account. L'uso di S3 Storage Lens semplifica la visibilità di tutti i bucket, il che può rivelare risultati inaspettati, ad esempio bucket con più oggetti del previsto.
3.1: nella parte superiore del pannello di controllo di S3 Storage Lens, passa alla scheda Bucket.
3.3: nel grafico Tendenza del bucket, è possibile visualizzare non solo quale bucket ha lo spazio di archiviazione totale più elevato, ma anche quali sono quelli che hanno registrato la crescita maggiore. In questo grafico, è chiaro che bucket1 ha registrato una crescita costante pur vantando lo spazio di archiviazione maggiore.
Possiamo approfondire questo bucket per raccogliere ulteriori informazioni, come la dimensione media degli oggetti, la percentuale di byte della versione non corrente o i prefissi più grandi.
3.4: quindi, puoi accedere al bucket all'interno della console Amazon S3 per comprendere il carico di lavoro associato e identificare i proprietari interni del bucket in base al numero di account. Potrai quindi sapere dai proprietari dei bucket se questa crescita è prevista o se si tratta di una crescita inaspettata che puoi ora sottoporre a monitoraggio e controllo adeguati.
Aumento dell'uso delle classi di archiviazione S3
Uno dei percorsi più chiari per ridurre i costi di archiviazione consiste nell'ottimizzazione dei costi di archiviazione in base alla frequenza di accesso e alle esigenze di prestazioni tramite le classi di archiviazione di Amazon S3. Amazon S3 offre una gamma di classi di archiviazione che puoi scegliere in base ai requisiti di accesso ai dati, resilienza e costi dei tuoi carichi di lavoro. Queste classi di archiviazione includono:
- Standard S3 per l'archiviazione generica dei dati ad accesso frequente
- S3 Intelligent-Tiering è indicata per i dati con modelli di accesso sconosciuti o variabili
- S3 Standard-Infrequent Access (S3 Standard-IA) e S3 One Zone-Infrequent Access (S3 One Zone-IA) per dati di lunga durata ma con accesso meno frequente
- Recupero flessibile Amazon S3 Glacier, recupero istantaneo Amazon S3 Glacier e Deep Archive Amazon S3 Glacier per archiviazione a lungo termine e conservazione digitale
Se vedi che tutti o quasi tutti i byte di archiviazione rientrano nella classe di archiviazione S3 Standard, significa che potresti essere in grado di ottimizzare l'utilizzo esplorando classi di archiviazione S3 aggiuntive per allinearle al meglio al tuo caso d'uso. Se vedi una vista come questa, puoi probabilmente trarre vantaggio dall'esplorazione dei modelli di progettazione per l'ottimizzazione dei costi.
Innanzitutto, puoi automatizzare l'ottimizzazione dei costi utilizzando la classe di archiviazione S3 Intelligent-Tiering, ideale per modelli di accesso sconosciuti o in evoluzione. In secondo luogo, per i modelli di accesso noti, puoi configurare le policy del ciclo di vita di Amazon S3 in modo da ridurre i costi di archiviazione trasferendo i dati verso classi di archiviazione più convenienti man mano che la frequenza di accesso rallenta nel tempo. Visualizza la pagina dei prezzi di Amazon S3 per maggiori dettagli sui risparmi esatti e prendi nota dei costi aggiuntivi per le transizioni e l'uso delle classi di archiviazione S3 Glacier per sovraccarico di oggetti.
Puoi quindi continuare l'analisi in S3 Storage Lens per esplorare l'utilizzo delle classi di archiviazione a maggiore profondità, analizzando le distribuzioni delle classi di archiviazione per regioni o bucket specifici (o prefissi se hai effettuato l'upgrade al livello avanzato). È comune avere un sottoinsieme di bucket non configurati in modo ottimale, ed è qui che puoi trarre vantaggio dall'utilizzo di classi di archiviazione S3 diverse o aggiuntive. S3 Storage Lens è uno strumento efficace per individuare questi bucket prima di passare a ulteriori azioni.
Scopri i bucket che sono diventati freddi
Se hai bucket che sono diventati freddi, che significa che l'archiviazione in quei bucket non è più accessibile (o vi si accede raramente), spesso significa che il relativo carico di lavoro non è più in uso. Se hai abilitato i parametri avanzati di S3 Storage Lens, puoi accedere ai parametri delle attività per capire quanto sono caldi (o freddi) i tuoi bucket. Esistono parametri come le richieste GET e i byte di download che indicano la frequenza di accesso ai bucket ogni giorno. È possibile modificare l'andamento di questi dati per diversi mesi (la conservazione estesa dei dati è disponibile con il livello avanzato) per comprendere la coerenza dei modelli di accesso e individuare i bucket a cui non si accede più. Il parametro della percentuale di recupero, calcolata come Byte di download/Archiviazione totale, è un parametro utile per comprendere la percentuale di spazio di archiviazione in un bucket a cui si accede quotidianamente. Tieni presente che, nel caso in cui lo stesso oggetto viene scaricato più volte durante il giorno, i byte di download vengono duplicati.
Il modo migliore per visualizzare i bucket che si sono raffreddati è tramite il grafico di analisi delle bolle nella scheda Bucket del pannello di controllo. Il grafico di analisi delle bolle consente di tracciare i bucket su più dimensioni utilizzando tre parametri qualsiasi per rappresentare l'asse x, l'asse y e la dimensione della bolla.
3.6: passa alla scheda Bucket e scorri verso il basso fino al grafico Analisi delle bolle. Seleziona Archiviazione totale, % velocità di recupero e Dimensione media dell'oggetto.
Se analizzi in dettaglio i bucket con una velocità di recupero pari a zero (o prossima allo zero) e una dimensione di archiviazione relativa maggiore, puoi trovare bucket che si sono esauriti e il cui costo di archiviazione è probabilmente abbastanza elevato da giustificare l'intervento. Per questo esempio, esamineremo bucket10 e bucket1.
Da qui, puoi identificare i proprietari dei bucket della tua organizzazione per confermare lo scopo del carico di lavoro e scoprire se l'archiviazione è ancora necessaria. Se non è necessaria, puoi correggere i costi configurando le policy di scadenza del ciclo di vita o archiviando i dati nelle classi di archiviazione di Amazon S3 Glacier. E per evitare il problema dei bucket freddi in futuro, puoi applicare uno dei modelli di progettazione consigliati precedentemente menzionati in questa guida e trasferire automaticamente i tuoi dati utilizzando le policy del ciclo di vita di S3 oppure abilitare l'archiviazione automatica con S3 Intelligent-Tiering.
Fase 4: eliminazione
Per questo tutorial, se trovi valore nelle informazioni che stai recuperando, consigliamo di mantenere attivi i parametri avanzati e le raccomandazioni. Tieni presente che, se scegli questa opzione, continuerai a sostenere costi.
In alternativa, puoi decidere di smettere di sostenere costi disattivando i parametri avanzati e le raccomandazioni. Potrai comunque accedere ai parametri gratuiti nel tuo pannello di controllo.
4.2: scegli il pulsante Modifica in alto a destra nella pagina di configurazione del pannello di controllo.
4.3: scorri verso il basso fino al pannello di selezione dei parametri e scegli Parametri gratuiti. Quindi, seleziona Salva le modifiche.
Conclusioni
Congratulazioni! Hai imparato a creare, configurare e navigare in un pannello di controllo di Amazon S3 Storage Lens e hai esplorato tre casi d'uso per ottimizzare i costi di archiviazione degli oggetti.
Fasi successive
Per ulteriori informazioni su Amazon S3 Storage Lens, consulta la Guida per l'utente di Amazon S3 e visita la pagina del prodotto.