Prezzi del flusso di dati Amazon Kinesis

Ora di partizione: Una partizione è l'unità di base della velocità effettiva di un flusso di dati di Amazon Kinesis. Potrai specificare il numero di partizioni di cui hai bisogno per il tuo flusso in base alle esigenze di velocità effettiva. Ogni partizione viene fatturata secondo una tariffa oraria.

Una partizione fornisce una capacità di importazione pari a 1 MB/s o 1.000 registri/secondo.

Quando i consumatori di dati scelgono di utilizzare il fan-out esteso, ogni partizione fornisce fino a 2MB/ secondo di dati in uscita per ogni consumatore che utilizza il fan-out.

Quando gli utenti di dati non usano il fan-out avanzato, ogni partizione fornisce fino a 2MB/ secondo di uscita dati a prescindere dall'esecuzione dei dati dei consumatori in parallelo con la partizione.

Unità di payload PUT (25 KB): Un registro corrisponde ai dati che il produttore di dati aggiunge al tuo flusso dei dati di Amazon Kinesis. Si conta un'unità di payload PUT per ogni "blocco" da 25 KB che contiene un registro. Ad esempio, un registro da 5 KB contiene 1 unità di payload PUT, un registro da 45 KB contiene 2 unità di payload PUT, un registro da 1 MB contiene 40 unità di payload PUT. L'unità di payload PUT viene addebitata una tariffa per milione di unità di payload PUT.

Fan-out avanzato: Il fan-out avanzato migliora la lettura parallela fornendo a ogni consumatore i dati della sua velocità effettiva di lettura per ogni partizione (fino a 2MB/secondo). Quando gli utenti usano il fan-out avanzato, incorrono in tariffe orarie per ogni ora di partizione-consumatore e per GB di dati raccolti.

Conservazione estesa dei dati: Kinesis Data Streams archivia i dati per 24 ore per impostazione predefinita. La conservazione estesa dei dati offre l'opzione di estendere l'archiviazione fino a sette giorni. Quando la conservazione estesa dei dati è abilitata, viene addebitata una tariffa aggiuntiva per tutte le partizioni per ora del flusso di dati.

Conservazione dei dati a lungo termine: La conservazione dei dati a lungo termine consente di archiviare il flusso di dati fino a un massimo di 365 giorni. Il costo per la conservazione estesa dei dati viene addebitato per i primi sette giorni, quindi viene addebitato un costo per GB/mese dei dati archiviati per più di sette giorni fino al periodo di conservazione specificato.

Recupero dei dati archiviati a lungo termine: Per più di sette giorni viene addebitato un costo per GB se si esegue il recupero con GetRecords API. Non viene addebitato alcun costo per il recupero di dati archiviati per il periodo predefinito di 24 ore o per il periodo esteso di conservazione dei dati fino a sette giorni. Non viene addebitato alcun costo per il recupero di dati a lungo termine se si utilizza un utente con fan-out esteso (API SubscribeToShard).

In questo scenario i nostri produttori di dati accumulano 100 registri da 35 KB al secondo in forma aggregata. In questo caso, la velocità di input dei dati totali sarà di 3.4 MB/s (100 registri/s * 35 KB/registro diviso per 1.024 = 3.4 MB/s). Per semplicità, poniamo che la velocità effettiva e le dimensioni dei dati di ciascun registro siano stabili e costanti per tutto il giorno. Ricorda che è possibile regolare in modo dinamico la velocità effettiva del flusso di Amazon Kinesis in qualsiasi momento.

Prima calcoliamo il numero di partizioni necessarie al flusso per raggiungere la velocità effettiva desiderata. Una partizione fornisce una capacità di 1 MB/s in entrata e supporta 1.000 registri/s, quattro partizioni forniscono una capacità di 4 MB/s in entrata e supportano 4.000 registri/s. Perciò un flusso con quattro partizioni soddisfa la velocità effettiva richiesta di 3.4 MB/s a 100 registri/s.

Calcoliamo quindi i costi mensili di Kinesis Data Streams utilizzando i prezzi per la regione Stati Uniti orientali:

Partizione per ora: 1 partizione costa 0,015 USD all'ora o 0,36 USD al giorno (0,015 USD * 24 ore). Il flusso ha quattro partizioni, perciò costerà 1,44 USD al giorno (0,36 USD * 4). In un mese con 31 giorni, il costo delle partizioni per ora è di 44,64 USD (1,44 USD * 31).

Unità di payload PUT (25 KB): le dimensioni del registro sono 35 KB, quindi ogni registro contiene due unità di payload PUT. I produttori di dati inoltrano 100 registri o 200 unità di payload PUT al secondo in forma aggregata. In totale sono 267.840.000 registri o 535.680.000 unità di payload PUT al mese. Poiché un milione di unità di payload PUT costa 0.014 USD, il costo mensile per le unità di payload PUT è di 7,499 USD (0,014 USD * 535,68).

È possibile scegliere di aumentare il periodo di conservazione dei dati del flusso per un periodo compreso tra 24 ore e sette giorni. In questo esempio, assumiamo che il flusso di dati abbia abilitato la conservazione estesa per tutto il mese. In alternativa, puoi scegliere la conservazione estesa dei dati solo nei momenti in cui è fondamentale prevenire la perdita dei dati, risparmiando così sul costo della conservazione estesa.

Conservazione estesa dei dati (fino a sette giorni): la conservazione estesa costa altri 0,020 USD per partizione per ora. Poiché il flusso di dati genera 2.976 partizioni per ora al mese (4 partizioni * 24 ore/giorno * 31 giorni/mese), la conservazione estesa dei dati costerà ogni mese 59,52 USD (0,020 USD * 2.976)

Sommando i costi dell'ora di partizione e quello dell'unita di payload PUT , i costi totali per Amazon Kinesis Data Streams ammonta a 1,68 USD al giorno, quindi 52,14 USD al mese. Con soli 1,68 USD al giorno, abbiamo a disposizione un'infrastruttura completamente gestita di dati in streaming, che consente di importare 4 MB di dati al secondo, ovvero 337 GB al giorno, in modo affidabile ed elastico. Inoltre, possiamo aumentare il periodo di conservazione di dati per un periodo compreso tra 24 ore e sette giorni a soli 59,52 USD al mese.

È anche possibile allungare la conservazione di dati per più di sette giorni e utilizzare il fan-out esteso. 

Conservazione dei dati a lungo termine (dati più vecchi di sette giorni): supponiamo che tu voglia conservare il flusso di dati per 30 giorni. Ti verrà addebitato un costo partizione-ora per la conservazione estesa dei dati dalle 24 ore fino a sette giorni (vedi sopra per i calcoli) e un costo per la conservazione di dati a lungo termine oltre i sette giorni fino a 30 giorni (un periodo di 23 giorni). Per i prezzi della conservazione a lungo termine di 23 giorni, il costo è un ulteriore 0,023 USD per GB/mese per l'archiviazione e 0,021 USD per GB per recuperi dati se si utilizza l'utente predefinito (API GetRecords). In base al tasso di immissione dati di 3,4 MB/s, l'accumulo sarà di 3,4 (velocità di input) * 1.024 * 1.024 * 3.600 = 12.902,400,000 byte in un'ora.

Alla fine del mese il consumo sarebbe il seguente:

3.565.158 * 23 giorni * 24 ore/giorno = 7.122.124.800.000 byte/ore

Convertiamo questa cifra in GB/mese:
7.122,124,800,000 byte-ore / 1.073,741,824 byte per GB = 6.633 GB al mese

I costi totali di archiviazione per la conservazione di 23 giorni sono = 6,633* 0,023 USD = 152,56 USD al mese.

Recupero di dati a lungo termine (dati più vecchi di sette giorni): se recuperi dati a lungo termine utilizzando un unico consumatore che utilizza l'API GetRecords per recuperare i registri, ti sarà addebitato un costo di recupero solo per i dati archiviati oltre i primi sette giorni. Poiché stai recuperando 6.623 GB/s di dati, ti verranno addebitati 6623 USD * 0,021 USD = 139,08 USD a fine mese. Per i dati a lungo termine recuperati utilizzando il fan-out avanzato verrà addebitata la tariffa di recupero di dati con fan-out avanzato descritta sopra.

Ore di utilizzo di partizioni per consumatore con fan-out avanzato: il fan-out avanzato ha un costo extra di 0,015 USD per partizione, ed è un costo aggiuntivo per consumatore dati. Siccome il nostro flusso prevede 2,976 ore di partizione al mese (4 partizioni *24 ore/giorno *31 giorni/mese), ogni utente che usa il fan-out avanzato in questo periodo dovrà pagare un costo di 44.64 USD (2.976 x 0.015 USD). Due consumatori nello stesso periodo avranno un costo di 89.28 USD.

Recuperi di dati con fan-out avanzato: I dati recuperati da un flusso da un consumatore con fan-out avanzato incorre in un addebito di 0.013 USD per GB. Se in un mese, un flusso di due partizioni importa 50.000 MB di dati e due consumatori di dati usano il fan-out avanzato e raccolgono tutti i dati durante il mese, il totale dei dati sarà di 100.000 MB (50.000 MB x 2 consumatori) o 97,6 GB. Dal momento che ogni GB ha un costo di 0,013 USD, il costo totale per il fan-out avanzato è di 1,26 USD (97,6 * 0,013 USD).