Prezzi del flusso di dati Amazon Kinesis

Ora di shard: uno shard è l'unità di base del throughput di un flusso di dati di Amazon Kinesis. Potrai specificare il numero di shard di cui hai bisogno per il tuo flusso in base alle esigenze di throughput. Ogni shard viene fatturato secondo una tariffa oraria.

Uno shard fornisce una capacità di importazione pari a 1 MB/s o 1.000 record/secondo.

Quando i consumatori di dati scelgono di utilizzare il fanout avanzato, ogni shard fornisce fino a 2 MB/ secondo di dati in uscita per ogni consumatore che utilizza il fanout.

Quando gli utenti di dati non usano il fanout avanzato, ogni shard fornisce fino a 2 MB/secondo di uscita dati, a prescindere dall'esecuzione dei dati dei consumatori in parallelo da uno shard.

Unità di payload PUT (25 KB): un record corrisponde ai dati che il produttore di dati aggiunge al tuo flusso dei dati di Amazon Kinesis. Si conta un'unità di payload PUT per ogni “blocco” da 25 KB che contiene un record. Ad esempio, un record da 5 KB contiene un'unità di payload PUT, un record da 45 KB contiene due unità di payload PUT, un record da un MB contiene 40 unità di payload PUT. L'unità di payload PUT viene addebitata una tariffa per milione di unità di payload PUT.

Fanout avanzato: il fanout avanzato migliora la lettura parallela fornendo a ciascun consumatore di dati il proprio throughput di lettura per shard (fino a 2 MB/secondo). Quando gli utenti usano il fanout avanzato, incorrono in tariffe orarie per ogni ora di shard-consumatore e per i GB di dati raccolti.

Conservazione dei dati estesa: flusso di dati Kinesis archivia i dati per 24 ore per impostazione predefinita. La conservazione dei dati estesa offre l'opzione di estendere l'archiviazione fino a sette giorni. Quando la conservazione dei dati estesa è abilitata, viene addebitata una tariffa aggiuntiva per ogni ora di shard generata dal flusso di dati.

Conservazione dei dati a lungo termine: la conservazione dei dati a lungo termine consente di archiviare il flusso di dati fino a un massimo di 365 giorni. Il costo per la conservazione dei dati estesa viene addebitato per i primi sette giorni, quindi viene addebitato un costo per GB/mese dei dati archiviati per più di sette giorni fino al periodo di conservazione specificato.

Recupero dei dati archiviati a lungo termine: per più di sette giorni viene addebitato un costo per GB se si esegue il recupero con GetRecords API. Non viene addebitato alcun costo per il recupero di dati archiviati per il periodo predefinito di 24 ore o per il periodo esteso di conservazione dei dati fino a sette giorni. Non viene addebitato alcun costo per il recupero di dati a lungo termine se si utilizza un utente con fanout avanzato (API SubscribeToShard).

In questo scenario i nostri produttori di dati accumulano 100 record da 35 KB al secondo in forma aggregata. In questo caso, la velocità di input dei dati totali sarà di 3,4 MB/s (100 record/s x 35 KB/record diviso per 1.024 = 3,4 MB/s). Per semplicità, poniamo che la velocità effettiva e le dimensioni dei dati di ciascun record siano stabili e costanti per tutto il giorno. Ricorda che è possibile regolare in modo dinamico la velocità effettiva del flusso di Amazon Kinesis in qualsiasi momento.

Prima calcoliamo il numero di shard necessari al flusso per raggiungere il throughput desiderato. Uno shard fornisce una capacità di 1 MB/s in entrata e supporta 1.000 record/s, quattro shard forniscono una capacità di 4 MB/s in entrata e supportano 4.000 record/s. Perciò un flusso con quattro shard soddisfa il throughput richiesto di 3,4 MB/s a 100 record/s.

Calcoliamo quindi i costi mensili di flusso di dati Kinesis utilizzando i prezzi per la regione UE (Germania):

Shard per ora: uno shard costa 0,018 € all'ora o 0,432 € al giorno (0,018 € x 24). Il flusso ha quattro shard, perciò costerà 1,728 € al giorno (0,432 € x 4). In un mese con 31 giorni, il costo degli shard all'ora è di 53,568 € (1,728 € x 31).

Unità di payload PUT (25 KB): le dimensioni del record sono 35 KB, quindi ogni record contiene due unità di payload PUT. I produttori di dati inoltrano 100 record o 200 unità di payload PUT al secondo in forma aggregata. In totale sono 267.840.000 record o 535.680.000 unità di payload PUT al mese. Poiché un milione di unità di payload PUT costa 0,017 €, il costo mensile per le unità di payload PUT è di 9,106 € (0,017 € x 535,68).

È possibile scegliere di aumentare il periodo di conservazione dei dati del flusso per un periodo compreso tra 24 ore e sette giorni. In questo esempio, assumiamo che il flusso di dati abbia abilitato la conservazione estesa per tutto il mese. In alternativa, puoi scegliere la conservazione dei dati estesa solo nei momenti in cui è fondamentale prevenire la perdita dei dati, risparmiando così sul costo della conservazione estesa.

Conservazione dei dati estesa (fino a sette giorni): la conservazione estesa costa altri 0,024 € per shard all'ora. Poiché il flusso di dati genera 2.976 shard per ora al mese (4 shard x 24 ore/giorno x 31 giorni/mese), la conservazione dei dati estesa costerà ogni mese 71,424 € (0,024 € x 2.976)

Sommando i costi dell'ora di shard e dell'unita di payload PUT, i costi totali per flusso di dati Amazon Kinesis ammontano a 2,02 € al giorno, quindi 62,67 € al mese. Con soli 2,02 € al giorno, abbiamo a disposizione un'infrastruttura completamente gestita di dati in streaming, che consente di importare 4 MB di dati al secondo, ovvero 337 GB al giorno, in modo affidabile ed elastico. Inoltre, possiamo aumentare il periodo di conservazione di dati per un periodo compreso tra 24 ore e sette giorni a soli 71,42 € al mese.

È anche possibile allungare la conservazione di dati per più di sette giorni e utilizzare il fanout avanzato.

Conservazione dei dati a lungo termine (dati più vecchi di sette giorni): supponiamo che tu voglia conservare il flusso di dati per 30 giorni. Ti verrà addebitato un costo shard/ora per la conservazione dei dati estesa dalle 24 ore fino a sette giorni (vedi sopra per i calcoli) e un costo per la conservazione di dati a lungo termine oltre i sette giorni fino a 30 giorni (un periodo di 23 giorni). Per i prezzi della conservazione a lungo termine di 23 giorni, il costo è un ulteriore 0,024 € per GB/mese per l'archiviazione e 0,025 € per GB per recuperi dati se si utilizza l'utente predefinito (API GetRecords). In base al tasso di immissione dati di 3,4 MB/s, l'accumulo sarà di 3,4 (velocità di input) x 1.024 x 1.024 x 3.600 = 12.902.400.000 byte in un'ora.

Alla fine del mese il consumo sarebbe il seguente:
3.565.158 x 23 giorni x 24 ore/giorno = 7.122.124.800.000 byte/ore

Convertiamo questa cifra in GB/mese:
Recupero dati a lungo termine (dati più vecchi di sette giorni) 7.122.124.800.000 byte/ore / 1.073.741.824 byte per GB = 6.633 GB al mese

I costi totali di archiviazione per la conservazione di 23 giorni sono = 6.633 x 0,024 € = 159,192 € al mese.

Recupero di dati a lungo termine (dati più vecchi di sette giorni): se recuperi dati a lungo termine utilizzando un unico consumatore che utilizza l'API GetRecords per recuperare i record, ti sarà addebitato un costo di recupero solo per i dati archiviati oltre i primi sette giorni. Poiché stai recuperando 6.623 GB di dati, ti verranno addebitati 6.623 x 0,025 € = 165,825 € a fine mese. Per i dati a lungo termine recuperati utilizzando il fanout avanzato verrà addebitata la tariffa di recupero di dati con fanout avanzato descritta di seguito.

Ore di utilizzo di shard per consumatore con fanout avanzato: il fanout avanzato ha un costo extra di 0,018 € per shard, ed è un costo aggiuntivo per consumatore dati. Siccome il nostro flusso prevede 2,976 ore di shard al mese (4 shard x 24 ore/giorno x 31 giorni/mese), ogni utente che usa il fanout avanzato in questo periodo dovrà pagare un costo di 53,568 € (2.976 x 0.018 €). Due consumatori nello stesso periodo avranno un costo di 107,136 €.

Recuperi di dati con fanout avanzato: i dati recuperati da un flusso da un consumatore con fanout avanzato prevedono un addebito di 0,015 € per GB. Se in un mese, un flusso di due shard importa 50.000 MB di dati e due consumatori di dati usano il fanout avanzato e raccolgono tutti i dati durante il mese, il totale dei dati sarà di 100.000 MB (50.000 MB x 2 consumatori) o 97,6 GB. Dal momento che ogni GB ha un costo di 0,015 €, il costo totale per il fanout avanzato è di 1,464 € (97,6 x 0,015 €).