Tarification Amazon Kinesis Data Streams

Heure de partition : la partition est l'unité de débit de base d'un flux de données Amazon Kinesis. C'est vous qui précisez le nombre de partitions nécessaires au sein de votre flux en fonction de vos besoins de débit. Chaque partition vous est facturée à l'heure.

Une partition fournit une capacité d'intégration de 1 Mo/seconde ou de 1 000 enregistrements/seconde.

Lorsque les consommateurs de données utilisent la distribution améliorée, chaque partition fournit jusqu'à 2 Mo/seconde de données en sortie pour chaque consommateur qui l'utilise.

Lorsque les consommateurs de données n'utilisent pas la distribution améliorée, chaque partition fournit jusqu'à 2 Mo/seconde de données en sortie, indépendamment du nombre de consommateurs traitant les données en parallèle d'une partition.

Unité de charge utile PUT (25 Ko) : un enregistrement correspond aux données que votre producteur de données ajoute à votre flux de données Amazon Kinesis. Une unité de charge utile PUT se compte en « fragment » de charge utile de 25 Ko qui comprend un enregistrement. Par exemple, un enregistrement de 5 Ko contient une unité de charge utile PUT, un enregistrement de 45 Ko en contient deux et un enregistrement de 1 Mo en contient 40. Une unité de charge utile PUT est facturée selon un tarif défini par tranche d'un million.

Distribution améliorée : cette option améliore le parallélisme de lecture en fournissant à chaque consommateur de données son propre débit de lecture par partition (jusqu'à 2 Mo/seconde). Lorsque les consommateurs utilisent la distribution améliorée, ils sont soumis à des frais horaires par heure de partition de consommateur et par Go de données extraites.

Conservation prolongée des données : Kinesis Data Streams stocke vos données pendant 24 heures par défaut. La conservation prolongée des données vous offre la possibilité de prolonger la durée de stockage de sept jours, au maximum. Une fois que vous lancez la conservation prolongée des données, des frais supplémentaires vous sont facturés pour chaque heure de partition contractée par votre flux de données.

Conservation à long terme des données : cette option vous offre la possibilité de stocker votre flux de données pendant 365 jours, au maximum. Vous êtes facturé sur la base des tarifs de conservation prolongée des données pour les sept premiers jours, puis sur la base d'un tarif de Go/mois pour les données stockées au-delà de sept jours et dans les limites de votre période de conservation spécifiée.

Extraction des données en conservation à long terme : vous êtes facturé selon un tarif au Go pour l'extraction des données stockées au-delà de sept jours si vous extrayez ces données à l'aide de l'API GetRecords. Vous n'êtes pas facturé pour l'extraction des données stockées pour la période de 24 heures par défaut ou pour la conservation prolongée des données dans une limite de sept jours. Vous n'êtes pas facturé pour l'extraction de données à long terme si le consommateur de distribution améliorée (API SubscribeToShard) est utilisé.

Supposons que vos producteurs de données ajoutent 100 enregistrements par seconde au total, chaque enregistrement faisant 35 Ko. Dans ce cas, le débit total de données en entrée est de 3,4 Mo/seconde (100 enregistrements /s * 35 Ko/enregistrement divisé par 1 024 = 3,4 Mo/s). Pour plus de simplicité, nous considérons que le débit et la taille des données de chaque enregistrement restent stables et constants tout au long de la journée. Notez qu'en pratique, nous pouvons ajuster de manière dynamique le débit du flux Amazon Kinesis à tout moment.

Nous calculons tout d'abord le nombre de partitions nécessaires pour que votre flux atteigne le débit voulu. Sachant qu'une partition offre une capacité de 1 Mo/s de données en entrée et prend en charge 1 000 enregistrements/s, quatre partitions offrent une capacité de 4 Mo/s de données en entrée et prennent en charge 4 000 enregistrements/s. Donc, un flux à quatre partitions satisfait notre besoin en débit de 3,4 Mo/s à 100 enregistrements/s.

Nous calculons ensuite nos coûts mensuels de Kinesis Data Streams en utilisant la tarification en vigueur dans la région de l'UE (Allemagne) :

Heure de partage  : un fragment coûte 0,018 € par heure, soit 0,432 € par jour (0,018 € * 24). Sachant que notre flux compte quatre partitions, il nous revient à 1,728 € par jour (0,432 € x 4). Pour un mois de 31 jours, le coût mensuel est de 53,568 € (1,728 € x 31) sur la base du tarif horaire de partition.

Unité de charge utile PUT (25 Ko) : sachant que notre enregistrement fait 35 Ko, chaque enregistrement contient deux unités de charge utile PUT. Vos producteurs de données ajoutent 100 enregistrements ou 200 unités de charge utile PUT par seconde au total. Cela représente 267 840 000 enregistrements ou 535 680 000 unités de charge utile PUT par mois. Comme un million d'unités de charge utile PUT coûte 0,017 €, le coût mensuel des unités de charge utile PUT est de 9,106 € (0,017 € * 535,68).

Nous pouvons éventuellement choisir d'accroître la période de conservation des données du flux, de 24 heures à sept jours (au maximum). Dans cet exemple, nous considérons que la conservation prolongée des données est activée pour le flux de données pour le mois entier. Vous pouvez aussi choisir de réserver l'utilisation de la conservation prolongée des données aux périodes où la perte de données est à éviter absolument, ce qui vous permet d'économiser sur les coûts de conservation prolongée.

Conservation prolongée des données (jusqu'à sept jours) : cette option coûte 0,024 € de plus par heure de partition. Sachant que notre flux induit 2 976 heures de partition par mois (4 partitions * 24 heures/jour * 31 jours/mois), notre coût mensuel de la conservation prolongée des données est de 71,424 € (0,024 € * 2 976)

En additionnant le coût horaire de partition et le coût d'unité de charge utile PUT, au total, Amazon Kinesis Data Streams nous revient à 2,02 € par jour, soit 62,67 € par mois. Pour 2,02 € par jour, vous disposez d'une infrastructure de données de streaming entièrement gérée qui vous permet d'ingérer en continu 4 Mo de données par seconde, soit 337 Go de données par jour, et ce, de manière fiable et élastique. En outre, vous pouvez faire accroître la période de conservation de 24 heures à sept jours au maximum pour un coût supplémentaire de 71,42 € par mois.

Vous avez également la possibilité de retenir les données plus de sept jours et d'utiliser la distribution améliorée.

Conservation à long terme des données (données de plus de sept jours) : supposons que souhaitez retenir votre flux de données pendant 30 jours. Vous serez soumis à la tarification de l'heure de partition pour la conservation prolongée des données de 24 heures à sept jours au maximum (voir les calculs plus haut) et à la tarification de la conservation à long terme des données au-delà de sept jours et jusqu'à 30 jours (période de 23 jours). Pour une conservation à long terme des données de 23 jours, le coût supplémentaire est de 0,024 USD/Go/mois pour le stockage et de 0,025 USD par Go pour les extractions de données si vous utilisez le consommateur par défaut (API GetRecords). Sur la base d'un débit de données en entrée de 3,4 Mo/s, vous allez cumuler 3,4 (débit en entrée) * 1 024 * 1 024 * 3 600 = 12 902 400 000 octets en une heure.

À la fin du mois, votre utilisation sera la suivante :
3 565 158 * 23 jours * 24 heures/jour = 7 122 124 800 000 octets/heure

Convertissons cela en Go/mois :
Extraction de données à long terme (données datant de plus de sept jours) 7 122 124 800 000 octets-heures/1 073 741 824 octets par Go = 6 633 Go par mois

Ainsi, le coût total de stockage pour une conservation de 23 jours sera de 6,633 * 0,024 € = 159,192 € par mois.

Extraction de données à long terme (données de plus de sept jours) : si vous extrayez toutes les données à long terme avec un seul consommateur en récupérant les enregistrements à l'aide de l'API GetRecords, vous supporterez uniquement des frais d'extraction pour les données stockées au-delà des sept premiers jours. Sachant que vous extrayez 6 623 Go de données, vous serez facturé 6 623 * 0,025 € = 165,825 € à la fin du mois. Les données à long terme extraites avec des consommateurs qui utilisent la distribution améliorée sont soumises aux tarifs d'extraction de données en distribution améliorée comme décrit ci-dessous.

Heures de partition de consommateur en distribution améliorée : la distribution améliorée coûte 0,018 € de plus par partition, et ce coût augmente en proportion du nombre de consommateurs de données. Comme notre flux induit 2 976 heures de partition par mois (4 partitions * 24 heures/jour * 31 jours/mois), chaque consommateur utilisant la distribution améliorée sur cette période induira un coût de 53,568 € (2 976 * 0,018 €). Deux consommateurs sur la même période induiraient un coût de 107,136 €.

Extractions de données en distribution améliorée : les données extraites d'un flux par un consommateur utilisant la distribution améliorée induisent des frais de 0,015 € par Go. Si, au cours d'un mois donné, un flux à deux partitions a ingéré 50 000 Mo de données et que deux consommateurs de données ont utilisé la distribution améliorée et extrait toutes ces données dans le mois, le total des données extraites est de 100 000 Mo (50 000 Mo * 2 consommateurs), soit 97,6 Go. Comme chaque Go revient à 0,015 €, le coût total de la distribution améliorée est de 1,464 € (97,6 * 0,015 €).