Amazon Kinesis Data Streams – Preise

Shard-Stunde: Ein Shard ist die Basiseinheit für den Durchsatz eines Amazon-Kinesis-Datenstroms. Sie legen auf Basis Ihrer Durchsatzanforderungen die Anzahl der in Ihrem Stream benötigten Shards fest. Jeder Shard wird Ihnen mit einem Stundensatz in Rechnung gestellt.

Ein Shard bietet eine Erfassungskapazität von 1 MB/Sek. oder 1 000 Datensätze/Sek.

Wenn sich Datenkonsumenten für ein erweitertes Rundsenden entscheiden, bietet jeder Shard eine Datenausgabe von bis zu 2 MB/Sek. für jeden Kunden, der ein erweitertes Rundsenden verwendet.

Wenn Datenkonsumenten kein erweitertes Rundsenden verwenden, bietet jeder Shard eine Datenausgabe von bis zu 2 MB/Sek., unabhängig von der Anzahl der Verbraucher, die Daten parallel von einem Shard verarbeiten.

PUT Nutzlast-Einheit (25 KB) Ein Datensatz umfasst die Daten, die Ihr Datenproduzent Ihrem Amazon-Kinesis-Datenstrom hinzufügt. Eine PUT-Nutzlasteinheit wird in Nutzlasten von je 25 KB gezählt, die einen Datensatz ausmachen. Ein Datensatz mit 5 KB enthält beispielsweise eine PUT-Nutzlasteinheit, ein Datensatz mit 45 KB zwei PUT-Nutzlasteinheiten und ein Datensatz mit 1 MB enthält 40 PUT-Nutzlasteinheiten. Eine PUT-Nutzlasteinheit wird mit einer PUT-Nutzlasteinheitenrate pro Million in Rechnung gestellt.

Erweitertes Rundsenden: Erweitertes Rundsenden verbessert die Leseparallelität, indem jedem Datenkonsumenten ein eigener Lesedurchsatz pro Shard von bis zu 2 MB/Sek. zur Verfügung gestellt wird. Wenn Verbraucher ein erweitertes Rundsenden nutzen, fallen stündliche Gebühren pro Kunden-Shard-Stunde und pro GB abgerufener Daten an.

Erweiterte Datenaufbewahrung Standardmäßig werden Ihre Daten von Kinesis Data Streams 24 Stunden lang gespeichert. Die erweiterte Datenaufbewahrung ermöglicht es Ihnen, die erweiterte Speicherung bis zu sieben Tagen zu verlängern. Wenn Sie die verlängerte Datenaufbewahrung aktivieren, werden Ihnen für jede durch Ihren Datenstrom anfallende Shard-Stunde zusätzliche Gebühren berechnet.

Langfristige DatenaufbewahrungDie langfristige Datenaufbewahrung ermöglicht Ihnen, Ihren Datenstrom bis zu 365 Tage lang zu speichern. Ihnen werden erweiterte Datenaufbewahrungsraten für die ersten 7 Tage und anschließend eine GB-Monatsrate für Daten berechnet, die über 7 Tage hinaus bis zu Ihrer angegebenen Aufbewahrungsdauer gespeichert sind.

Abrufen von langfristig aufbewahrten Daten:Für das Abrufen von Daten, die länger als sieben Tage gespeichert sind, wird Ihnen eine Gebühr pro GB berechnet, wenn Sie Daten mithilfe der GetRecords-API abrufen. Für das Abrufen von Daten, die für den standardmäßigen Zeitraum von 24 Stunden, oder für eine erweiterte Datenaufbewahrung von bis zu 7 Tagen gespeichert wurden, wird keine Gebühr erhoben. Wenn der erweiterte Rundsende-Benutzer (SubscribeToShard API) verwendet wird, wird Ihnen kein langfristiger Datenabruf berechnet.

Angenommen, unsere Datenproduzenten fügen insgesamt 100 Datensätze pro Sekunde hinzu, wobei jeder Datensatz 35 KB groß ist. In diesem Fall beträgt die Gesamtdateneingaberate 3,4 MB/Sek. (100 Datensätze/Sek * 35 KB/Datensatz geteilt durch 1 024 = 3,4 MB/Sek). Zur Vereinfachung wird angenommen, dass der Durchsatz und die Datengröße jedes Datensatzes während des ganzen Tages stabil und konstant sind. Beachten Sie bitte, dass wir den Durchsatz des Amazon-Kinesis-Streams jederzeit dynamisch anpassen können.

Wir berechnen zuerst die Anzahl der Shards, die erforderlich sind, um den gewünschten Durchsatz für Ihren Stream zu erreichen. Da ein Shard eine Kapazität von 1 MB/Sek Dateneingabe bietet und 1 000 Datensätze/Sek unterstützt, bieten vier Shards eine Kapazität von 4 MB/Sek Dateneingabe und unterstützen 4 000 Datensätze/Sek. Ein Stream mit vier Shards erfüllt also unseren erforderlichen Durchsatz von 3,4 MB/Sek bei 100 Datensätzen/Sek.

Wir berechnen dann unsere monatlichen Kinesis-Data-Streams-Kosten anhand der Kinesis-Data-Streams-Preise für die Region EU (Deutschland):

Shard-Stunde: Ein Shard kostet 0,018 USD pro Stunde oder 0,432 USD pro Tag (0,018 USD * 24). Unser Stream verfügt über vier Shards, sodass Kosten von 1,728 € pro Tag entstehen (0,432 € x 4). Für einen Monat mit 31 Tagen betragen unsere monatlichen Kosten für Shard-Stunden 53,568 € (1,728 € x 31).

PUT-Nutzlasteinheit (25 KB): Da unser Datensatz eine Größe von 35 KB hat, enthält jeder Datensatz zwei PUT-Nutzlasteinheiten. Unsere Datenproduzenten leiten insgesamt 100 Datensätze oder 200 PUT-Nutzlasteinheiten pro Sekunde ein. Dies entspricht 267 840 000 Datensätzen bzw. 535 680 000 PUT-Nutzlasteinheiten pro Monat. Da eine Million PUT-Nutzlasteinheiten 0,017 € kosten, betragen unsere monatlichen Kosten für die PUT-Nutzlasteinheiten 9,106 € (0,017 € x 535,68).

Optional können wir auswählen, die Datenaufbewahrungszeit unseres Streams von 24 Stunden auf maximal 7 Tage verlängern. In diesem Beispiel nehmen wir an, dass für unseren Datenstrom die verlängerte Datenaufbewahrung während des gesamten Monats aktiviert ist. Alternativ können sie eine erweiterte Datenaufbewahrung nur wählen, wenn es für die Vermeidung von Datenvelust ist, welches Ihnen Kosten von erweiterter Aufbewahrung einspart.

Verlängerte Datenaufbewahrung (bis zu sieben Tage): Verlängerte Datenaufbewahrung kostet zusätzlich 0,024 € pro Shard-Stunde. Da für unseren Stream 2 976 Shard-Stunden pro Monat anfallen (4 Shards * 24 Stunden/Tag * 31 Tage/Monat), betragen unsere monatlichen Kosten für verlängerte Datenaufbewahrung 71,424 € (0,024 € * 2 976)

Zuzüglich der Kosten für Shard-Stunden und PUT-Nutzlasteinheiten betragen unsere Gesamtkosten für Amazon Kinesis Data Streams 2,02 € pro Tag oder 62,67 € pro Monat. Für 2,02 € pro Tag erhalten wir eine vollständig verwaltete Infrastruktur für Streaming-Daten, die uns in die Lage versetzt, dauerhaft 4 MB Daten pro Sekunde oder 337 GB Daten pro Tag auf zuverlässige und elastische Art zu verarbeiten. Außerdem können Sie die Datenaufbewahrungszeit von 24 Stunden auf bis zu sieben Tage für zusätzliche 71,42 € pro Monat verlängern.

Sie können Daten auch optional länger als sieben Tage aufbewahren und erweiterter Rundsende-Benutzer verwenden.

Langfristige Datenaufbewahrung (Daten älter als sieben Tage): Nehmen wir an, Sie möchten Ihren Datenstrom 30 Tage lang aufbewahren. Sie erhalten erweiterte Preise für Shard-Stunden und die Datenaufbewahrung von 24 Stunden bis hin zu sieben Tagen (Berechnungen siehe oben) sowie einen langfristigen Preis für die Datenaufbewahrung über sieben Tage hinaus bis hin zu 30 Tagen (ein Zeitraum von 23 Tagen). Bei der Berechnung einer langfristigen Aufbewahrung von 23 Tagen kostet die Speicherung zusätzlich 0,024 €/GB-Monat und beim Abrufen von Daten 0,025 € pro GB, wenn Sie den Standard-Benutzer (GetRecords API) verwenden. Basierend auf einer Dateneingaberate von 3,4 MB/Sek werden Sie 3,4 (Eingaberate) * 1 024 * 1 024 * 3 600 = 12 902 400 000 Bytes in einer Stunde akkumulieren.

Am Ende des Monats haben Sie dann den folgenden Verbrauch:
3 565 158 * 23 Tage * 24 Stunden/Tag = 7 122 124 800 000 Byte/Stunde

Umgerechnet in GB pro Monat ergibt dies:
Langfristige Datenabfrage (Daten, die älter als sieben Tage sind) 7 122 124 800 000 Byte-Stunden / 1 073 741 824 Bytes pro GB = 6 633 GB pro Monat

Die gesamten Speicherkosten für eine 23-tägige Aufbewahrung betragen also = 6 633 * 0,024 € = 159,192 € pro Monat.

Langfristige Datenabrufe (Daten älter als 7 Tage): Wenn Sie alle Langzeitdaten mit einem einzigen Benutzer abrufen, der die GetRecords-API zum Abrufen von Datensätzen verwendet, fallen nur für die Daten, die nach den ersten 7 Tagen gespeichert wurden, Abrufgebühren an. Da Sie 6 623 GB Daten abrufen, werden Ihnen am Monatsende 6 623 * 0,025 =165,825 € berechnet. Langzeitdaten, die mit verbesserten Rundsende-Benutzern abgerufen werden, weisen eine verbesserte Rundsende-Datenabrufrate auf, wie nachfolgend beschrieben.

Kunden-Shard-Stunde mit erweitertem Rundsenden: Das erweiterte Rundsenden kostet zusätzlich 0,018 € pro Shard, und diese Kosten sind pro Datenkonsument. Da unser Stream 2 976 Shard-Stunden pro Monat (4 Shards * 24 Stunden/Tag * 31 Tage/Monat) umfasst, entstehen für jeden Verbraucher, der während dieses Zeitraums ein erweitertes Rundsenden nutzt, Kosten von 53,568 € (2 976 x 0,018 €). Zwei Verbraucher würden im gleichen Zeitraum Kosten in Höhe von 107,136 € verursachen.

Datenabruf mit erweitertem Rundsenden: Daten, die von einem Verbraucher über ein erweitertes Rundsenden aus einem Stream abgerufen werden, werden mit 0,015 € pro GB berechnet. Wenn im Laufe eines Monats ein Zwei-Shard-Stream 50 000 MB Daten aufnimmt und zwei Datenkonsumenten ein erweitertes Rundsenden nutzen und alle diese Daten im Laufe des Monats abgerufen: 100 000 MB (50 000 MB * 2 Kunsumenten) oder 97,6 GB. Da jedes GB 0,015 € kostet, betragen die gesamten Kosten für erweitertes Rundsenden 1,464 € (97,6 * 0,015 €).