Dane są wszędzie wokół nas, czy to w postaci plików dziennika generowanych przez klientów korzystających z aplikacji mobilnych lub internetowych, zakupów handlowych, aktywności graczy i wielu innych źródeł. Mówiąc dokładniej, usługi AWS Kinesis i Kafka są również wykorzystywane do zarządzania i kontrolowania strumieni danych oraz przygotowywania przy użyciu języka SQL do przechowywania w usługach pamięci masowej AWS.
Ten przewodnik szczegółowo wyjaśni Kinesis i Kafkę.
Co to jest kineza?
Zarządzanie ogromnymi ilościami danych jest dość złożonym zadaniem, które wymaga ich zbierania, przechowywania i analizowania. Usługa AWS Kinesis służy do kontrolowania tych informacji o dużej przepustowości i pomagania użytkownikowi być na bieżąco z jego biznesem, organizacją i klientami:
Usługi Kinezy
Kinesis obejmuje następujące usługi:
Strumień kinezy : Strumień Kinesis zapewnia przetwarzanie strumieniowe o niskim opóźnieniu na dużą skalę.
Analiza kinezy : Służy do przechwytywania danych z różnych zasobów i stosowania języka SQL w celu przeprowadzania analiz strumieni w czasie rzeczywistym:
Wąż strażacki Kinesis : Służy do spójnego przygotowywania i ładowania strumieni do usług AWS, takich jak S3, Redshift, ElasticSearch itp.:
Co to jest Kafka?
Kafka to rozproszona platforma przesyłania strumieniowego wiadomości wykorzystująca mechanizm publikowania i subskrypcji do strumieniowego przesyłania danych. Amazona „ Zarządzane przesyłanie strumieniowe dla Apache Kafka ” (MSK) to w pełni zarządzana usługa służąca do tworzenia potoków przesyłania strumieniowego w czasie rzeczywistym. Jednak w przypadku nieprzewidywalnych i nieznanych obciążeń platforma wprowadza bezserwerową usługę Amazon MSK:
Podstawowe koncepcje Kafki
Niektóre z podstawowych koncepcji Kafki wymieniono poniżej:
Kolejka : Zapewnia mechanizm wysyłania i odbierania komunikatów asynchronicznych oraz oferuje komunikację między usługami:
PubSub : Jest to asynchroniczna usługa przesyłania wiadomości, co oznacza, że pomaga użytkownikowi wysyłać, odbierać i filtrować strumienie danych:
Czy Kinesis to to samo co Kafka?
Apache Kafka to otwarte rozwiązanie do przesyłania wiadomości PubSub, a Kinesis to zarządzana usługa AWS wzorowana na Kafce. MSK przechowuje kluczowe wartości danych (Tematy) w partycjach, a Kinesis przechowuje rekordy danych w Odłamkach. Zarówno Kinesis, jak i Kafka mają zapewniać prawie te same usługi, ale różnica polega na koncepcji fan-outu.
Wniosek
Podsumowując, usługi AWS Kinesis i Kafka są przeznaczone do wykonywania takich czynności, jak oferowanie obciążeń o dużej przepustowości i małych opóźnieniach. Kinesis służy do zarządzania dużymi danymi za pomocą przesyłania strumieniowego i przechowywania danych w usługach pamięci masowej AWS. Amazon MSK to usługa przesyłania strumieniowego wiadomości PubSub, która również wykorzystuje mechanizm kolejkowania.