Grundlagen von Kafka - Kurs 42.000 Rubel. vom IBS Training Center, Schulung 24 Stunden, Datum: 4. Dezember 2023.
Verschiedenes / / November 29, 2023
Behandelten Themen:
1. Rückblick (Theorie – 1 Stunde)
Was ist Kafka?
Beispiele für den erfolgreichen und erfolglosen Einsatz von Kafka.
Kafka und die Datenbank: Gemeinsamkeiten und Unterschiede.
Kafka und Nachrichtenwarteschlange: Ähnlichkeiten und Unterschiede.
Kafka-Speicherarchitektur: Broker, Themen, Partitionen, Segmente, Replikate.
Kafka-Cluster-Architektur: Zookeeper, Partitionierung, Master- und Slave-Replikationsknoten, ISR.
Clients und APIs.
2. Aufbau eines Clusters (Übung – 1 Stunde)
Übung 2.1: Ausführen eines Kafka-Clusters mit Docker.
Zookeeper installieren.
Kafka-Broker installieren.
3. Anwendungsentwicklung in Java (Theorie – 2,5 Stunden, Praxis – 2,5 Stunden)
Kafka Producer API: Grundlagen.
Übung 3.1: Eine Nachricht senden.
Übung 3.2: Mehrere Nachrichten senden.
Übung 3.3: Senden mehrerer Nachrichten mit expliziter Partitionierung.
Übung 3.4: Nachrichten ohne Tasten senden.
Kafka Consumer API: Grundlagen, Verbrauchergruppen.
Übung 3.5: Ein Empfänger.
Übung 3.6: Mehrere Empfänger in einer Gruppe.
Zusätzliche Funktionen: Pakete, Wiederholungen, Idempotenz, Transaktionen, Neuausrichtung von Verbrauchergruppen.
Übung 3.7: Absender ohne Pakete und Wiederholungen.
Übung 3.8: Idempotenter Sender.
Übung 3.9: Transaktionaler Absender.
Übung 3.10: Senden und Empfangen in einer Transaktion.
Übung 3.11: Empfangen, Verarbeiten und Senden einer Transaktion.
4. Externer Zugang zum Kafka-Cluster (Theorie – 2 Stunden, Praxis – 2 Stunden)
Sicherheit: SSL, SASL, Kerberos.
REST-Proxy: Senden und Empfangen von Nachrichten im JSON-, Binär- und Avro-Format.
Übung 4.1: Zugriff über REST-Proxy.
Schema-Registrierung: Schema-Registrierung.
Übung 4.2: REST-Proxy mit Schema Registry verwenden.
5. Wartung und Überwachung (Theorie – 1 Stunde, Praxis – 1 Stunde)
Einrichten eines Clusters für verschiedene Zwecke.
Zookeeper: Konfiguration, Standalone- und Quorum-Modus, CLI.
Übung 5.1: Überwachung eines Kafka-Clusters mit Prometheus.
6. Mehrere Cluster (Theorie – 1 Stunde, Praxis – 1 Stunde)
Warum benötigen Sie möglicherweise mehrere Cluster in Kafka?
MirrorMakerAccess.
Übung 6.1: Verwenden von MirrorMaker zum Synchronisieren von Clustern.
Konfluenz-Replikator.
7. Kafka Connect (Theorie – 2 Stunden, Praxis – 2 Stunden)
Kafka Connect-Architektur.
Kafka Connect-Datensenken.
Übung 7.1: FileStream-Dateiempfänger.
Übung 7.2: JDBC-Empfänger.
Kafka Connect-Datenquellen.
Übung 7.3: FileStream-Quelle.
Übung 7.4: JDBC-Quelle.
8. Grundlagen von Kafka Streams (Theorie – 2 Stunden, Praxis – 2 Stunden)
Kafka Streams: DSL, API, StreamBuilder, Erstellung und Implementierung der Topologie.
Demo 8.1: Implementierung der Streams-Topologie.
Demo 8.2: Erstellen einer Streams-Anwendung mit StreamBuilder.
Kafka Streams-Gerät: Multithreading, mehrere Instanzen und Aufgaben.
Datenschemata in Kafka: Serialisierung zu JSON-Schemas, Avro-Schemas, Schema-Registrierung, Schema-Entwicklung.
Demo 8.3: Verwenden von JSON-Schemas.
Zustandsbehaftete Verarbeitung: Zustandsspeicher, Fehlertoleranz für Zustandsspeicher.
KTable: Datenaktualisierungsströme, Caching, Abrufgeschwindigkeit, Aggregation.
Fenster in Streams: Zeitstempel, Floating, Jumping, Sitzung.
Verbindung: Stream zu Stream, KTable zu KTable, Stream zu KTable.