Βασικά στοιχεία του Kafka - μάθημα 42.000 τρίψτε. από το IBS Training Center, εκπαίδευση 24 ώρες, Ημερομηνία: 4 Δεκεμβρίου 2023.

Θέματα που καλύπτονται:
1. Κριτική (θεωρία – 1 ώρα)
Τι είναι ο Κάφκα.
Παραδείγματα επιτυχημένης και ανεπιτυχούς χρήσης του Κάφκα.
Ο Κάφκα και η βάση δεδομένων: ομοιότητες και διαφορές.
Κάφκα και ουρά μηνυμάτων: ομοιότητες και διαφορές.
Αρχιτεκτονική αποθήκευσης Kafka: Brokers, Topics, Partitions, Segments, Replicas.
Αρχιτεκτονική συμπλέγματος Kafka: Zookeeper, partitioning, master and slave replication nodes, ISR.
Πελάτες και API.
2. Δημιουργία συμπλέγματος (εξάσκηση – 1 ώρα)
Εξάσκηση 2.1: Εκτέλεση ενός συμπλέγματος Kafka χρησιμοποιώντας το Docker.
Εγκατάσταση Zookeeper.
Εγκατάσταση μεσιτών Kafka.
3. Ανάπτυξη εφαρμογών σε Java (θεωρία – 2,5 ώρες, πρακτική – 2,5 ώρες)
Kafka Producer API: Basics.
Εξάσκηση 3.1: Αποστολή ενός μηνύματος.
Εξάσκηση 3.2: Αποστολή πολλαπλών μηνυμάτων.
Εξάσκηση 3.3: Αποστολή πολλαπλών μηνυμάτων με ρητή κατάτμηση.
Εξάσκηση 3.4: Αποστολή μηνυμάτων χωρίς κλειδιά.
Kafka Consumer API: βασικά, ομάδες καταναλωτών.
Εξάσκηση 3.5: Ένας παραλήπτης.
Πρακτική 3.6: Πολλαπλοί παραλήπτες σε μία ομάδα.

Πρόσθετα χαρακτηριστικά: Πακέτα, Επαναλήψεις, Ανικανότητα, Συναλλαγές, Επανεξισορρόπηση Ομάδων Καταναλωτών.
Εξάσκηση 3.7: Αποστολέας χωρίς πακέτα και επαναλήψεις.
Εξάσκηση 3.8: Ανίκανος αποστολέας.
Πρακτική 3.9: Συναλλακτικός Αποστολέας.
Πρακτική 3.10: Αποστολή και λήψη σε μια συναλλαγή.
Πρακτική 3.11: Λήψη-επεξεργασία-αποστολή σε συναλλαγή.
4. Εξωτερική πρόσβαση στο σύμπλεγμα Κάφκα (θεωρία – 2 ώρες, πρακτική – 2 ώρες)
Ασφάλεια: SSL, SASL, Kerberos.
REST Proxy: αποστολή και λήψη μηνυμάτων σε μορφές JSON, binary και Avro.
Πρακτική 4.1: Πρόσβαση μέσω διακομιστή μεσολάβησης REST.
Μητρώο σχήματος: μητρώο σχήματος.
Εξάσκηση 4.2: Χρήση διακομιστή μεσολάβησης REST με το μητρώο σχήματος.
5. Συντήρηση και παρακολούθηση (θεωρία – 1 ώρα, πρακτική – 1 ώρα)
Δημιουργία συμπλέγματος για διαφορετικούς σκοπούς.
Zookeeper: διαμόρφωση, αυτόνομη λειτουργία και απαρτία, CLI.
Εξάσκηση 5.1: Παρακολούθηση ενός συμπλέγματος Κάφκα με τον Προμηθέα.
6. Αρκετές ομάδες (θεωρία – 1 ώρα, πρακτική – 1 ώρα)
Γιατί μπορεί να χρειάζεστε πολλαπλά συμπλέγματα στον Κάφκα;
MirrorMakerAccess.
Εξάσκηση 6.1: Χρήση του MirrorMaker για συγχρονισμό συμπλεγμάτων.
Confluence Replicator.
7. Kafka Connect (θεωρία – 2 ώρες, πρακτική – 2 ώρες)
Αρχιτεκτονική Kafka Connect.
Καταβόθρες δεδομένων Kafka Connect.
Εξάσκηση 7.1: Δέκτης αρχείων FileStream.
Εξάσκηση 7.2: Δέκτης JDBC.
Πηγές δεδομένων Kafka Connect.
Εξάσκηση 7.3: Πηγή FileStream.
Εξάσκηση 7.4: Πηγή JDBC.
8. Βασικές αρχές του Kafka Streams (θεωρία – 2 ώρες, πρακτική – 2 ώρες)
Kafka Streams: DSL, API, StreamBuilder, δημιουργία και υλοποίηση τοπολογίας.
Επίδειξη 8.1: Εφαρμογή της τοπολογίας Streams.
Επίδειξη 8.2: Δημιουργία εφαρμογής Streams χρησιμοποιώντας το StreamBuilder.
Συσκευή Kafka Streams: multi-threading, πολλαπλές εμφανίσεις και εργασίες.
Σχήματα δεδομένων στον Κάφκα: σειριοποίηση σε σχήματα JSON, σχήματα Avro, μητρώο σχημάτων, εξέλιξη σχημάτων.
Επίδειξη 8.3: Χρήση σχημάτων JSON.
Stateful Processing: State Store, Fault Tolerance for State Stores.
KTable: Ροές ενημέρωσης δεδομένων, προσωρινή αποθήκευση, ταχύτητα ανάκτησης, συγκέντρωση.
Παράθυρα σε ροές: χρονικές σημάνσεις, αιώρηση, άλμα, περίοδος λειτουργίας.
Σύνδεση: ροή σε ροή, KTable σε KTable, ροή σε KTable.