Apache Kafka Streaming Applications

Intro Apache Kafka

De cursus Apache Kafka Streaming Applications gaat van start met een bespreking van de architectuur van Kafka en key concepten als topics, partitions, producers, consumers, and brokers. Ook wordt de rol van Kafka bij het bouwen van realtime data pipe lines toegelicht.

Kafka Brokers

Vervolgens wordt dieper ingegaan op Kafka brokers die de voornaamste componenten zijn van de gedistribueerde architectuur van Kafka. Onderwerpen als broker configuratie, replicatie, partition replica leaders and followers en fout tolerantie komen aan bod. En ook de rol van Zookeeper wordt uitgelegd.

Kafka Streams

Dan is er aandacht voor de Kafka Streams API waarmee streaming applicaties voor realtime data verwerking kunnen worden gebouwd. Aan de orde komen concepten als processor topology, stream processors, de Kafka Streams DSL (Domain Specific Language) en KStreams. Ook wordt het verschil tussen statefull en stateless operaties dan toegelicht.

Topics and Storage

Onderdeel van de cursus Apache Kafka Streaming Application zijn ook de fundamentele concepten voor het organiseren en opslaan van data in Kafka clusters. Zo worden topics besproken met creatie, replicatie en compaction van topics. Ook wordt er ingegaan op Kafka storage met partities, storage formats, Kafka tables en tiered storage.

Kafka Security

Eveneens staan de security mechanismen voor het beveiligen van Kafka clusters en data streams op het programma. Onderwerpen daarbij zijn onder meer authentication en authorization, encryption met SSL, SASL (Simple Authentication and Security Layer), ZooKeeper security en het aanbrengen van request rate quota.

Management and Scalability

Tenslotte wordt aandacht besteed aan het managen en schalen van Kafka clusters met het oog op high availability en performance. Tools en technieken voor het monitoren en managen van Kafka-clusters zoals Kafka Manager en Prometheus worden dan besproken.

Doelgroep Cursus Apache Kafka Streaming Applications

De cursus Apache Kafka Streaming Applications is bestemd voor developers en data engineers die Apache Kafka willen inzetten bij het real-time verwerken van data.

Voorkennis Cursus Apache Kafka Streaming Applications

Om aan deze cursus te kunnen deelnemen is basis kennis van messaging systemen bevorderlijk voor een goede begripsvorming.

Uitvoering Training Apache Kafka Streaming Applications

De cursus heeft een hands-on karakter waarbij theorie van de hand van demos wordt afgewisseld met praktijk door middel van exercises.

Certificaat Cursus Apache Kafka Streaming Applications

De deelnemers krijgen na het goed doorlopen van de cursus een certificaat van deelname aan Apache Kafka Streaming Applications.

Modules

Module 1 : Intro Apache Kafka

• What is Apache Kafka?
• Apache Kafka Architecture
• Kafka Components
• Producers, Consumers, and Brokers
• Topics and Partitions
• Kafka Streams Overview
• Event Streaming in Kafka
• Message Serialization
• Message DeSerialization
• Kafka Connect
• Kafka Installation

Module 2 : Kafka Brokers

• What are Brokers?
• Producers Sourcing Data
• Configuring Broker List
• Consumers Unlocking Data
• Consumer Interaction
• Role of Zookeeper
• Broker Level Options
• Partition Replica Leaders
• Peeking into Kafka
• Cluster Maintenance
• Adding Brokers

Module 3 : Kafka Streams

• Kafka Streams API
• Stream Partition
• Data Record
• Application Instances
• Elastic Scaling
• Processor Topology
• Stream Processors
• Stateful Operations
• Stateless Operations
• KStreams
• Real Time Analytics

Module 4 : Topics and Storage

• Topic Creation Options
• Replication Factors
• Partitions
• Partition Location
• Topic Compaction
• Kafka Storage
• Storage is Partitioned
• Storage Formats
• Kafka Tables
• Tiered Storage
• Data Movement

Module 5 : Kafka Security

• Security Fundamentals
• Encryption with SSL
• SSL and SASL Authentication
• SSL Brokers and Clients
• SSL between Brokers
• Authorization in Kafka
• Access Control List
• Role Based Access Control
• Zookeeper Kerberos Setup
• Network Bandwidth Quota
• Request Rate Quotas

Module 6 : Management and Scalability

• Kafka Replication
• High Availability
• Scaling Kafka clusters
• Processing Parallelism
• Fault Tolerant Processing
• Elastic Processing
• Table Compaction
• Monitoring Kafka
• Kafka Application Logs
• Optimizing Kafka
• Data Skew