Apache Kafka Architecture ist ein verteiltes, log-basiertes Event-Streaming-System, organisiert um Topics (Logs), Partitions (Einheiten für Parallelität und Ordnung), Broker (Server, die Partitions speichern und ausliefern), Producer, Consumer und einen Metadaten-Layer. Modernes Kafka nutzt KRaft (Kafka Raft) für Metadaten anstelle von ZooKeeper. Eine produktive Kafka Architecture geht über den Single-Cluster-Default hinaus — sie ist für Durability, Skalierbarkeit, Multi-Tenant-Betrieb und regulierte Umgebungen designed.
Kernkomponenten einer produktiven Kafka Architecture:
- Broker und KRaft Controller: Dimensioniert für Durchsatz, Durability und Replikation — keine Default-Configs
- Topics, Partitions und Replikation: Partition Count, Replication Factor und Min-In-Sync-Replicas pro Use Case gewählt (Durchsatz vs Ordnung vs Durability)
- Producer und Consumer: Idempotente Producer, transaktionale Writes wo Exactly-Once gefordert ist, und sorgfältig getunte Consumer Groups
- Schema Registry und Data Contracts: Avro/Protobuf/JSON-Schemas zentral governed, damit Producer und Consumer synchron bleiben
- Connectors und CDC: Kafka Connect für Source-/Sink-Integration und Debezium für Change Data Capture aus operativen Datenbanken
- Stream Processing: Apache Flink (bevorzugt für stateful, event-time-korrekte Workloads) oder Kafka Streams für Transformationen und Enrichment
- Multi-Tenancy und Isolation: Quotas, ACLs, Namespace-Konventionen und oft separate Cluster für regulatorische Grenzen
- Multi-Region / DR: MirrorMaker 2, Stretched Cluster oder Active-Active-Replikation — abhängig von RTO-/RPO-Anforderungen
Operative Aspekte, die Kafka Architecture produktionsreif machen:
- Observability (Metriken, Lag-Monitoring, Tracing)
- Upgrade- und Rebalance-Strategien, die keine Daten verlieren
- Disaster Recovery, Backups und Replay-Prozeduren
- Capacity Planning, Storage-Tiering und Kostenkontrollen
- Security: mTLS, SASL, OAuth, RBAC, Audit-Logging
Acosom designed und betreibt Kafka Architecture für regulierte Unternehmen — on-prem, hybrid oder Sovereign Cloud — als Event-Streaming-Backbone moderner Streaming-Data-Plattformen. Keine Default-Configs, kein Vendor-Lock-in.