MQTT zu Kafka: warum beide nötig sind und wie Sie sie verbinden
MQTT und Apache Kafka lösen unterschiedliche Aufgaben: MQTT verbindet viele ressourcenarme Geräte über unzuverlässige Netze, Kafka speichert dauerhafte, wiederholt lesbare Streams für Analytics und Backend-Dienste. Die meisten IoT-Architekturen nutzen beide, MQTT an der Edge und Kafka dahinter, verbunden über Kafka Connect, eine Bridge im Broker oder einen eigenen Consumer-Dienst.
Warum MQTT und Kafka gemeinsam einsetzen?
MQTT und Kafka werden gemeinsam eingesetzt, weil sie unterschiedliche Aufgaben an unterschiedlichen Stellen des Datenpfads lösen. MQTT ist ein schlankes Publish/Subscribe-Protokoll, mit dem Daten von vielen Geräten über unzuverlässige Netze eingesammelt werden. Apache Kafka ist ein verteiltes Log, das Streams dauerhaft speichert und vielen Backend-Systemen das Lesen und erneute Abspielen ermöglicht.
Eine typische Industrie- oder IoT-Architektur nutzt MQTT an der Edge und Kafka im Rechenzentrum oder in der Cloud. Maschinen und Gateways veröffentlichen an einen MQTT Broker. Eine Bridge überträgt die Daten nach Kafka. Analytics, Data Lakes, Stream Processing und Geschäftsanwendungen lesen anschließend aus Kafka.
MQTT vs. Kafka: unterschiedliche Rollen
Die beiden Technologien werden oft verglichen, erfüllen aber verschiedene Rollen.
| Aspekt | MQTT | Apache Kafka |
|---|---|---|
| Hauptzweck | Geräteanbindung und Nachrichtenzustellung | Dauerhafte, wiederholt lesbare Event-Streams |
| Typische Clients | Sensoren, SPS-Gateways, Fahrzeuge, Apps | Backend-Dienste, Stream Processing, Datenbanken |
| Anzahl der Clients | Sehr viele, oft über schwache Verbindungen | Weniger, in stabilen Netzen |
| Topics | Hierarchisch, feingranular, dynamisch erzeugt | Flach, grob, meist vorab angelegt |
| Speicherung | Zustell-Queues und eine Retained Message pro Topic | Log mit Aufbewahrung nach Zeit oder Größe, erneut lesbar |
| Skalierung der Consumer | Shared Subscriptions (MQTT 5) | Consumer Groups über Partitions |
| Reihenfolge | Pro Client und Topic innerhalb einer Session | Pro Partition |
| Zustellsteuerung | QoS 0, 1, 2 je Teilstrecke | Producer Acks, Idempotenz, Transaktionen |
| Verbindungsabbrüche | Keep Alive, Last Will, persistente Sessions | Nicht für häufig getrennte Clients ausgelegt |
MQTT ist stark, wo das Netzwerk das Problem ist. Kafka ist stark, wo Speicherung, Wiederholbarkeit und die Verteilung an viele Backend-Consumer das Problem sind.
Integrationsmuster
Es gibt drei verbreitete Wege, Daten von einem MQTT Broker nach Kafka zu übertragen.
Kafka Connect mit einem MQTT Connector
Kafka Connect ist das Framework von Kafka, um Daten in Kafka hinein und aus Kafka heraus zu bewegen. Ein MQTT Source Connector abonniert MQTT-Topic-Filter und schreibt Records nach Kafka. Ein MQTT Sink Connector arbeitet umgekehrt und veröffentlicht Kafka-Records per MQTT. Dieses Muster erfordert keinen eigenen Code und nutzt die Skalierung und Offset-Verwaltung von Connect. Prüfen Sie, welche MQTT-Versionen, QoS-Stufen und Mapping-Optionen der gewählte Connector unterstützt.
Bridge oder Rule Engine im Broker
Manche MQTT Broker können Nachrichten direkt an Kafka weiterleiten, über eine integrierte Bridge, ein Plugin oder eine Rule Engine. Das spart einen separaten Dienst und hält den Datenpfad kurz. Der Nachteil: Die Integrationslogik steckt in der Broker-Konfiguration.
Eigener Consumer-Dienst
Ein kleiner Dienst abonniert MQTT und schreibt mit Standard-Client-Bibliotheken nach Kafka. Damit haben Sie volle Kontrolle über Filterung, Payload-Umwandlung, Anreicherung und Fehlerbehandlung. Betrieb, Monitoring und Skalierung liegen dann allerdings auch bei Ihnen. Mit MQTT 5 können sich mehrere Instanzen die Last über eine Shared Subscription teilen:
$share/kafka-bridge/plant/+/temp
Topic-Mapping und Partition Keys
Bilden Sie viele feingranulare MQTT-Topics auf wenige Kafka-Topics ab und führen Sie die Details im Key oder in Headern mit. MQTT-Topics wie enterprise/site-frankfurt/line-3/press-07/temp können in die Tausende oder Millionen gehen. Ein Kafka-Topic pro MQTT-Topic skaliert schlecht, weil jedes Kafka-Topic und jede Partition zusätzlichen Aufwand im Cluster verursacht.
Übliche Abbildungen:
- Nach Datentyp: Alle Temperaturwerte landen in
telemetry.temperature. - Nach Standort oder Bereich: Alles von einem Standort landet in
site-frankfurt.telemetry. - Ein Topic für alle Telemetriedaten, mit dem ursprünglichen MQTT-Topic in einem Record Header.
Der Record Key bestimmt die Partition. Der Standard-Partitioner von Kafka schreibt Records mit gleichem Key in dieselbe Partition, und Kafka garantiert die Reihenfolge nur innerhalb einer Partition. Nutzen Sie die Geräte-ID oder das vollständige MQTT-Topic als Key, bleiben die Nachrichten jedes Geräts in Reihenfolge. Achten Sie auf ungleiche Verteilung: Erzeugen wenige Geräte den Großteil des Datenverkehrs, werden ihre Partitions zum Engpass.
Zustellgarantien: QoS und Kafka-Semantik
MQTT QoS und die Zustelleinstellungen von Kafka gelten jeweils nur für eine Teilstrecke. Die Garantie von Ende zu Ende ist daher nur so stark wie das schwächste Glied. MQTT QoS 1 und 2 gelten zwischen Publisher und Broker und getrennt davon zwischen Broker und jedem Subscriber. Die Producer-Einstellungen von Kafka (acks=all, Idempotenz) gelten zwischen Producer und Kafka-Cluster.
Für eine zuverlässige Pipeline gilt:
- Veröffentlichen Sie von Geräten mit QoS 1, wenn Datenverlust relevant ist.
- Lassen Sie die Bridge mit QoS 1 und einer persistenten Session abonnieren (MQTT 5: Clean Start aus und ein Session Expiry Interval, das Neustarts abdeckt), damit Nachrichten in einer Queue warten, solange die Bridge nicht läuft.
- Bestätigen Sie die MQTT-Nachricht erst, wenn Kafka den Schreibvorgang bestätigt hat, sofern Ihre Bridge das erlaubt.
- Rechnen Sie nach Störungen mit Duplikaten und gestalten Sie Consumer idempotent.
In der Praxis ergibt das eine At-least-once-Zustellung vom Gerät bis Kafka. Die Exactly-once-Funktionen von Kafka beziehen sich auf die Verarbeitung innerhalb von Kafka, nicht auf die MQTT-Strecke.
Umgang mit Back-Pressure
Back-Pressure entsteht, wenn Kafka Daten langsamer annimmt, als MQTT sie liefert. Kann die Bridge nicht nach Kafka schreiben, etwa während eines Cluster-Ausfalls, stauen sich Nachrichten an irgendeiner Stelle. Legen Sie fest, wo:
- Im MQTT Broker: in der Queue der persistenten Session der Bridge. Setzen Sie Grenzen, damit Speicher oder Festplatte des Brokers nicht volllaufen.
- In der Bridge: in einem begrenzten Puffer im Speicher oder auf der Festplatte. Auch die Producer-Puffer im Kafka-Client sind begrenzt, und die Bridge muss den Fall behandeln, dass sie voll sind.
- An der Edge: in Gateways, die lokal puffern und später weiterleiten.
Mit Receive Maximum in MQTT 5 begrenzen Sie, wie viele unbestätigte QoS-1- und QoS-2-Nachrichten der Broker gleichzeitig an die Bridge sendet. Zusammen mit einer Bestätigung erst nach erfolgreichem Schreiben in Kafka verlangsamt das die Zustellung durch den Broker, statt Daten in der Bridge zu verlieren. Überwachen Sie Queue-Tiefe, Consumer Lag und Durchsatz der Bridge, damit Sie Probleme erkennen, bevor Puffer volllaufen.