learn/mqtt

MQTT zu Kafka: warum beide nötig sind und wie Sie sie verbinden

Kurze Antwort

MQTT und Apache Kafka lösen unterschiedliche Aufgaben: MQTT verbindet viele ressourcenarme Geräte über unzuverlässige Netze, Kafka speichert dauerhafte, wiederholt lesbare Streams für Analytics und Backend-Dienste. Die meisten IoT-Architekturen nutzen beide, MQTT an der Edge und Kafka dahinter, verbunden über Kafka Connect, eine Bridge im Broker oder einen eigenen Consumer-Dienst.

Aktualisiert:

Warum MQTT und Kafka gemeinsam einsetzen?

MQTT und Kafka werden gemeinsam eingesetzt, weil sie unterschiedliche Aufgaben an unterschiedlichen Stellen des Datenpfads lösen. MQTT ist ein schlankes Publish/Subscribe-Protokoll, mit dem Daten von vielen Geräten über unzuverlässige Netze eingesammelt werden. Apache Kafka ist ein verteiltes Log, das Streams dauerhaft speichert und vielen Backend-Systemen das Lesen und erneute Abspielen ermöglicht.

Eine typische Industrie- oder IoT-Architektur nutzt MQTT an der Edge und Kafka im Rechenzentrum oder in der Cloud. Maschinen und Gateways veröffentlichen an einen MQTT Broker. Eine Bridge überträgt die Daten nach Kafka. Analytics, Data Lakes, Stream Processing und Geschäftsanwendungen lesen anschließend aus Kafka.

MQTT vs. Kafka: unterschiedliche Rollen

Die beiden Technologien werden oft verglichen, erfüllen aber verschiedene Rollen.

Aspekt MQTT Apache Kafka
Hauptzweck Geräteanbindung und Nachrichtenzustellung Dauerhafte, wiederholt lesbare Event-Streams
Typische Clients Sensoren, SPS-Gateways, Fahrzeuge, Apps Backend-Dienste, Stream Processing, Datenbanken
Anzahl der Clients Sehr viele, oft über schwache Verbindungen Weniger, in stabilen Netzen
Topics Hierarchisch, feingranular, dynamisch erzeugt Flach, grob, meist vorab angelegt
Speicherung Zustell-Queues und eine Retained Message pro Topic Log mit Aufbewahrung nach Zeit oder Größe, erneut lesbar
Skalierung der Consumer Shared Subscriptions (MQTT 5) Consumer Groups über Partitions
Reihenfolge Pro Client und Topic innerhalb einer Session Pro Partition
Zustellsteuerung QoS 0, 1, 2 je Teilstrecke Producer Acks, Idempotenz, Transaktionen
Verbindungsabbrüche Keep Alive, Last Will, persistente Sessions Nicht für häufig getrennte Clients ausgelegt

MQTT ist stark, wo das Netzwerk das Problem ist. Kafka ist stark, wo Speicherung, Wiederholbarkeit und die Verteilung an viele Backend-Consumer das Problem sind.

Integrationsmuster

Es gibt drei verbreitete Wege, Daten von einem MQTT Broker nach Kafka zu übertragen.

Kafka Connect mit einem MQTT Connector

Kafka Connect ist das Framework von Kafka, um Daten in Kafka hinein und aus Kafka heraus zu bewegen. Ein MQTT Source Connector abonniert MQTT-Topic-Filter und schreibt Records nach Kafka. Ein MQTT Sink Connector arbeitet umgekehrt und veröffentlicht Kafka-Records per MQTT. Dieses Muster erfordert keinen eigenen Code und nutzt die Skalierung und Offset-Verwaltung von Connect. Prüfen Sie, welche MQTT-Versionen, QoS-Stufen und Mapping-Optionen der gewählte Connector unterstützt.

Bridge oder Rule Engine im Broker

Manche MQTT Broker können Nachrichten direkt an Kafka weiterleiten, über eine integrierte Bridge, ein Plugin oder eine Rule Engine. Das spart einen separaten Dienst und hält den Datenpfad kurz. Der Nachteil: Die Integrationslogik steckt in der Broker-Konfiguration.

Eigener Consumer-Dienst

Ein kleiner Dienst abonniert MQTT und schreibt mit Standard-Client-Bibliotheken nach Kafka. Damit haben Sie volle Kontrolle über Filterung, Payload-Umwandlung, Anreicherung und Fehlerbehandlung. Betrieb, Monitoring und Skalierung liegen dann allerdings auch bei Ihnen. Mit MQTT 5 können sich mehrere Instanzen die Last über eine Shared Subscription teilen:

$share/kafka-bridge/plant/+/temp

Topic-Mapping und Partition Keys

Bilden Sie viele feingranulare MQTT-Topics auf wenige Kafka-Topics ab und führen Sie die Details im Key oder in Headern mit. MQTT-Topics wie enterprise/site-frankfurt/line-3/press-07/temp können in die Tausende oder Millionen gehen. Ein Kafka-Topic pro MQTT-Topic skaliert schlecht, weil jedes Kafka-Topic und jede Partition zusätzlichen Aufwand im Cluster verursacht.

Übliche Abbildungen:

  • Nach Datentyp: Alle Temperaturwerte landen in telemetry.temperature.
  • Nach Standort oder Bereich: Alles von einem Standort landet in site-frankfurt.telemetry.
  • Ein Topic für alle Telemetriedaten, mit dem ursprünglichen MQTT-Topic in einem Record Header.

Der Record Key bestimmt die Partition. Der Standard-Partitioner von Kafka schreibt Records mit gleichem Key in dieselbe Partition, und Kafka garantiert die Reihenfolge nur innerhalb einer Partition. Nutzen Sie die Geräte-ID oder das vollständige MQTT-Topic als Key, bleiben die Nachrichten jedes Geräts in Reihenfolge. Achten Sie auf ungleiche Verteilung: Erzeugen wenige Geräte den Großteil des Datenverkehrs, werden ihre Partitions zum Engpass.

Zustellgarantien: QoS und Kafka-Semantik

MQTT QoS und die Zustelleinstellungen von Kafka gelten jeweils nur für eine Teilstrecke. Die Garantie von Ende zu Ende ist daher nur so stark wie das schwächste Glied. MQTT QoS 1 und 2 gelten zwischen Publisher und Broker und getrennt davon zwischen Broker und jedem Subscriber. Die Producer-Einstellungen von Kafka (acks=all, Idempotenz) gelten zwischen Producer und Kafka-Cluster.

Für eine zuverlässige Pipeline gilt:

  • Veröffentlichen Sie von Geräten mit QoS 1, wenn Datenverlust relevant ist.
  • Lassen Sie die Bridge mit QoS 1 und einer persistenten Session abonnieren (MQTT 5: Clean Start aus und ein Session Expiry Interval, das Neustarts abdeckt), damit Nachrichten in einer Queue warten, solange die Bridge nicht läuft.
  • Bestätigen Sie die MQTT-Nachricht erst, wenn Kafka den Schreibvorgang bestätigt hat, sofern Ihre Bridge das erlaubt.
  • Rechnen Sie nach Störungen mit Duplikaten und gestalten Sie Consumer idempotent.

In der Praxis ergibt das eine At-least-once-Zustellung vom Gerät bis Kafka. Die Exactly-once-Funktionen von Kafka beziehen sich auf die Verarbeitung innerhalb von Kafka, nicht auf die MQTT-Strecke.

Umgang mit Back-Pressure

Back-Pressure entsteht, wenn Kafka Daten langsamer annimmt, als MQTT sie liefert. Kann die Bridge nicht nach Kafka schreiben, etwa während eines Cluster-Ausfalls, stauen sich Nachrichten an irgendeiner Stelle. Legen Sie fest, wo:

  • Im MQTT Broker: in der Queue der persistenten Session der Bridge. Setzen Sie Grenzen, damit Speicher oder Festplatte des Brokers nicht volllaufen.
  • In der Bridge: in einem begrenzten Puffer im Speicher oder auf der Festplatte. Auch die Producer-Puffer im Kafka-Client sind begrenzt, und die Bridge muss den Fall behandeln, dass sie voll sind.
  • An der Edge: in Gateways, die lokal puffern und später weiterleiten.

Mit Receive Maximum in MQTT 5 begrenzen Sie, wie viele unbestätigte QoS-1- und QoS-2-Nachrichten der Broker gleichzeitig an die Bridge sendet. Zusammen mit einer Bestätigung erst nach erfolgreichem Schreiben in Kafka verlangsamt das die Zustellung durch den Broker, statt Daten in der Bridge zu verlieren. Überwachen Sie Queue-Tiefe, Consumer Lag und Durchsatz der Bridge, damit Sie Probleme erkennen, bevor Puffer volllaufen.

01ultramq/learn/faq

Häufige Fragen

Kann Kafka einen MQTT Broker ersetzen?

Für Geräte in der Regel nicht. Kafka-Clients sind schwergewichtiger und erwarten stabile Verbindungen zum Cluster, während MQTT für viele kleine Geräte in unzuverlässigen Netzen ausgelegt ist. Kafka wird daher meist hinter einem MQTT Broker eingesetzt.

Wie werden MQTT-Topics auf Kafka-Topics abgebildet?

MQTT-Systeme haben oft Tausende feingranulare Topics, Kafka arbeitet dagegen am besten mit wenigen, gröberen Topics. Üblich ist, viele MQTT-Topics in ein Kafka-Topic zu schreiben und das ursprüngliche MQTT-Topic als Record Key oder Header mitzuführen.

Garantiert MQTT QoS 2 eine Exactly-once-Zustellung bis in Kafka?

Nein. MQTT QoS gilt jeweils für eine Teilstrecke zwischen Client und Broker. Vom Gerät bis Kafka bieten die meisten Pipelines At-least-once-Zustellung, daher sollten Consumer Duplikate verarbeiten können, etwa durch idempotentes Schreiben mit Gerät und Zeitstempel als Schlüssel.

Wie gelangen MQTT-Daten am einfachsten nach Kafka?

Kafka Connect mit einem MQTT Source Connector kommt ohne eigenen Code aus und läuft auf vorhandener Connect-Infrastruktur. Bietet Ihr Broker eine integrierte Kafka-Bridge oder Rule Engine, ist das eine Alternative ohne zusätzliche Dienste.

03ultramq/start

Sprechen Sie mit einem Engineer über Ihr Projekt.

Sagen Sie uns, was Sie verbinden möchten, wo es laufen muss und wohin die Daten fließen sollen. Wir antworten per E-Mail.

SUBultramq/#