Schneller Franz

Apache Kafka 2.3: Erweiterte Monitoring-Kapazitäten und schnellerer Broker

Dominik Mohilo

© Shutterstock / spainter_vfx

Die Open-Source-Plattform Apache Kafka ist vor allem im Kontext von Big-Data-Anwendungen beliebt, bei denen viele Datenströme verarbeitet werden müssen. Die Stream-Processing-Software ist nun in Version 2.3 erschienen und bringt neue Monitoring-Kapazitäten und weitere Verbesserungen mit sich.

Mehr als acht Jahre ist es her, seit Apache Kafka initial veröffentlicht wurde, damals noch vom Business-Netzwerk LinkedIn. Doch bereits kurze Zeit später wurde es Teil des Ökosystems der Apache Software Foundation und steht seitdem quelloffen zur Verfügung. Maßgeblich vorangetrieben wird die Entwicklung des Big-Data-Frameworks von dem Unternehmen Confluent, das von den ursprünglichen Entwicklern Apache Kafkas gegründet wurde.

Apache Kafka 2.3 – das ist neu

Version 2.3 ist ein relativ großes Update für die Plattform und bringt einige Verbesserungen und neue Features für die unterschiedlichen Bereiche des Frameworks mit sich. Diese werden in Form von sogenannten KIPs (Kafka Improvement Proposals) von der Community und den Entwicklern diskutiert, ein ähnliches Konzept kennt man auch von Java (JEPs).

Unter den Kennziffern KIP-351 und KIP-427 wurden neue Möglichkeiten für das Monitoring der Partitionsrepliken in Apache Kafka behandelt und umgesetzt. Dazu ist zu sagen, dass Kafka aus Sicherheitsgründen mehrere Repliken von Partitionen auf unterschiedlichen Brokern erstellt. Das Minimum ISR genannte Verfahren stellt sicher, dass vor weiteren Ver- bzw. Bearbeitungen genügend in-sync replicas (also synchrone Kopien) vorhanden sind.

Neu ist nun, dass man nicht mehr nur Partitionen via Monitoring im Auge behalten kann, die zu wenige Repliken haben, sondern auch jene, die exakt das Minimum an Repliken aufweisen. So kann man rechtzeitig sein Augenmerk auf mögliche Problemfälle richten und nicht erst, wenn das Minimum unterschritten ist. Das neue Kommandozeilen-Flag --under-min-isr ermöglicht es, sich schnell und unkompliziert entsprechende Problemfälle ausgeben zu lassen, bei denen die Anzahl der Repliken bereits unter dem Minimum liegen.

Blockchain Whitepaper 2019

Free: Blockchain Technology Whitepaper

If building a blockchain from scratch is beyond your current scope, the blockchain technology whitepaper is worth a look. Experts from the field share their know-how, tips and tricks, development advice, and strategy for becoming a blockchain master.

Überarbeitet wurde hingegen der Prozess, den der Broker nach einem Neustart durchläuft. Durch die Optimierung konnte der Broker teils etwa doppelt so schnell hochgefahren werden. Verbessert wurde im Zug des KIP-402 auch die Priorisierung von Verbindungen angeht. Existierende Verbindungen haben nun eine höhere Priorität als das Erstellen neuer Verbindungen, was den Broker insbesondere dann stabiler macht, wenn sehr viele neue Verbindungen auf einmal erstellt werden.

Kafka Connect & Kafka Streams

Schluss ist, dank KIP-415, auch mit dem lästigen Stillstand, der immer dann hervorgerufen wurde, wenn neue Konnektoren deployt oder bereits laufende Konnektoren neu konfiguriert wurden. In Apache Kafka 2.3 laufen die Worker Threads unbehelligt weiter, auch während eines Deployments oder einer Neukonfiguration.

Schließlich und endlich bringt Kafka 2.3 auch die Speicherung von Zeitstempeln im Statusspeicher von Streams (KIP-258). Zukünftig könnten jetzt auch außerplanmäßige Nachrichten in KTables verarbeitet werden.

Eine vollständige Liste der Änderungen findet sich in den Release Notes auf der Homepage der Apache Software Foundation, etwas mehr Details zu den Highlights gibt es im offiziellen Blog-Post von Colin McCabe und im folgenden YouTube-Video von Tim Berglund, Apache Kafka Developer Advocate.

Geschrieben von
Dominik Mohilo
Dominik Mohilo
Dominik Mohilo studierte Germanistik und Soziologie an der Goethe-Universität in Frankfurt. Seit 2015 ist er Redakteur bei S&S-Media.
Kommentare

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
4000
  Subscribe  
Benachrichtige mich zu: