Apache Samza: LinkedIn spendet Stream Processing Framework an Apache Foundation

Hartmut Schlosser

LinkedIn hat sein Stream Processing Framework „Samza“ der Apache Foundation überantwortet. Samza hilft dabei, Anwendungen zu bauen, die umfangreiche Message-Feeds verarbeiten, indem es beispielsweise Datenbanken aktualisiert, Aggregatoren bereitstellt und Message-Tranformationen vornimmt. 

Samza macht intensiv von Apache Kafka Gebrauch, ebenfalls ein ehemaliges LinkedIn-Projekt, mit dem sich große Mengen an Messages in verteilten Systemen verwalten lassen. Noch heute spielt Kafka in der LinkedIn-Architektur eine wichtige Rolle, indem es die 26 Milliarden tägliche Messages des Karriereportales steuert. Auf Basis dieser Echtzeit-Feeds bietet Samza elastisches und Fehler-tolerantes Processing der Daten.

LinkedIn-Ingenieur Chris Riccomini bringt auf dem LinkedIn Blog einen einfachen Vergleich mit Hadoop-Systemen. Kafka spielt bei LinkedIn eine ähnliche Rolle wie das Hadoop Filesystem HDFS, während Samza mit MapReduce zu vergleichen ist. Dabei baut Samza auf Hadoops YARN Framework auf, das seit Version 2 von Hadoop für eine optimierte Datenverarbeitung sorgt (gerne auch als „Next-gen MapReduce“ bezeichnet).

Nach Kafka und dem Cluster Management Framework Helix ist Samza die dritte Komponente, die LinkedIn der Apache Foundation überstellt. Den guten Erfahrungen mit der Apache Community sei es zu verdanken, dass man sich mit Samza für eine weitere Quellcode-Spende an die Apachen entschieden hat,  heißt es auf dem Blog. Außerdem schätze man das Feedback der breiten Community, das Interessierte gerne an die Mailingliste senden können.

Samza befindet sich derzeit im Apache Incubator, der Quellcode steht in einem Apache Git Repository bereit.  Zum Gang in die Öffentlichkeit hat das Samza Team auch neues Dokumentationsmaterial und ein Quick-Start-Guide zusammengestellt.

Geschrieben von
Hartmut Schlosser
Hartmut Schlosser
Hartmut Schlosser ist Redakteur und Online-Koordinator bei Software & Support Media. Seine Spezialgebiete liegen bei Java-Enterprise-Technologien, JavaFX, Eclipse und DevOps. Vor seiner Tätigkeit bei S & S Media studierte er Musik, Informatik, französische Philologie und Ethnologie.
Kommentare

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.