Netflix macht Event-Pipeline Suro Open Source

Hartmut Schlosser

Ein ganzes Portfolio an Open-Source-Projekten stellt der Video-on-Demand-Anbieter Netflix derzeit zusammen. Als jüngster Spross der NetflixOSS-Familie wurde nun Sora quelloffen verfügbar gemacht. Worum geht es dabei?

Suro wurde auf der Basis des Apache Data-Collection-Systems Chukwa entwickelt und sorgt bei Netflix für das Monitoring von Anwendungsdaten. Das Framework sammelt Daten aus verschiedenen Quellen, bei Netflix sind es Anwendungen auf der AWS Cloud und in Netflix Data Centern, und leitet es zur weiteren Verarbeitung an verschiedene Stellen weiter: Amazon S3, Hadoop, Apache Kafka, Druid, ElasticSearch, etc.

Suro besteht aus einem Producer Client, einem Collector Server und einem Plug-in Framework, mit dem Events dynamisch gefiltert und an die verschiedene Konsumenten weitergeleitet werden kann. Dies kann via Batch Processing oder, etwa bei Streaming-Einsätzen, in Echtzeit geschehen.

Architektur Suro. Bild: http://techblog.netflix.com

Die Stärken von Suro gegenüber anderen Data-Pipeline-Lösungen wie Apache Flume oder Facebook Scribe liegen laut Netflix in der guten Integration mit dem Amazon Auto Scaling Feature sowie mit dem eigenen Portfolio, insbesondere dem Netflix Chaos Monkey – ein Tool zum Testen der Ausfallsicherheit von Cloud-Systemen. Im Gegensatz zum Mutterprojekt Chukwa werden beliebige Datenformate unterstützt.

Das Suro-Paket, das jetzt Open Source gestellt wurde, besteht aus dem Suro Client, dem Suro Server, den Komponenten Kafka Sink und S3 Sink sowie aus drei verschiedenen Message Filtern. In den kommenden Monaten sollen weitere Teile dieser Event-Pipeline hinzukommen.

Geschrieben von
Hartmut Schlosser
Hartmut Schlosser
Hartmut Schlosser ist Redakteur und Online-Koordinator bei Software & Support Media. Seine Spezialgebiete liegen bei Java-Enterprise-Technologien, JavaFX, Eclipse und DevOps. Vor seiner Tätigkeit bei S & S Media studierte er Musik, Informatik, französische Philologie und Ethnologie.
Kommentare

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.