Twitter stellt Scala API Open Source

Hartmut Schlosser

Twitter hat bekannt gegeben, die eigens entwickelte Scala API Scalding Open Source zur Verfügung zu stellen. Bei Scalding handelt es sich um ein API für Cascading, eine Java-Bibliothek inklusive API, die auf Apache Hadoops MapReduce Layer aufsetzt. Mittels einer DSL sollen MapReduce Berechnungen mit Scalas Collection API in Einklang gebracht werden. Außerdem steht ein Wrapper für Cascading bereit, um die Bestimmung typischer Use Cases bei Jobs, Tests und Datenquellenbeschreibungen auf einem HDFS (Hadoop Distributed File System) oder einer lokalen Disk zu vereinfachen.

Scalding ist bei Twitter im Einsatz, um die großen Datenmengen, die durch Tweets entstehen, zu verarbeiten – beispielsweise um herauszufinden, wie oft jede URL an einem bestimmten Tag getweetet wurde.

Scalding steht auf GitHub zur freien Verwendung bereit.

Geschrieben von
Hartmut Schlosser
Kommentare

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.