Google Cloud Dataproc: Neuer Spark- und Hadoop-Service verlässt Beta-Stadium

Michael Thomas

© Shutterstock.com/Ivana Slana

Nach einer 5 Monate währenden Beta-Phase hat Google-Produktmanager James Malone nun die allgemeine Verfügbarkeit des Hadoop- und Spark-Dienstes Google Cloud Dataproc bekannt gegeben. Google Cloud Dataproc soll den bei der Nutzung von Apache Hadoop und Apache Spark mitunter erforderlichen Balanceakt zwischen Kosten, Komplexität und Skalierung unnötig machen.

Cloud Dataproc zielt der Ankündigung zufolge insbesondere auf die Reduzierung der Kosten sowie der Komplexität der Datenverarbeitung ab. Dies soll in erster Linie durch einen recht geringen Preis (1 US-Cent pro virtueller CPU pro Stunde bei minutengenauer Abrechnung), eine vergleichsweise hohe Geschwindigkeit (Cluster benötigen für Start- bzw. Stopp-Operationen durchschnittlich offenbar nur 90 Sekunden oder weniger) und eine vereinfachte Verwaltung (Cloud Dataproc setzt auf mehreren bestehenden Diensten wie etwa Google Compute Engine auf; Cloud-Dataproc-Cluster erfordern keine spezialisierten Administratoren oder Softwarelösungen) erreicht werden.

Blockchain Whitepaper 2018

Free: Blockchain Technology Whitepaper

If building a blockchain from scratch is beyond your current scope, the blockchain technology whitepaper is worth a look. Experts from the field share their know-how, tips and tricks, development advice, and strategy for becoming a blockchain master.

Die Erstellung, Überwachung und Entfernung von Jobs und Clustern kann offenbar direkt über die Google Developers Console sowie das Cloud SDK erfolgen. Für komplexe Anwendungsfälle ist via REST-API zudem eine programmatische Interaktion mit Cloud Dataproc möglich.

Des Weiteren soll der Dienst regelmäßig dahingehend aktualisiert werden, Support für neue Releases aus den Ökosystemen von Spark und Hadoop zu bieten. Die aktuelle Version unterstützt Hadoop 2.7.2, Spark 1.6.0, Hive 1.2.1 und Pig 0.15.0. Zu guter Letzt bietet Cloud Dataproc von Haus aus Integrationen mit anderen Cloud-Platform-Diensten, darunter beispielsweise BigQuery, Cloud Storage und Cloud Bigtable. Den Nutzern soll somit potentiell eine komplette Datenplattform zur Verfügung stehen.

Aufmacherbild: Cloud Computing Service Concept von Shutterstock / Urheberrecht: Ivana Slana

Verwandte Themen:

Geschrieben von
Michael Thomas
Michael Thomas
Michael Thomas studierte Erziehungswissenschaft an der Johannes Gutenberg-Universität Mainz und arbeitet seit 2013 als Freelance-Autor bei JAXenter.de. Kontakt: mthomas[at]sandsmedia.com
Kommentare

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
400
  Subscribe  
Benachrichtige mich zu: