Zu Beginn des Jahres wurde Apache Spark 2.3 veröffentlicht und bildet einen bedeutenden Meilenstein für das Structured Streaming. Es gab allerdings noch viele weitere, interessante Features, die ebenso wichtig sind. Wir sprachen daher mit Reynold Xin, dem Mitgründer und Chief Architect von Databricks, über die Databricks Runtime und andere Verbesserungen in Apacke Spark 2.3.

Glaubt man vielen Zukunftsszenarien, so ist die Arbeitswelt von morgen vorgezeichnet: Der Mensch wird im Rahmen der technischen Datenevolution zunehmend entmündigt. Doch ist die datengestützte Technologie nur negativ zu bewerten? Anlässlich der Internet of Things Conference in München sprachen wir zu diesem spannenden Thema mit dem Speaker und Data Science-Spezialisten Dr. Tobias Brombach.

Die IaaS-Plattform CloudStack der Apache Foundation ist eine multi-tenancy Infrastruktursteuerung, die die Bereitstellung und Verwaltung von Netzwerk-, Speicher- und Rechenkomponenten kontrolliert. Das aktuelle Update hat zwar eine Zeit auf sich warten lassen, bringt dafür aber sehr umfangreiche Neuerungen und diverse Bugfixes.

Das Programm der JAX 2018 nimmt bereits Konturen an. Wir werfen einen Blick auf die Sessions und Themen-Tracks der Konferenz. Tipp: Bis zum kommenden Donnerstag, 21. Dezember 2017 läuft noch die Frühbucheraktion, bei der Sie vergünstigte Tickets und den Agile Day gratis erhalten.

In der letzten Woche flatterten der JAXenter-Redaktion gleich mehrere Studien ins Haus. Der State of JavaScript 2017 ist da und Joblift hat herausgefunden, dass App-Entwickler nach wie vor heiß begehrt sind. Daneben haben wir auch einen Blick auf ein von Entwicklern ziemlich ungeliebtes Thema geworfen: Testing. Schließlich trudelte nach fünf Jahren dann auch noch Hadoop 3 ein.

Fünf Jahre hat Hadoop von der Version 2.0 auf die 3.0 gebraucht. Andrew Wang, Release Manager von Apache Hadoop 3, spricht vom größten Release aller Zeiten des Open-Source-Projekts. Dementsprechend lang ist die Liste der Änderungen und neuen Features. Wie immer geht es um mehr Effizienz, Skalierbarkeit und Zuverlässigkeit.

Anwendungslandschaften werden seit einigen Jahren zunehmend in Container verpackt, um Anwendungen gegeneinander zu isolieren und sie leicht verschiffen zu können. Frameworks für Big Data und Fast Data laufen allerdings oft in separaten Clustern, da sie nicht ohne weiteres Zutun gut in Containern skalieren. Die Folge: Cluster werden nicht optimal ausgenutzt und Skalierungseffekte können nicht genutzt werden. In seiner Session von der JAX 2017 verdeutlicht Johannes Unterstein, Distributed Applications Engineer bei Mesosphere, die aktuelle Problemstellung und zeigt, wie man mit DC/OS und Apache Mesos die Probleme richtig adressiert.

Um den Anschluss an die Digitalisierung nicht zu verlieren, wird es Zeit, sich Gedanken über eine geeignete, zukunftssichere Datenarchitektur zu machen. Doch gibt es sie, die eine Streamingarchitektur? Die Praxis zeigt: Im Einzelfall erfolgt eine Auswahl aus vielen Einzelkomponenten.

Apache Kafka hat die Version 1.0 erreicht. Das Feature-Set sei stabil und nun auch ganz offiziell für die Produktion geeignet, gab das Entwicklerteam bekannt. Außerdem gibt es Verbesserungen bei den APIs, den Metriken und Kafka unterstützt nun auch Java 9.

Neue Lizenzen der Linux Foundation, zusammengefasst im Community Data License Agreement, sollen es einfacher machen, Daten frei zu teilen und mit ihnen zu arbeiten. Denn in einer immer mehr datengetriebenen Welt wird das Konzept der Open Data immer wichtiger.

Und noch ein Serverless Framework: nuclio betritt die Bühne. Der Fokus des Frameworks liegt auf der Echtzeitverarbeitung von Daten. Dafür kann es auf verschiedene Datenquellen zugreifen, auch mit ein und derselben Funktion. Außerdem sind die Datenquellen vom Funktionscode getrennt, damit der Code einfach wiederzuverwenden ist.

Das Apache-Lucene-Team hat Apache Lucene und Apache Solr in der Version 7.0 veröffentlicht. Uwe Schindler erklärt in seiner Kolumne Search Bites die wichtigsten Neuerungen.

In Zeiten von Docker, Big Data und Microservices wird es immer wichtiger, verteilte Anwendung sinnvoll und dynamisch auf Cluster verteilen zu können und dabei trotzdem noch den Überblick zu behalten. Daher werden Cluster-Managementsysteme wie Apache Mesos und DC/OS immer wichtiger. Dabei geht es nicht nur um die Orchestrierung von Containern, sondern auch um die Verwaltung von persistenten Daten, die fehlertolerante Auslegung der Anwendungslandschaft und die optimale Auslastung der Ressourcen im Cluster.

Microservices sind aus der heutigen Welt der Softwarearchitektur nicht mehr wegzudenken. Doch einem monolithischen Moloch wird man nur dann mit Microservices Herr, wenn man alles im Griff hat – insbesondere, wenn das Ganze auch noch verteilt ablaufen soll. Mit der Orchestrierungsengine Zeebe bietet der Softwarehersteller Camunda nun eine Open-Source-Lösung dafür an.

Weder schwarze noch weiße Magie – und auch kein Feenstaub. Dennoch setzt das Release Apache Kafka 0.11 neue Maßstäbe. Wir schauen uns an, warum.

Microservices sollen keine gemeinsame Datenbank haben. Warum eigentlich? Und was ist mit der dabei entstehenden Redundanz? Eberhard Wolff klärt in seiner Session von der JAX 2017, welche Ansätze für die Datenhaltung für Microservices-Systeme sinnvoll sind. En passant lernen Sie moderne Best Practices kennen, die auch in anderen Anwendungsszenarien nützlich sind.

Der Release der Version 2.2.0 von Apache Spark entfernt das Experimental-Tag von Structured Streaming. Damit ist das Feature offiziell reif für die Produktion. Der SQL Support wurde weiter ausgebaut und auch die Machine-Learning-Funktionen haben ein Update bekommen. Insgesamt wickelten die Entwickler über 1.100 Tickets ab.

Allen Alternativen zum Trotz werden in der großen und weiten Unternehmenswelt Daten, Dokumente und Dateien mit Microsoft Office erstellt, gespeichert, bearbeitet und ausgetauscht. Seien es nun lange Texte und Analysen als Word-Dokument, PowerPoint-Präsentationen oder ver-Excelte Zahlen und Datenkolonnen. Gerade Excel dient oft als Quelle für weitere Analysen oder Statistik. Apache POI ist eine Java-Bibliothek, die dem Entwickler hilft, Daten in MS-Office-Dokumente zu schreiben, Dokumente zu bearbeiten oder auszulesen.

Welche Trends gibt es im Bereich der Datenbanken? In unserer großen JAXenter-Umfrage haben Sie abgestimmt. Wir schauen uns die Ergebnisse im Detail an und vergleichen sie mit denen des Vorjahres. Welche Technologien zur Datenverarbeitung schneiden gut ab, welche nicht?

Smartphones, Smart TVs, Smart Homes – heutzutage gibt es von beinahe allem, was uns lieb und teuer ist, eine intelligentere Variante. Warum also nicht auch eine Smart City? Beim Forschungsinstitut CEA-Leti entwickelt man mit Eclipse sensiNact derzeit die passende Softwareplattform dafür.