Anwendungslandschaften werden seit einigen Jahren zunehmend in Container verpackt, um Anwendungen gegeneinander zu isolieren und sie leicht verschiffen zu können. Frameworks für Big Data und Fast Data laufen allerdings oft in separaten Clustern, da sie nicht ohne weiteres Zutun gut in Containern skalieren. Die Folge: Cluster werden nicht optimal ausgenutzt und Skalierungseffekte können nicht genutzt werden. In seiner Session von der JAX 2017 verdeutlicht Johannes Unterstein, Distributed Applications Engineer bei Mesosphere, die aktuelle Problemstellung und zeigt, wie man mit DC/OS und Apache Mesos die Probleme richtig adressiert.

Um den Anschluss an die Digitalisierung nicht zu verlieren, wird es Zeit, sich Gedanken über eine geeignete, zukunftssichere Datenarchitektur zu machen. Doch gibt es sie, die eine Streamingarchitektur? Die Praxis zeigt: Im Einzelfall erfolgt eine Auswahl aus vielen Einzelkomponenten.

Apache Kafka hat die Version 1.0 erreicht. Das Feature-Set sei stabil und nun auch ganz offiziell für die Produktion geeignet, gab das Entwicklerteam bekannt. Außerdem gibt es Verbesserungen bei den APIs, den Metriken und Kafka unterstützt nun auch Java 9.

Neue Lizenzen der Linux Foundation, zusammengefasst im Community Data License Agreement, sollen es einfacher machen, Daten frei zu teilen und mit ihnen zu arbeiten. Denn in einer immer mehr datengetriebenen Welt wird das Konzept der Open Data immer wichtiger.

Und noch ein Serverless Framework: nuclio betritt die Bühne. Der Fokus des Frameworks liegt auf der Echtzeitverarbeitung von Daten. Dafür kann es auf verschiedene Datenquellen zugreifen, auch mit ein und derselben Funktion. Außerdem sind die Datenquellen vom Funktionscode getrennt, damit der Code einfach wiederzuverwenden ist.

Das Apache-Lucene-Team hat Apache Lucene und Apache Solr in der Version 7.0 veröffentlicht. Uwe Schindler erklärt in seiner Kolumne Search Bites die wichtigsten Neuerungen.

In Zeiten von Docker, Big Data und Microservices wird es immer wichtiger, verteilte Anwendung sinnvoll und dynamisch auf Cluster verteilen zu können und dabei trotzdem noch den Überblick zu behalten. Daher werden Cluster-Managementsysteme wie Apache Mesos und DC/OS immer wichtiger. Dabei geht es nicht nur um die Orchestrierung von Containern, sondern auch um die Verwaltung von persistenten Daten, die fehlertolerante Auslegung der Anwendungslandschaft und die optimale Auslastung der Ressourcen im Cluster.

Microservices sind aus der heutigen Welt der Softwarearchitektur nicht mehr wegzudenken. Doch einem monolithischen Moloch wird man nur dann mit Microservices Herr, wenn man alles im Griff hat – insbesondere, wenn das Ganze auch noch verteilt ablaufen soll. Mit der Orchestrierungsengine Zeebe bietet der Softwarehersteller Camunda nun eine Open-Source-Lösung dafür an.

Weder schwarze noch weiße Magie – und auch kein Feenstaub. Dennoch setzt das Release Apache Kafka 0.11 neue Maßstäbe. Wir schauen uns an, warum.

Microservices sollen keine gemeinsame Datenbank haben. Warum eigentlich? Und was ist mit der dabei entstehenden Redundanz? Eberhard Wolff klärt in seiner Session von der JAX 2017, welche Ansätze für die Datenhaltung für Microservices-Systeme sinnvoll sind. En passant lernen Sie moderne Best Practices kennen, die auch in anderen Anwendungsszenarien nützlich sind.

Der Release der Version 2.2.0 von Apache Spark entfernt das Experimental-Tag von Structured Streaming. Damit ist das Feature offiziell reif für die Produktion. Der SQL Support wurde weiter ausgebaut und auch die Machine-Learning-Funktionen haben ein Update bekommen. Insgesamt wickelten die Entwickler über 1.100 Tickets ab.

Allen Alternativen zum Trotz werden in der großen und weiten Unternehmenswelt Daten, Dokumente und Dateien mit Microsoft Office erstellt, gespeichert, bearbeitet und ausgetauscht. Seien es nun lange Texte und Analysen als Word-Dokument, PowerPoint-Präsentationen oder ver-Excelte Zahlen und Datenkolonnen. Gerade Excel dient oft als Quelle für weitere Analysen oder Statistik. Apache POI ist eine Java-Bibliothek, die dem Entwickler hilft, Daten in MS-Office-Dokumente zu schreiben, Dokumente zu bearbeiten oder auszulesen.

Welche Trends gibt es im Bereich der Datenbanken? In unserer großen JAXenter-Umfrage haben Sie abgestimmt. Wir schauen uns die Ergebnisse im Detail an und vergleichen sie mit denen des Vorjahres. Welche Technologien zur Datenverarbeitung schneiden gut ab, welche nicht?

Smartphones, Smart TVs, Smart Homes – heutzutage gibt es von beinahe allem, was uns lieb und teuer ist, eine intelligentere Variante. Warum also nicht auch eine Smart City? Beim Forschungsinstitut CEA-Leti entwickelt man mit Eclipse sensiNact derzeit die passende Softwareplattform dafür.

Nun also doch: Google hat angekündigt, dass sie den weltweit verteilten Datenbankservice Cloud Spanner der Allgemeinheit zugänglich machen werden. Die öffentliche Beta-Phase hat gerade begonnen, kostenfrei wird Cloud Spanner allerdings nicht verfügbar sein.

Flyway 4.1.0 vereinfacht die Datenbankmigration für PostgreSQL und MYSQL. Bei der einen Datenbank machen nicht-transaktionale Statements kein Problem mehr, bei der anderen tauchen bei Replikaten jetzt keine Warnungen mehr auf. Außerdem aktualisieren sich große Projekte mit mehreren tausend Migrationen nun schneller.

Apache Ranger hat den Schritt aus dem Inkubator getan und ist nun offiziell Top-Level-Projekt der Apache Software Foundation. Ranger ist ein Framework für die konsistente Definition, Administration und das Management von Security Policies in Hadoop-Systemen.

Hazelcast hat Hazelcast Jet vorgestellt, eine Engine für verteilte Datenströme in Big-Data-Umgebungen. Die Engine ist ein neues Open-Source-Projekt, das Prozesse parallel ausführt, um datenintensiven Applikationen Operationen nahezu in Echtzeit zu ermöglichen.

Seit letzten Freitag ist es Fakt: Donald Trump ist der 45. amerikanische Präsident. Er beginnt sein Amt mit einem riesigen Netzwerk an Unternehmen, Investitionen und Verbandelungen. Deswegen haben Journalisten des Nachrichtenportals Buzzfeed Daten zum Trump-Netzwerk zusammengetragen. Das Ergebnis umfasst über 1.700 Personen und Unternehmen. Michael Hunger von neo4j hat die hauseigene Graphendatenbank genutzt, um das Datenknäuel zu entwirren.

Apache Beam hat den Inkubator verlassen und ist nun ein neues Top-Level-Projekt bei der Apache Software Foundation. Wir haben mit Davor Bonaci und Jean-Baptiste Onofré von der ASF über Apache Beam, den Weg zum Top-Level-Projekt und die Zukunft des APIs gesprochen.