Was ist Apache Knox?

Hinter dem Apache-Projekt Knox versteckt sich ein REST API Gateway für die Interaktion mit Hadoop Clustern. Knox ist als Reverse Proxy konzipiert, der im Bereich Policy Enforcement erweiterbar ist. Ziel ist es, das Hadoop-Security-Modell für User, die auf Cluster-Daten zugreifen, sowie für Entwickler, die Cluster und  Authentifizierungsrollen verwalten, zu vereinfachen.

Bereitgestellt wird Enterprise-taugliche Funktionalität für die Cluster-Verwaltung, das Monitoring und die Automatisierung, insbesondere LDAP und Active Directory Authentication Provider, HTTP Header basierte Identity Federation, Auditing und Service Level Autorisierung. Knox soll gut mit Kerberos gesicherten Hadoop-Cluster zusammenspielen und mit existierender Sicherheitsinfrastruktur interagieren.

Folgende Architekturskizze beschreibt den Aufbau eines typischen Knox-Hadoop-Clusters:

Diverse Hadoop-Services verfügen über Integrationen mit dem Knox Gateway, darunter WebHDFS (HDFS), Templeton (HCatalog), Stargate (HBase), Oozie und Hive/JDBC. Aktuell ist Version 0.4.0 des Projektes, die unter der Apache 2.0 stehend auf http://knox.apache.org/ heruntergeladen werden kann. Es handelt sich dabei um das erste Release als Apache Top-Level-Projekt.

Der Hadoop-Vertreiber Hortonworks stellt auf der Unternehmensseite diverse Tutorials zu Knox bereit, die in verschiedene Themenbereiche einführen.