Welches Logging Tool passt zu mir?

Logging Tools im Vergleich: Splunk – Loggly – Graylog – Papertrail – TestView – Logstash – SumoLogic

Moritz Hoffmann

(c) shutterstock.com / iunewind

Das Thema Datenverarbeitung steht in der Liste der zukunftsträchtigen Märkte ganz oben. Daraus erwachsen für die IT neue Herausforderungen, um die automatische Speicherung von Daten, ihre Prozessierung und Analyse schnell und übersichtlich zu ermöglichen. So stehen mittlerweile auch eine ganze Reihe von Logging-Tools zur Verfügung, die das Mangement von Log-Daten erleichtern sollen. Nur, für welche Variante soll man sich entscheiden? Von Cloud-Lösungen wie Splunk-Cloud, Loggly, SumoLogic oder Papertrail bis zum klassischen oder innovativen Software-Angebot von Splunk, GrayLog, XL TestView und Logstash gibt es viele verschiedene Ansätze und längst nicht alle Logging Tools bieten die gleichen Funktionen oder Preismodelle an. Im Folgenden stellen wir einige der beliebtesten Logging Tools vor.

Splunk

Hersteller: Splunk Inc.
Lizenz: Freeware (500MB/Tag), Enterprise
Aktuelle Version: Splunk 6.2.4
Link: www.splunk.com 

Splunk eignet sich vor allem zur Verarbeitung von Big Data. Über ein Web-Interface erfolgt der Zugriff auf Maschinen-generierte Daten, die dann in Echtzeit indiziert, untersucht und visualisiert werden können. Aus strukturierten wie aus unstrukturierten Daten erstellt Splunk Berichte und Statistiken. Für Hadoop steht mit Hunk auch ein eigenes Produkt zur Verfügung. Splunk Cloud bietet eine entsprechende SaaS-Lösung an.

Splunk Dashboard / Quelle: blogs.splunk.com

Splunk Dashboard / Quelle: blogs.splunk.com

Splunk eignet sich für alle Anwendungen, die mit großen Datenmengen operieren. Mit Splunk Light steht auch eine Variante für kleine IT-Umgebungen zur automatisierten Log-Suche und Analyse bereit. Dieses ist in Version 6.2.4 für Windows, Max und Linux zu beziehen. Das seit 2003 bestehende gleichnamige US-Unternehmen bietet Splunk in einer Freeware-Version an, in der pro Tag 500MB Daten bearbeitet werden können. Unter der Enterprise-Lizenz können maschinelle Daten unbegrenzt und in jeder Skalierung verarbeitet werden.

Loggly

Hersteller: Loggly Inc.
Lizenz: Freeware (200MB/Tag), Standard, Pro, Enterprise
Aktuelle Version: Generation 2
Link: https://www.loggly.com/

Loggly bietet nicht nur eine Cloud-Variante an, sondern ist selbst ein Cloud-basierter Logging-Dienst für den Echtzeit-Einblick in verwendete Datenmengen. Dabei nutzt Loggly keine urheberrechtlich geschützten Agents, die installiert oder auf dem neuesten Stand gehalten werden müssten, sondern arbeitet mit Standard-Protokollen wie syslog oder http. Loggly kann mit allen text-basierten Logs verwendet werden. Erkennung und Parsing der gängigen Web-Logs wie Apache, Nginx oder JSON-strukturierter Daten läuft dabei automatisch. Auch der Index, in dem die Daten zur Analyse gesammelt werden, erneuert sich mit jedem neuen Log automatisch. In Loggly steht ein Dashboards zur Verfügung, auf dem unbegrenzt Such-Ergebnisse und Trend-Graphiken zusammengestellt und verglichen werden können. Mit einer individuell anpassbaren Alert-Funktion können spezifische Log-Events signalisiert werden.

Loggly Production issue troubleshooting / Quelle: loggly.com

Loggly Production issue troubleshooting / Quelle: loggly.com

Für die Integration in bestehende DevOps-Workflows stehen einige Features zur Verfügung. Dazu gehören ein persistenter Workspace, in dem alle gespeicherten Suchen mit Team-Mitgliedern geteilt werden können; verschiedene Nutzerrollen, deren Zugang und Sichtbarkeit individuell festgelegt werden kann; oder auch ein RESTful API mit dem Schlüsselfunktionen aus Loggly in eigene Applikationen integriert werden können. Loggly steht in einer freien Lite-Version (200MB/Tag), einer Standard Version für 45 USD im Monat, einer Pro-Variante für 99 USD und einer Enterprise-Version für 499 Dollar zur Verfügung. Die einzelnen Leistungen sind hier nachzuvollziehen.

Graylog

Hersteller: Graylog Inc.
Lizenz: Open Source
Aktuelle Version: Graylog 1.1.5
Link: www.graylog.org

Graylog ist ein Open-Source-Projekt für das Log-Management von Daten jeglichen Formats. Auf der Graylog-Plattform werden sowohl strukturierte als auch unstrukturierte Log-Daten von verschiedenen Servern und Anwendungen gesammelt, indiziert und analysiert. Ebenso möglich ist die Verwendung von Komponenten für Metadaten wie MongoDB oder Elasticsearch als Log-Daten-Speicher und Text-Suche. Auch hier stehen Dashboards zur Verfügung, denen Analyse- und Suchresultate als Widgets zugefügt werden können. Suche und Visualisierungt sollen so in wenigen Minuten möglich sein. Graylog verfügt über eine Plug-in-offene Architektur, ein REST-API und einen offenen Standard für das Log Messaging (GELF). Vor kurzem ist ein Video zur Splunk-Integration für Graylog erschienen:


Die aktuelle Version Graylog 1.1.5 steht auf der Projektseite zum Download bereit.

Papertrail

Hersteller: Papertrail Inc.
Lizenz: Freeware (5GB/ erster Monat, danach 100MB/Monat), weitere Modelle nach Datenvolumen und Archiv-Dauer
Aktuelle Version: Papertrail 4.0.0
Link: https://papertrailapp.com/

Das Cloud-Log-Management-System Papertrail sammelt Anwendungs-Logs, Text-Logs und Syslog-Daten, um sie in Echtzeit per Browser, Kommandozeile oder API zu untersuchen. Dazu stehen verschiedene Log-Tools, flexible System-Gruppen, einen geteilten Team-Zugang, Langzeitarchive sowie den Export von Tabellen und Analyse-Berichten zu Verfügung. Unterstützt werden unter anderem syslog, Ruby on Rails, Apache, MySQL, Tomcat und Heroku apps. Mit einer Alarm-Funktion beim Monitoring soll das Troubleshooting beschleunigt werden. In Papertrail können miteinander verwandte Events auch zusammen betrachtet werden. Zudem sind Integrationen mit den gebräuchlichen Tools möglich, so beispielsweise mit AWS S3, Librato, Geckoboard oder mit Hadoop für die Langzeitanalyse. Auch Kombinationsmöglichkeiten mit Web Services sind gegeben.

Screenshot Tail & Search / Quelle: papertrail.com

Screenshot Tail & Search / Quelle: papertrail.com

Papertrail gibt es in einer kostenfreien Variante zur Nutzung mit eingeschränkter Suche (48 Stunden) und Archiven (7 Tage). Nach einem Monat werden die zur Verfügung stehenden 5 GB auf 100MB im Monat gesenkt. In einem mehrfach gestaffelten Bezahlsystem ist eine Suche von zwei Wochen und eine Archivierung über ein Jahr bei einer Nutzung von bis zu 1000 GB im Monat die teuerste Variante. Seit Mai 2015 ist Papertrail Teil des US-Unternehmens SolarWinds, das u.a. in der Entwicklung von DevOps-Lösungen engagiert ist.

XL TestView

Hersteller: XebiaLabs
Lizenz: Freeware (Community Edition), Pro, Enterprise
Aktuelle Version: XL TestView 1.2.0
Link: https://docs.xebialabs.com/xl-testview/index.html

XL TestView ist ein Verwaltungs- und Analyse-Tool für Test-Ergebnisse, das von XebiaLabs angeboten wird. XebiaLabs hat sich auf Software-Lösungen für DevOps und Continuous Delivery spezialisiert und steht in enger Verbindung mit dem CD-CI-Projekt Jenkins. Mit XL TestView können User alle für eine Anwendung relevanten Tests definiert, ausgeführt und analysiert werden. Eine Besonderheit ist das zentrale Dashboard, von dem aus die Ergebnisse ganz verschiedener Test-Tools auf einem Dashboard gesammelt und nach bestimmten Kriterien analysiert werden können. Auch die Gesamtqualität einer Anwendung kann hier abgefragt werden. Das Tool gibt auch selbst je nach vorliegender Anwendung Test-Empfehlungen ab.
Für das Tool wird unter anderem eine Jenkins Integration angeboten, mit der Test-Ergebnisse direkt aus Jenkins gezogen und mit anderen Ergebnissen in Beziehung gesetzt werden können. Unterstützt werden zudem Cucumber, FitNesse, Selenium, Cubumber.js, TestNG, Gatling und Apache JMeter. Mit dem zusätzlichen Tool xUnit gibt es auch Support für die Arbeit mit JUnit, Maven, Gradle, Karma und Appium.

 


Für Linux, Windows und Mac wird eine kostenfreie Community Edition angeboten, in der je ein Projekt + ein Dashboard mit Standard Reports, Flakiness Reports, Difference Reports und OSS-Test-Tool-Plug-ins zur Verfügung stehen. Erst in der Pro-Version, die für 499 Dollar im Monat zu haben ist, sind auch eine LDAP-Integration und Enterprise-Test-Tool-Plug-ins verfügbar. In der Enterprise-Version können unbegrenzt viele Projekte angelegt werden. Eine nach Themen gegliederte Dokumentation ist auf der XebiaLabs-Website einzusehen.

Logstash

Hersteller: elastic
Lizenz: Apache 2.0
Aktuelle Version: Logstash 1.5.3
Link: https://www.elastic.co/products/logstash

Ähnlich wie XL TestView kann die Daten-Pipeline Logstash Datenprozesse verschiedener Typen zentralisieren. Dabei ist es möglich, unterschiedliche Schemata und Formate zu parsen und in gängige Log-Formate umzuwandeln. Auch in Logstash stehen Plug-ins – über 160 an der Zahl – für die gebräuchlichen Datenquellen zur Verfügung. Das Logstash-API ist dabei auf auf eine schnelle Ergänzung noch fehlender Plug-ins ausgelegt, dafür wird ein eigener Guide angeboten. Für die verschiedenen Plug-ins wurden auch eigene GitHub Repositories angelegt, für die Mitarbeit wird die Nutzung von JRuby ab Version 1.9 empfohlen.

Comprehensive Logging mit Elasticsearch, Lostash und Kibana / Quelle: http://sroberts.github.io/2015/04/21/hunting-tools/

Comprehensive Logging mit Elasticsearch, Lostash und Kibana / Quelle: GitHub

Laut der Herstellerfirma elastic können mit Logstash alle denkbaren Daten von jeder denkbaren Quelle prozessiert werden. Dennoch wird die Nutzung im Verbund mit Elasticsearch und Kibana nahegelegt. Dabei fungiert Logstash als Lasttier zwischen  dem Datenspeicher im Backend (Elasticsearch) und dem Reporting-Tool Kibana im Frontend. Die aktuelle Version 1.5.2 steht unter der Apache 2.0 Lizenz zur freien Verfügung

SumoLogic

Hersteller: SumoLogic
Lizenz: Freeware (500MB/Tag), Pro, Enterprise
Aktuelle Version: SumoLogic
Link: https://www.sumologic.com/

SumoLogic ist in der Cloud beheimatet und hat sich auf das Log-Management und –Analyse von maschinen-generierten Big Data spezialisiert. In Echtzeit können Millionen von Log-Zeilen zum Einblick auf Sicherheitsrelevante oder operationale Analysefaktoren reduziert werden. SumoLogic verfügt über eine verteilte Architektur, in der alle Log-Daten für die sofortige Analyse verfügbar gehalten werden und setzt auf Googles Suchmaschinen-Ansatz auf. Mit fortgeschrittenen Machine-Learning-Algorithmen werden gewaltige Datenmengen auf handhabbare Groupings reduziert und kategorisiert. Das soll den Admins die Synthetisierung und Analyse erleichtern.  Zum Ökosystem gehören u.a.  Log-Analyzer von MySQL, Docker, Varnish, Chef, Puppet und AWS.

Software Release KPI / Quelle: SumoLogic.com

Software Release KPI / Quelle: SumoLogic.com

Bei DevOps-Teams wollen die Entwickler von SumoLogic mit einer Scale-on-demand-Funktion und Sharing-Optionen im bearbeiteten Stack punkten. Dazu wird auch eine End-to-End-Sichtbarkeit und ein kollaboratives Dashboard angeboten. Neben weiteren Continuous-Delivery-Tools stehen auch Monitoring für KPI’s und Statistiken sowie ein beschleunigtes Troubleshooting zur Verfügung. Für SumoLogic liegt ein kostenfreies Trial vor, das von bis zu drei Usern zur Verarbeitung von maximal 500 MB am Tag genutzt werden kann. Die Pro-Version kann von bis zu 20 Team-Mitgliedern für 1 GB am Tag verwendet werden und ist für 90 US-Dollar im Monat zu haben. Unbeschränkte Nutzeranzahl und unbeschränkten Support gibt es in der Enterprise-Variante.

Aufmacherbild: Stream of binary code. EPS10 vector background via Shutterstock.com
Urheberrecht: Hamara

Geschrieben von
Moritz Hoffmann
Moritz Hoffmann
Moritz Hoffmann hat an der Goethe Universität Soziologie sowie Buch- und Medienpraxis studiert. Er lebt seit acht Jahren in Frankfurt am Main und arbeitet in der Redaktion von Software und Support Media.
Kommentare

Hinterlasse einen Kommentar

avatar
4000
  Subscribe  
Benachrichtige mich zu: