Suche
Interview mit Jeremias Rößler

„Das Generieren automatischer Tests scheitert heute hauptsächlich am Orakel-Problem“

Moritz Hoffmann

Jeremias Rößler

Auf der W-JAX 2015 wird Jeremias Rößler (ReTest) ein Konzept für zufallsbasiertes Testen von Software auf der Benutzeroberfläche vorstellen. Wir haben ihn im Vorfeld um einen kleinen Einblick in die Potentiale des Monkey Testings gebeten und erfragt, welche Vorzüge vollautomatisiertes und zufallsbasiertes Testen mit sich bringen.

JAXenter: Unter dem Titel “Lass die Affen testen“ beschäftigst du dich auf kommenden W-JAX mit der Möglichkeit vollautomatischen Testens. Zuallererst: Was verbirgt sich genau hinter dem Begriff des „Monkey Testings“?

Jeremias Rößler: Der Name “Monkey”-Testing ist abgeleitet aus dem Infinite-Monkey-Theorem. Ein Affe, der unendlich lange zufällig auf einer Schreibmaschine herumtippt, schreibt irgendwann alle Werke von Shakespeare. Beim Monkey-Testing tippt der Affe statt dessen auf dem Computer. In seiner einfachsten Form bedeutet Monkey-Testing einfach das Erzeugen von zufälligen Benutzereingaben und Systemereignissen.

JAXenter: Das Testen, so schreibst du im Abstract für deine W-JAX-Session, macht heute etwa 20% der Kosten für eine neue Software aus. Wie kommt diese Zahl zustande?

Jeremias Rößler: Das ist eine Zahl aus dem World Quality Report 2013/14 von Capgemini/Sogeti/HP S.7:

A higher proportion of overall IT budget is being invested in testing and focused on transformational projects. Our research shows that businesses are continuing to increase the proportion of their overall IT budgets allocated to application quality, from 18% in 2012 to 23% in 2013. This rate of growth is outpacing the generally acknowledged year-on-year global average increase of 2-3% in IT budgets, and is expected to increase further to 28% in 2015.

JAXenter: Diese Kosten ließen sich nach deiner Aussage drastisch senken, wenn man nicht nur automatische Tests manuell erstellt, sondern wirklich vollautomatische Tests etabliert. Was hat man sich technisch darunter vorzustellen?

Jeremias Rößler: Das Generieren automatischer Tests scheitert heute hauptsächlich am Orakel-Problem: dass man nämlich für einen generierten Test nicht entscheiden kann, ob das Testresultat auch fachlich richtig ist. Durch das Paradigma “Behavioral Diff” stellt sich die Frage gar nicht mehr. Es wird nur geprüft, ob sich nach einer Code-Änderung das “Verhalten” im weitesten Sinne ändert. Zentrale Herausforderung wird dabei die Wiederholbarkeit einer Programmausführung.

JAXenter: Welche Testings sind heute in diesem Sinne voll automatisierbar und welche nicht?

Jeremias Rößler: Mit Behavioral Diff sind Integrations-, System- und Oberflächentests automatisierbar, die folgende Kriterien erfüllen: Sie laufen in einer sauber getrennten Testumgebung ab, über welche man die volle Kontrolle hat. Tests, bspw. in einem Live-System, kann man damit nicht durchführen.

Ich zeige im Vortrag, wie man den Ansatz für die Benutzerschnittstelle (GUI) implementiert, aber anwendbar ist Behavioral Diff prinzipiell für jede andere Schnittstelle auch.

JAXenter: Dem vor kurzem veröffentlichten State of Testing Report zufolge findet automatisiertes Testen in großem Maßstab heute vor allem in kleinen Unternehmen statt. Hast du dafür eine Erklärung?

Jeremias Rößler: Ich denke, große Unternehmen können sich externes manuelles Testen leisten, bspw. in Testcentern in Indien. Für kleine Unternehmen rentiert sich das nicht, sie müssen das Problem anders lösen – in teuer erstellen automatischen Tests.

JAXenter: Hab vielen Dank für das Interview!

 

Dr. Jeremias Rößler hat sich als Entwickler auf die Erstellung und Erhaltung von großen und komplexen Software-Systemen spezialisiert. Er verfügt über mehr als zehn Jahre Programmier-Erfahrung und hat im Jahr 2013 seinen Doktortitel an der Saarland-Universität erhalten. Er ist zudem Gründer von ReTest. Das Unternehmen bietet ein Tool für voll automatisieres Progress-Testing.

Geschrieben von
Moritz Hoffmann
Moritz Hoffmann
Moritz Hoffmann hat an der Goethe Universität Soziologie sowie Buch- und Medienpraxis studiert. Er lebt seit acht Jahren in Frankfurt am Main und arbeitet in der Redaktion von Software und Support Media.
Kommentare

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.