KI im Softwaretest – was geht eigentlich alles?
Ich habe kürzlich gehört, dass in Bewerbungsgesprächen inzwischen gefragt wird, was man mit KI im Softwaretest machen kann.
Ja, was soll man darauf antworten?
Meine spontane Antwort wäre: Fast alles.
Zumindest dann, wenn ich KI nicht auf einzelne Anwendungsfälle reduziere, sondern überlege, wie sie mich bei meiner Arbeit unterstützen kann.
Ein Beispiel gefällig? Diese Homepage.
Ein Prompt. Vielleicht waren es auch zwei.
KI hat mir geholfen, meine Gedanken für diese Homepage zu strukturieren. Anschließend hat sie eine Testanalyse für die Seite durchgeführt.
Und dann wurde es interessant.
KI hat direkt in meinem GitHub-Projekt eine Action angelegt, die bei jedem Commit und zusätzlich einmal täglich zu einer festen Uhrzeit automatisierte Funktionstests ausführt.
Die Testlogik liegt in einer Gherkin-.feature-Datei. Für die Testautomatisierung kommt Playwright zum Einsatz.
Dafür habe ich einen Prompt gebraucht. Vielleicht waren es auch zwei. So genau weiß ich das gar nicht mehr.
Was ich weiß: Früher hätte mich das deutlich mehr Zeit gekostet.
Ist meine Homepage dadurch automatisch gut getestet? Natürlich nicht. Ob die richtigen Dinge geprüft werden, muss ich immer noch beurteilen.
Werkzeug oder Junior-Mitarbeiter?
Ich bin mir manchmal nicht sicher, wie ich KI eigentlich betrachten soll.
Als Werkzeug? Oder eher als Junior-Mitarbeiter in meinem Team?
Man soll KI ja nicht vermenschlichen. Trotzdem habe ich mich schon dabei ertappt, wie ich vor dem Bildschirm saß und dachte: „Das Ding ist doch saublöd!“
Dabei kann das Ding weder Gedanken lesen noch hat es eine Glaskugel.
Wenn ich nicht klar sage, was ich möchte und was ich erwarte, brauche ich mich über ein unpassendes Ergebnis eigentlich nicht zu wundern.
Das ist für mich eine wichtige Erkenntnis: Ich muss selbst wissen, was ich erreichen möchte. Die KI kann mir dabei helfen, den Weg dorthin zu finden.
Der Junior wird irgendwann Senior
Ein Junior-Mitarbeiter lernt dazu. Er sammelt Erfahrungen, versteht Zusammenhänge und übernimmt nach und nach mehr Verantwortung. Irgendwann wird er Senior. Vielleicht bekommt er sogar graue Haare.
Bei KI ist das anders.
Früher begann ein neuer Chat weitgehend mit einem leeren Blatt Papier. Heute gibt es Erinnerungen, gespeicherte Informationen und weitere Möglichkeiten, Kontext über mehrere Gespräche hinweg bereitzustellen.
Fluch oder Segen? Weiß ich noch nicht.
Einerseits ist es praktisch, wenn ich nicht ständig alles neu erklären muss. Andererseits kann der vorhandene Kontext auch zum Problem werden.
Ich habe schon erlebt, dass ein Chat völlig in die falsche Richtung läuft. Dann versuche ich, mit weiteren Prompts gegenzusteuern. Der Kontext wird umfangreicher, die Antworten werden verwirrender und irgendwann frage ich mich, warum ich das eigentlich noch mache.
Inzwischen gehe ich anders vor: Ich nehme das letzte Ergebnis, mit dem ich zufrieden war, und beginne damit einen neuen Chat.
Manchmal ist der beste Prompt ein neuer Chat.
Wer trägt eigentlich die Verantwortung?
Beim Junior-Mitarbeiter gehört es anfangs zu meinen Aufgaben, Wissen zu vermitteln, Ergebnisse zu prüfen und ihn zu begleiten. Mit zunehmender Erfahrung kann er mehr Verantwortung selbst übernehmen.
Bei KI funktioniert das nicht.
Ganz gleich, wie überzeugend ihre Antworten sind oder wie viele Informationen sie bereits im Kontext hat: Für das, was ich mit ihren Ergebnissen mache, bleibe ich verantwortlich.
Wenn ich mit einem Hammer ein Loch in die Wand haue, ist das schließlich auch mein Problem. Nicht das Problem des Hammers.
Und wenn ich KI Code schreiben lasse, kann ich mich später nicht einfach mit dem Satz herausreden: „Den Code hat die KI gemacht.“
Das erklärt vielleicht, woher der Code stammt. Nicht, warum ich ihn eingesetzt habe.
Wer hat eigentlich behauptet, dass KI fehlerfrei sein muss?
Ich glaube nicht, dass generative KI grundsätzlich fehlerfrei arbeiten kann. Ihre Funktionsweise lässt Raum für falsche, unvollständige oder frei erfundene Ergebnisse.
Natürlich gibt es Techniken, um Ergebnisse zu überprüfen und Fehler zu reduzieren. Eine Garantie auf hundertprozentige Fehlerfreiheit entsteht dadurch nicht.
Und mal ehrlich: Wir Menschen sind schließlich auch nicht fehlerfrei.
Warum sollte ich also von KI etwas erwarten, das ich von einem Menschen nicht erwarte?
Für mich ist entscheidend, dass ich beurteilen kann, ob ein Ergebnis für seinen vorgesehenen Zweck geeignet ist.
Dafür muss ich wissen, welche Anforderungen gelten, welche Risiken bestehen und wie gründlich ich prüfen muss.
Klasse statt Masse
Eine Sache bereitet mir beim Einsatz von KI durchaus Kopfzerbrechen.
Ich kann in kürzester Zeit unglaublich viel Output erzeugen. So wie gerade hier. Ich finde es toll, dass du bis hierhin gelesen hast.
Nur weiß ich damit noch lange nicht, ob dieser Output fachlich in Ordnung ist.
KI kann mir Hunderte Testfälle, umfangreiche Analysen oder große Mengen Code liefern. Die eigentliche Herausforderung beginnt dann möglicherweise erst: Ich muss das alles überblicken und verstehen können.
Was bringt mir eine Sammlung von 300 automatisierten Tests, wenn ich nicht mehr weiß, was sie prüfen?
Was bringt mir Code, dessen Verhalten ich nicht nachvollziehen kann?
Nur weil KI etwas schnell erstellen kann, muss ich es nicht in dieser Menge erstellen lassen.
Ich möchte die Ergebnisse verstehen, beurteilen und verantworten können.
Deshalb gilt für mich: Klasse statt Masse.
Eine KI-Richtlinie, die niemand liest
Bisher ging es vor allem darum, wie ich persönlich mit KI arbeite. Für Unternehmen stellt sich noch eine andere Frage:
Wie sorgen wir dafür, dass Mitarbeiter KI sinnvoll und sicher nutzen können?
Natürlich brauchen wir Regeln. Wir müssen beispielsweise klären, welche Informationen in welche Systeme eingegeben werden dürfen und wie mit vertraulichen Kundendaten umzugehen ist.
Ich bezweifle allerdings, dass eine umfangreiche KI-Richtlinie allein dafür ausreicht.
Das erinnert mich an manche Testkonzepte. Jeder weiß, dass es eines gibt. Wie viele Menschen tatsächlich wissen, was darin steht, ist eine andere Frage.
Und während wir noch über Richtlinien, Freigaben und geschützte Umgebungen diskutieren, entwickelt sich KI weiter.
Gleichzeitig möchten Mitarbeiter ihre Aufgaben erledigen.
Dann wird möglicherweise schnell die private KI genutzt. Ein Kundendokument hochgeladen. Eine Testanalyse erstellt. Fertig.
Ups. Waren da nicht sensible Informationen drin?
Nicht jeder KI-Dienst behandelt Daten gleich. Gerade deshalb müssen Mitarbeiter verstehen, welche Werkzeuge sie für welche Informationen verwenden dürfen.
Wir müssen Menschen befähigen, KI verantwortungsvoll einzusetzen. Nicht nur Regeln veröffentlichen.
Dazu gehören verständliche Leitplanken, geeignete Werkzeuge und die Möglichkeit, praktische Erfahrungen zu sammeln.
Ein Zertifikat ist ein Anfang
Mit dem ISTQB CT-AI und CT-GenAI gibt es zwei hilfreiche Möglichkeiten, sich Grundlagen anzueignen.
CT-AI beschäftigt sich insbesondere mit dem Testen KI-basierter Systeme. CT-GenAI richtet den Blick stärker darauf, wie generative KI im Softwaretest eingesetzt werden kann und welche Risiken damit verbunden sind.
Beides vermittelt wertvolles Wissen.
Nur wartet die Entwicklung der KI nicht darauf, dass Lehrpläne und Schulungsunterlagen aktualisiert werden.
Deshalb ist eine Schulung für mich ein guter Ausgangspunkt. Kein Schlusspunkt.
Wir müssen weiter ausprobieren, Erfahrungen austauschen und unser Wissen regelmäßig hinterfragen.
Und die nächsten Fragen?
Ich finde es faszinierend, was mit KI inzwischen möglich ist.
Manchmal bin ich beeindruckt, wie schnell ich zu einem brauchbaren Ergebnis komme. Manchmal frage ich mich, wie ein System, das gerade noch eine komplexe Aufgabe gelöst hat, bei einer scheinbar einfachen Frage so grandios danebenliegen kann.
Ich habe längst nicht auf alles eine Antwort.
Ich probiere aus, prüfe Ergebnisse, hinterfrage meine Erwartungen und lerne dazu.
Und wenn es gar nicht mehr weitergeht?
Dann beginne ich eben einen neuen Chat.
Wenn du tiefer einsteigen möchtest
Einige der Themen, die mich bei der Softwarequalität beschäftigen, haben auf dieser Website ihren eigenen Platz.
Wie Teams ihre Qualitätsarbeit gemeinsam reflektieren, Stärken erkennen und Verbesserungen entwickeln können.
Seit 2013 fasziniert mich die Frage, wie wir Modelle nutzen können, um Testing besser mit der Entwicklung zu verzahnen. Model-Based Testing ist für mich weit mehr als die automatische Generierung von Testfällen.