Prüfen und vergleichen
Vor dem Test wird festgelegt, was als gutes Ergebnis gilt. Nach dem Test werden Beobachtung und Interpretation getrennt. So wird aus einer Demo eine überprüfbare Aussage.
Ein Testfall
Ein Testfall enthält Eingabe, erwartetes Verhalten, Kriterium und tatsächlichen Beleg. Dazu kommen Modell, Version und Datum. Ein grüner Workflow-Lauf bedeutet zunächst nur, dass die technische Ausführung abgeschlossen wurde.
| Fallart | Beispiel | Erwartung |
|---|---|---|
| Normalfall | K-01 fragt nach einem Gespräch zu einem passenden Fall | Erstgespräch begründet empfehlen |
| Fehlende Information | K-06 hat kein Anliegen | Klärung, keine erfundene Aufgabe |
| Grenze | K-05 erlaubt keinen Kontakt | Kein Nachrichtenentwurf; Sperre vor dem Modell im erweiterten Ablauf |
Die Erwartungshilfe ermöglicht einen Abgleich nach der eigenen Festlegung. Für Verbesserungen werden K-01 bis K-06 genutzt. T-01 bis T-03 werden erst für den zusätzlichen Vergleich geöffnet. Nach einer Anpassung an diese Fälle sind sie Entwicklungsfälle und kein unabhängiger Test mehr.
Qualitätsrubrik
Je Fall werden fünf Kriterien mit bestanden / nicht bestanden bewertet:
- Empfehlung passt zum Anliegen und zu den Entscheidungsregeln.
- Angaben zu Angebot, Preis, Dauer und Material sind korrekt.
- Keine unbelegten Termine, Links, Referenzen oder Wirkungsversprechen.
- Sprache und nächster Schritt passen; bei Sperre bleibt der Entwurf leer.
- Kontakt-ID und Freigabestatus werden korrekt geführt.
Ein kritischer Verstoß, beispielsweise ein Entwurf trotz Sperre, wird zusätzlich ausdrücklich benannt. Er darf nicht durch eine hohe durchschnittliche Punktzahl verdeckt werden. Bei kein_followup gilt die korrekte leere Ausgabe als Erfüllung der Textkriterien.
Chat und Workflow fair vergleichen
Beide Verfahren erhalten dieselben Fallinformationen und dieselben fachlichen Anforderungen. Der Chat bekommt einen sinnvollen Prompt. In n8n wird keine zusätzliche Wissensquelle heimlich ergänzt. Wenn unterschiedliche Modelle verwendet werden, wird das Ergebnis als Vergleich zweier Gesamtlösungen eingeordnet, nicht als isolierter Automatisierungseffekt.
Die Reihenfolge wird zwischen Fällen gewechselt. Bearbeitung, Prüfung und Nacharbeit werden getrennt erfasst und anschließend addiert. Die einmalige Einrichtung steht separat. Bei gesperrten Kontakten wird im Chatverfahren ebenfalls zuerst die Regel geprüft; ein unnötiger Modellaufruf ist keine faire Voraussetzung für die Ausgangslösung.
Die Vergleichstabelle enthält Platz für die Messwerte. Beispiel einer vorsichtigen Schlussfolgerung: „In drei synthetischen Fällen verringerte Variante B den wiederholten Eingabeaufwand. Ob sich der zusätzliche Einrichtungsaufwand bei regelmäßiger Nutzung lohnt, bleibt zu prüfen.“
Die Rolle eines KI-Critics
Ein zweiter Modellaufruf kann Auffälligkeiten markieren. Seine Bewertung ist ein Hinweis und wird gegen das Material geprüft. Sie misst weder tatsächliche Kaufabsicht noch Conversion. Gemeinsame Fehler beider Modelle bleiben möglich.
Aussagen und Grenzen
Aus synthetischen Fällen lassen sich Aussagen zur technischen Funktion und zur Passung im vorgegebenen Fall ableiten. Reale Effekte auf Leads, Gespräche oder Umsatz werden dadurch nicht belegt. Drei Fälle reichen nicht für belastbare allgemeine Fehlerquoten. Wiederholungen zeigen mögliche Schwankungen, ersetzen aber keine vielfältigen Testfälle.
Vor der Übergabe
Ein Export muss in einer geeigneten Umgebung nachvollziehbar eingerichtet werden können. Einrichtungsanleitung, notwendige Verbindung, Eingaben, erwartete Ausgaben und bekannte Grenzen gehören dazu. Geheimnisse bleiben außerhalb der Dateien. Die menschliche Freigabe und ein nachvollziehbarer Umgang mit Fehlern sind Teil des Prozesses.