WS 2026/27

Growth Marketing am Fall Aurenta

Kundenweg, Hypothese, Experiment

Prof. Dr. Jan Kirenz | Agentic AI für Growth Marketing | HdM Stuttgart

Der Input hat vier Teile

1 KundenwegSechs Stationen, an jeder gehen Kontakte verloren

2 AARRRFünf Fragen als Raster für Kennzahlen

3 Wertschöpfungskette und LoopVon der Frage zur Aktion, und wie Wachstum entsteht

4 HypotheseVon der Beobachtung zur prüfbaren Aussage

Etwa 35 Minuten. Danach Übung 1.2 mit den Webinar-Kontakten im Google Sheet.

Kurz die vier Teile nennen. Alles bezieht sich auf den Fall Aurenta, den die Teams in Übung 1.1 gelesen haben. Der Werkzeugkasten auf der Kurswebsite enthält denselben Inhalt zum Nachlesen.

Der Kundenweg

Auf dem Weg vom Fachbeitrag zum Auftrag verliert Aurenta an jeder Station Kontakte

Eine Station anklicken zeigt, was dort passiert. „Abspielen“ lässt die 330 Kontakte den Weg entlanglaufen, ein Punkt ist ein Kontakt.

An jedem Übergang gehen Kontakte verloren, und die Gründe unterscheiden sich: fehlendes Vertrauen, falscher Zeitpunkt, unklarer Nutzen. Deshalb braucht jeder Übergang eine eigene Maßnahme. Das ist der Kern von Growth Marketing: nicht mehr Kontakte oben hineinschütten, sondern die Stelle mit dem größten Verlust finden. Die drei Tage setzen bei der Nachbereitung an. Auf „Abspielen“ klicken: 330 Punkte laufen den Weg entlang, an jeder Station fallen die ab, die nicht weiterkommen, die Zähler laufen mit. Nach etwa zehn Sekunden stehen 330, 198, 39, 10. Den größten Verlust hier nicht benennen, das ist die Frage zwei Folien weiter. Kacheln anklicken, wenn jemand fragt, was eine Station bedeutet.

Von 198 Follow-ups führen 10 zu einem qualifizierten Gespräch

10 von 198 durchgeführte qualifizierte Gespräche nach dem Follow-up, das sind 5,1 Prozent in 14 Tagen.

Drei Kampagnen von Aurenta, Beobachtung jeweils 14 Tage nach dem Webinar.

Die Zahl nennen und stehen lassen. Ob 5,1 Prozent gut oder schlecht sind, weiß niemand ohne Vergleichsmaßstab. Die Frage ist eine andere: Wo auf dem Weg entsteht der Verlust?

Wo geht am meisten verloren, und welche Kennzahl zeigt das?

Eine Station anklicken.

Frage in den Raum, zwei bis drei Antworten sammeln. Erwartete Antwort: der Sprung von 198 Follow-ups auf 39 Antworten, also die Antwortquote von 19,7 Prozent. Danach die Buchungsquote 8,1 Prozent und die Quote qualifizierter Gespräche 5,1 Prozent, jeweils auf 198. Wichtig: 10 von 16 ist eine andere Kennzahl als 10 von 198. Die Zahlen zeigen den Engpass, nicht seine Ursache. Die Ursache ist Gegenstand der Hypothese in Übung 1.2.

Vier Begriffe genügen für das Projekt

Begriff

Lead

Ein Kontakt, der zur Zielgruppe passt und ein erkennbares Anliegen hat. Kein sicherer Auftrag.

Begriff

Qualifizierung

Prüfung, ob ein Lead zum Angebot passt, anhand vorher festgelegter Kriterien.

Begriff

Conversion

Ein vorher definierter Übergang, etwa vom Follow-up zum gebuchten Gespräch.

Begriff

Conversion-Rate

Zähler, Nenner und Zeitraum. Ohne alle drei ist es keine Rate.

Bei Aurenta heißt qualifiziert: Marketingaufgabe benannt, Zuständigkeit geklärt, nächster Schritt passt zum Leistungsumfang. Eine Buchung allein zählt nicht. Diese Definition steht im Fallpaket und wird am Mittwoch beim Testen gebraucht.

Eine Rate braucht Zähler, Nenner und Zeitraum

Keine Rate

• „16 Buchungen”
• „10 Gespräche, das sind 62 Prozent”
• „Die Kampagne lief gut”

Rate

• 16 Buchungen von 198 Follow-ups innerhalb von 14 Tagen: 8,1 Prozent
• 10 durchgeführte qualifizierte Gespräche von 198 Follow-ups: 5,1 Prozent

Die 62 Prozent links sind 10 von 16, also Gespräche pro Buchung. Das ist eine gültige Zahl, aber eine andere Kennzahl. Wer Nenner wechselt, vergleicht Äpfel mit Birnen. Im Testprotokoll und in der Experimentkarte wird deshalb immer der Nenner mitgeschrieben.

AARRR als Raster

Acquisition fragt, wie ein passender Erstkontakt entsteht

Acquisition

Die Frage

Wie entsteht ein passender Erstkontakt?

Bei Aurenta

Der Übergang

Anmeldung zum Webinar über einen Fachbeitrag. Passend heißt: Marketingabteilung eines mittelständischen B2B-Unternehmens.

Messgröße

Kennzahl

Anmeldungen je Fachbeitrag, Anteil der Anmeldungen aus der Zielgruppe.

Der erste Buchstabe. Nicht jede Anmeldung ist ein passender Kontakt: Eine Studentin, die das Webinar für eine Hausarbeit anschaut, ist keine Acquisition im Sinn von Aurenta.

Activation fragt, wann der Kontakt zum ersten Mal Nutzen erlebt

Activation

Die Frage

Wann erlebt der Kontakt zum ersten Mal konkreten Nutzen?

Bei Aurenta

Der Übergang

Eine Arbeitshilfe hilft bei der Auswahl eines eigenen KI-Anwendungsfalls, oder ein Erstgespräch klärt die Aufgabe.

Messgröße

Kennzahl

Anteil der Follow-ups mit Antwort, Anteil geführter qualifizierter Gespräche.

Das ist der Übergang, an dem die Blocktage arbeiten. Nutzen entsteht nicht durch den Empfang einer Nachricht, sondern wenn der Kontakt etwas damit anfangen kann: die Checkliste anwendet, die Zusammenfassung liest, im Gespräch seine Aufgabe schärft.

Retention fragt, warum die Beziehung relevant bleibt

Retention

Die Frage

Warum bleibt die Beziehung relevant?

Bei Aurenta

Der Übergang

Weitere passende Inhalte nach dem Webinar, erneute Zusammenarbeit nach dem Praxischeck.

Messgröße

Kennzahl

Anteil der Kunden mit Folgeprojekt, Öffnungsrate weiterer Inhalte bei Kontakten ohne Auftrag.

Für eine Beratung mit wenigen, großen Aufträgen ist Retention wichtiger als bei einem App-Geschäft: Ein Kunde, der nach dem Praxischeck ein zweites Projekt beauftragt, ist mehr wert als zehn neue Anmeldungen.

Referral fragt, wann das Angebot weiterempfohlen wird

Referral

Die Frage

Wann wird das Angebot weiterempfohlen?

Bei Aurenta

Der Übergang

Eine zufriedene Kundin stellt einen Kontakt her, oder eine Fallstudie zieht ähnliche Unternehmen an.

Messgröße

Kennzahl

Anteil der Erstkontakte, die über eine Empfehlung oder Fallstudie kommen.

Referral ist der Mechanismus hinter dem Growth Loop, der später kommt. Empfehlungen entstehen nicht von allein: Man muss danach fragen und es leicht machen, etwa mit einer freigegebenen Fallstudie.

Revenue fragt, wie Umsatz entsteht

Revenue

Die Frage

Wie entsteht Umsatz?

Bei Aurenta

Der Übergang

Der beauftragte KI-Praxischeck Marketing, 2.400 Euro netto als Festpreis.

Messgröße

Kennzahl

Aufträge je Kampagne, Umsatz je Auftrag, Kosten je Auftrag.

Erst hier wird aus Marketing Geld. Bei 330 Anmeldungen und zwei angenommenen Aufträgen wären das 4.800 Euro aus drei Kampagnen. Ob sich das rechnet, hängt von den Kosten je Anmeldung ab, die der Fall nicht nennt.

AARRR stellt fünf Fragen an jeden Kundenweg: die Übersicht

Bereich	Frage	Bei Aurenta
Acquisition	Wie entsteht ein passender Erstkontakt?	Anmeldung zum Webinar über einen Fachbeitrag
Activation	Wann erlebt der Kontakt zum ersten Mal Nutzen?	Arbeitshilfe zur Auswahl eines KI-Anwendungsfalls
Retention	Warum bleibt die Beziehung relevant?	Weitere passende Inhalte, erneute Zusammenarbeit
Referral	Wann wird das Angebot weiterempfohlen?	Eine zufriedene Kundin stellt einen Kontakt her
Revenue	Wie entsteht Umsatz?	Beauftragter Praxischeck

AARRR ist ein Raster, um Kennzahlen zu sortieren, keine Reihenfolge, die jede Dienstleistung durchläuft. Für eine Beratung mit wenigen, großen Aufträgen sind Retention und Referral wichtiger als bei einem App-Geschäft. Die Tabelle steht im Werkzeugkasten.

Im Blockkurs zählt der Übergang von Acquisition zu Activation

Vom Webinar-Kontakt zum qualifizierten Gespräch. Die anderen Bereiche kommen im Semesterprojekt je nach Zuschnitt mit Zoi dazu.

Das grenzt die drei Tage ein. Alles, was die Teams bauen, bearbeitet diesen einen Übergang. Was Zoi am Dienstag als Praxisfall mitbringt, kann einen anderen Bereich betreffen. Dann wird das Raster erneut angelegt.

Wertschöpfungskette und Growth Loop

Von der Frage zur Aktion führen sieben Stufen, und die Evaluation stellt die nächste Frage

Wertschöpfungskette

Von der Frage zur Aktion, und zurück zur Frage

Auf „Weiter“ klicken, um die sieben Stufen am Fall Aurenta zu durchlaufen. Ein Klick auf eine Stufe erklärt sie.

Mit „Weiter“ durch die sieben Stufen der ersten Runde klicken: Frage und Meinung, Plan mit Kennzahl und A/B-Design, Daten, Analyse als Kreuztabelle, Report ohne statistischen Test, Aktion (noch nicht umstellen), Evaluation. Der achte Klick springt zurück auf Frage: Die Evaluation der ersten Runde ist die Frage der zweiten. Dieselbe Kette wie in der Statistik-Vorlesung am Netflix-Beispiel (Box-Art, Klickrate), Quelle Google (2011) und Tingley et al. (2021). In den Blocktagen ersetzt das Testprotokoll den Feldversuch: Frage bis Plan sind Übung 1.2, Daten und Analyse die Übungen 1.4 und 1.5, Report die Demo um 16 Uhr.

Ein Growth Loop verstärkt sich mit jeder Runde

Growth Loop

Der Output einer Runde ist der Input der nächsten

Ein abgeschlossenes Projekt wird zur Fallstudie. Die Fallstudie zieht passende Interessierte an. Aus Interessierten werden neue Projekte. Auf „Nächste Runde“ klicken, ein Klick auf einen Knoten erklärt ihn.

Beispielzahlen für den Mechanismus: je Fallstudie 4 Interessierte, jede zweite Anfrage wird ein Projekt.

Fünfmal „Nächste Runde“ klicken. Ein Projekt wird zur Fallstudie, die Fallstudie bringt vier Anfragen, jede zweite wird ein Projekt: 1, 2, 4, 8, 16. Die Balken rechts zeigen die neuen Projekte je Runde. Die Zahlen sind Beispielwerte für den Mechanismus, keine Aurenta-Daten. Entscheidend ist die Struktur: Der Output einer Runde ist der Input der nächsten, ohne zusätzliche Kampagne. Voraussetzungen benennen: Kunden müssen der Fallstudie zustimmen, und die Anfragen müssen zur Zielgruppe passen. Ein wiederkehrender Reporting-Termin ist kein Loop, weil sein Ergebnis keine neuen Kontakte erzeugt.

Die Kette erzeugt Erkenntnis, der Loop erzeugt Wachstum

Wertschöpfungskette

• beschreibt, wie ein Team von der Frage zur Aktion kommt
• eine Runde, eine Kennzahl, eine Entscheidung
• Werkzeug der Blocktage und des Messdesigns

Growth Loop

• beschreibt, wie ein Geschäft wächst
• der Output eines Durchlaufs ist der Input des nächsten
• Frage für das Semesterprojekt: Gibt es bei Zoi einen solchen Mechanismus?

Häufige Verwechslung: Ein regelmäßiger Reporting-Termin ist kein Growth Loop, weil sein Ergebnis keine neuen Kontakte erzeugt. Ein Loop liegt nur vor, wenn der Output messbar zum nächsten Input wird.

Vom Material zur Hypothese

Aus Frage und Meinung wird eine prüfbare Hypothese

Frage

Beobachtung

198 Follow-ups, 16 Buchungen, 10 qualifizierte Gespräche. Wer nur nachlesen wollte, hat fast nie gebucht: 1 von 60.

Meinung

Mögliche Erklärungen

Die einheitliche Gesprächseinladung kommt zu früh. Oder: Angebot oder Zeitpunkt passen nicht.

Plan

Hypothese

Eine Nachbereitung nach Anliegen führt in 14 Tagen zu mehr qualifizierten Gesprächen als die einheitliche Einladung.

Beobachtung und Erklärung trennen. Der Trichter zeigt den Engpass, die Kreuztabelle Anliegen gegen Buchung liefert den Hinweis auf die Ursache. Zwei Erklärungen nebeneinander halten, bevor eine zur Hypothese wird. Das sind die Schritte 2 bis 5 in Übung 1.2.

Eine Hypothese folgt dem Muster „Wenn wir X ändern, dann Y, weil Z”

Wenn die Nachbereitung sich am Anliegen des Kontakts orientiert, statt allen ein Erstgespräch anzubieten, dann steigt die Zahl qualifizierter Gespräche in 14 Tagen, weil mehr Kontakte den für sie passenden nächsten Schritt bekommen.

X: die Änderung. Y: die messbare Wirkung mit Zeitraum. Z: der vermutete Mechanismus.

Das Muster ist die Vorlage für die Experimentkarte. Der „weil”-Teil ist der wichtigste: Er sagt, warum die Änderung wirken sollte, und lässt sich an einzelnen Fällen prüfen, bevor es Zahlen gibt. Ohne „weil” ist es eine Wette, keine Hypothese.

Ein KI-Workflow wird auf drei Ebenen bewertet

Ebene 1

Marketingwirkung

Bringt die Änderung mehr passende Gespräche? Gemessen als qualifizierte Gespräche je Gruppe in einem festen Zeitraum.

Ebene 2

Qualität

Sind Empfehlungen und Texte richtig? Anteil korrekter Empfehlungen, gedeckte Aussagen, eingehaltene Kontaktsperre.

Ebene 3

Aufwand

Spart der Workflow Zeit? Bearbeitungszeit pro Kontakt inklusive Prüfung und Nacharbeit.

In den Blocktagen wird Ebene 2 geprüft. Messdesign für Ebene 1 und Aufwand für Ebene 3 kommen im Semesterprojekt dazu.

Die drei Ebenen nicht vermischen. Ein Workflow kann perfekte Texte liefern und trotzdem keine Wirkung haben, oder Zeit sparen und dabei falsche Empfehlungen geben. Mehr Antworten auf ein Follow-up bedeuten nicht automatisch mehr passende Gespräche.

Indeed und Copy.ai zeigen, wo KI im Marketing heute eingesetzt wird

Indeed

KI für kreative Entwürfe, Tests, Markenrecherche und personalisierte Ansprache im Vertrieb (Interview mit OpenAI, Januar 2026).

Transferfrage: Welcher wiederkehrende Vorbereitungsschritt ähnelt der Nachbereitung bei Aurenta?

Copy.ai

Claude in Content-Workflows zur Erstellung und Bearbeitung von Marketinginhalten (Fallstudie von Anthropic).

Transferfrage: Welche Informationen und Prüfkriterien müssen feststehen, bevor Content in großer Zahl erzeugt wird?

Beide Quellen sind Berichte der KI-Anbieter, keine unabhängigen Studien. Links im Werkzeugkasten.

Kurz halten, zwei Minuten. Die Beispiele zeigen Einsatzformen, keine Erfolgswerte, die sich auf Aurenta übertragen ließen. Die Transferfragen können die Teams in Übung 1.2 als Anregung nutzen.

Übung 1.2: Vom Trichter zur Hypothese

Etwa 30 Minuten im Dreierteam.

1. Kopie des Google Sheets mit den 330 Webinar-Anmeldungen anlegen.
2. Pivot 1: Trichter je Kampagne. Wo gehen die meisten Kontakte verloren? Mit Zähler und Nenner in die Experimentkarte.
3. Pivot 2: Anliegen gegen Buchung. Welche Gruppe bucht fast nie, welche oft?
4. Zwei Erklärungen aus den Tabellen, eine davon als Hypothese: „Wenn wir X ändern, dann Y, weil Z”.
5. Kennzahl mit Zähler, Nenner und Zeitraum.

Ergebnis: Sheet-Kopie mit zwei Pivot-Tabellen und Experimentkarte in der Teamablage.

Anleitung und Material stehen auf der Montagsseite unter Übung 1.2. Rollen aus Übung 1.1 gelten: eine Person bedient, eine stellt fachliche Rückfragen, eine dokumentiert. Der Prompt-Test kommt erst nach dem Prompting-Input als Übung 1.3.

A/B-Test und Kreuztabellen

Ein A/B-Test vergleicht Kontrollgruppe und Treatment-Gruppe unter vier Regeln

Regel 1

Zufällige Zuteilung

Der Zufall entscheidet, wer in die Kontrollgruppe A (bisherige Einladung) und wer in die Treatment-Gruppe B (nach Anliegen) kommt.

Regel 2

Nur eine Änderung

Wer Text, Zeitpunkt und Absender gleichzeitig ändert, weiß nicht, was gewirkt hat.

Regel 3

Kennzahl vorher festlegen

Qualifizierte Gespräche innerhalb von 14 Tagen. Nicht nachträglich wechseln.

Regel 4

Genug Fälle

Kleine Unterschiede bei kleinen Zahlen sind meistens Zufall. Nächste Folie.

Regel 1: Sonst landen die vielversprechenden Kontakte in der neuen Variante. Regel 3: Nachträglich eine passendere Kennzahl zu wählen, macht jedes Ergebnis wertlos. Regel 4 wird auf der nächsten Folie ausprobiert.

Bei 100 Kontakten pro Gruppe entscheidet oft der Zufall, wer vorn liegt

Kontakte pro Variante 100 Wahre Quote Variante B 10 % (A: 5 %)

Gruppe	Qualifiziertes Gespräch	Kein Gespräch	Summe
A: Kontrollgruppe, bisherige Einladung	–	–	–
B: Treatment-Gruppe, nach Anliegen	–	–	–
Summe	–	–	–

Noch kein Durchlauf. Der Zufall entscheidet, welcher Kontakt ein Gespräch führt, mit den eingestellten wahren Quoten.

Ob ein Unterschied mehr als Zufall ist, klärt ein statistischer Test. Das kommt in einer eigenen Einheit im Semester, vor dem Messdesign.

Live vorführen: Oben zwischen absoluten Werten, Zeilenanteilen und Spaltenanteilen umschalten; die Gesprächsquote sind die Zeilenanteile. Bei 100 Kontakten und wahrer Quote B 10 Prozent mehrmals „Test durchführen” klicken. B gewinnt meistens, aber nicht immer, und der Abstand schwankt stark. Dann den Regler auf 400 schieben: Das Ergebnis wird stabil. Danach B auf 6 Prozent stellen und zeigen, dass selbst 400 Kontakte einen kleinen Unterschied nicht sichtbar machen. Das ist die Begründung für die Zahl 400 auf der übernächsten Folie.

Das Ergebnis eines A/B-Tests steht in einer Kreuztabelle mit absoluten Werten

Gruppe	Qualifiziertes Gespräch	Kein qualifiziertes Gespräch	Summe
A: Kontrollgruppe, bisherige Einladung	5	94	99
B: Treatment-Gruppe, nach Anliegen	9	90	99
Summe	14	184	198

Erfundene Beispielzahlen für Aurenta. Zeilen sind die Gruppen, Spalten das Ergebnis, Zellen die Anzahl der Kontakte. Stufe 1 von 3.

Dieselbe Kontingenztabelle wie in der Statistik-Vorlesung. Erst die absoluten Werte, dann zwei Arten von Anteilen, die zwei verschiedene Fragen beantworten.

Zeilenanteile beantworten: Wie viele der Kontakte in Gruppe B führten ein Gespräch?

Gruppe	Qualifiziertes Gespräch	Kein qualifiziertes Gespräch	Summe
A: Kontrollgruppe	5,1 %	94,9 %	100 %
B: Treatment-Gruppe	9,1 %	90,9 %	100 %
Gesamt	7,1 %	92,9 %	100 %

Jede Zeile summiert auf 100 Prozent. Das ist die Gesprächsquote, die im A/B-Test verglichen wird. Stufe 2 von 3.

5 von 99 gegen 9 von 99. Der Nenner ist die Gruppe. Das ist die Kennzahl aus dem Plan.

Spaltenanteile beantworten eine andere Frage: Wie viele der Gespräche kamen aus Gruppe B?

Gruppe	Qualifiziertes Gespräch	Kein qualifiziertes Gespräch	Summe
A: Kontrollgruppe	35,7 %	51,1 %	50 %
B: Treatment-Gruppe	64,3 %	48,9 %	50 %
Summe	100 %	100 %	100 %

Jede Spalte summiert auf 100 Prozent. 9 von 14 Gesprächen kamen aus B. Klingt eindrucksvoll, ist aber nicht die Gesprächsquote und sagt nichts über die Wirkung je Kontakt. Stufe 3 von 3.

Typischer Fehler in Marketingberichten: Spaltenanteile als Erfolgsquote verkaufen. Der Unterschied von 9,1 gegen 5,1 Prozent beruht auf 5 gegen 9 Gespräche. Ist der Unterschied zwischen den beiden Stichproben groß genug, um auf alle Kontakte zu schließen? Das ist die Inferenz-Frage; sie wird mit einem statistischen Test beantwortet, der später im Semester kommt.

Rund 400 Kontakte pro Gruppe, um 5 gegen 10 Prozent zu unterscheiden

Bei 99 Kontakten pro Gruppe ist ein Unterschied von 5 gegen 9 Gesprächen nicht von Zufall zu trennen. Für einen Nachweis von 5 auf 10 Prozent braucht ein Test etwa 400 Kontakte je Gruppe.

Übliche Annahmen eines statistischen Tests: Irrtumswahrscheinlichkeit 5 Prozent, Teststärke 80 Prozent. Wie die Rechnung geht, behandeln wir in einer eigenen Einheit im Semester.

Für das Semesterprojekt heißt das: Das Messdesign wird vollständig geplant, mit Varianten, Zuteilung, Kennzahl, Zeitraum und nötiger Fallzahl. Die Durchführung übersteigt meist den Projektzeitraum. Bewertet wird die Qualität des Designs, nicht die Höhe der Zahlen.

Jeder Testfall hat zwei Merkmale: die erwartete und die tatsächliche Empfehlung

Zeilen

Erwartet

Vor dem Lauf im Testprotokoll festgelegt. K-02: Material, weil nur nachgearbeitet werden soll.

Spalten

Tatsächlich

Was der Workflow ausgibt. K-02: Erstgespräch.

Zelle

Anzahl Fälle

K-02 landet in Zeile Material, Spalte Erstgespräch. Auf der Diagonale stehen die Treffer.

Dieselbe Kontingenztabelle wie beim A/B-Test, nur mit zwei anderen Merkmalen. Zeilenanteile: Wenn Material erwartet war, wie oft kam Material? Spaltenanteile: Wenn der Workflow Erstgespräch sagt, wie oft stimmt das?

Das ist die Brücke von der Statistik zur Qualitätsprüfung des Workflows. Zwei Variablen je Fall, Kreuztabelle, drei Lesarten. Danach die interaktive Tabelle.

Neun Testfälle, vier mögliche Empfehlungen: die Tabelle füllt sich beim Bewerten

Zeilen: erwartete Empfehlung aus dem Testprotokoll. Spalten: tatsächliche Empfehlung des Workflows. Zelle: Anzahl Fälle.

Noch nichts bewertet.

Zwei oder drei Fälle gemeinsam bewerten, dann „Beispiel mit zwei Fehlern“ klicken, danach auf Zeilenanteile und Spaltenanteile umschalten. Die Diagonale zeigt die richtigen Entscheidungen, die Fehler sammeln sich in der Spalte Erstgespräch: Der Workflow lädt zu oft zum Gespräch ein. Genau so vergleichen die Teams am Mittwoch ihren Workflow mit einer einfachen Lösung: gleiche Fälle, zwei Tabellen, Diagonale zählen.

Die Diagonale zeigt die Treffer, die Anteile zeigen, wo die nächste Regeländerung ansetzt

Erwartet (Zeile) / Workflow (Spalte)	Material	Rückfrage	Erstgespräch	Summe
Material	3	0	1	4
Rückfrage	0	2	1	3
Erstgespräch	0	0	2	2
Summe	3	2	4	9

Zeilenanteile: Material 3 von 4 (75 %), Rückfrage 2 von 3 (67 %), Erstgespräch 2 von 2 (100 %). Spaltenanteile: Wenn der Workflow Erstgespräch sagt, stimmt es nur in 2 von 4 Fällen (50 %). Ob 7 von 9 besser ist als 5 von 9 bei einer einfachen Lösung, klärt bei so kleinen Zahlen nur ein statistischer Test; auch das kommt später.

Zeilen sind die im Testprotokoll vorher festgelegten Erwartungen, Spalten die Empfehlungen des Workflows. Die Fehler in einer Spalte zeigen, welche Regel als Nächstes geändert wird: Der Workflow empfiehlt zu oft ein Erstgespräch. Mit dieser Tabelle vergleichen die Teams am Mittwoch den eigenen Workflow mit einer einfachen Lösung: gleiche Testfälle, zwei Tabellen, Diagonale zählen.

Das Messdesign ist Teil der Abgabe, die Durchführung nicht

Für Playbook und Evaluation im Semesterprojekt:

1. Varianten und die eine Änderung benennen
2. Zuteilung beschreiben (zufällig, welche Kontakte)
3. Kennzahl mit Zähler, Nenner und Zeitraum festlegen
4. Nötige Fallzahl abschätzen und mit der verfügbaren vergleichen
5. Kreuztabelle als Ergebnisformat vorbereiten
6. Kontroll- und Treatment-Gruppe, Kreuztabelle mit Zeilenanteilen und den statistischen Test für den Vergleich benennen (Einheit dazu folgt im Semester)

Das ist die konkrete Anforderung an den Evaluationsteil, der 30 Prozent der Note ausmacht. Die Statistik dazu (Fallzahl, Vergleich zweier Anteile) kommt in einer Coaching-Einheit im November, vor der Zwischenpräsentation am 1. Dezember.