Folge 5

Der Test

Ausprobieren ist nicht testen. Mira baut den kleinsten ehrlichen Vergleich, den es gibt — und hält dabei alles still, was sie nicht messen will.

5 Min. Lesezeit

Der Beirat war sich einig: ausprobieren.

Ausprobieren ist nicht dasselbe wie testen, und in diesem Unterschied steckt die ganze Folge.

Die einfache Fassung geht so. Mira geht am Samstag zur Wiese am Steg, verkauft gut, packt ihre Sachen und bleibt dort. Was sie danach hat, ist ein guter Tag an einem neuen Platz. Was sie nicht hat, ist ein Vergleich. Samstag ist nicht Montag, die Sonne war eine andere, und die Erinnerung an letzte Woche ist keine Messung. Das war Folge 3.

Zeichnung: Zwei Kinder stehen an unterschiedlichen Stellen am Seeufer, verbunden durch eine gepunktete Linie mit zwei Kalendersymbolen; die Stelle im Vordergrund ist mit einem goldfarbenen Fleck markiert.
Vier Tage, zwei Plätze, eine Variable: A bringt 13 Eis pro Stunde, B neun.

Zwei Buchstaben

Sie zeichnet den See auf ein Blatt Papier und schreibt zwei Buchstaben hinein. A ist die Wiese am Steg. B ist ihr Uferweg.

Nicht „neu“ und „alt“. Nicht „der bessere“ und „mein alter“. Namen, in denen das Ergebnis schon drinsteckt, hat sie in Folge 3 genug gehört.

Vier Tage, eine Variable

Montag und Mittwoch steht sie an B. Dienstag und Donnerstag an A.

Warum nicht eine Woche hier und eine Woche dort? Weil dann das Wetter mit umzieht. Im Wechsel liegen beide Plätze im selben Wetterfenster, und ein Hitzetag trifft beide.

Warum kein Wochenende? Weil Samstag ein anderes Tier ist. Der Vergleich soll zwischen den Plätzen laufen, nicht zwischen Samstag und Dienstag.

Alles Übrige hält sie still. Dieselben sechs Stunden, elf bis siebzehn Uhr. Derselbe Preis. Dieselbe Box. Sie allein, denn die Mitschülerin hat in dieser Woche frei: Zwei Änderungen auf einmal ergeben hinterher zwei Erklärungen und keinen Beweis.

Kein Schild, keine zweite Sorte, kein längerer Tag. Alles davon steht auf ihrer Ideenliste. Alles davon wartet.

Was sie da aufsetzt, ist ein Ein A/B-Test vergleicht zwei Varianten unter sonst gleichen Bedingungen — zwei Standplätze, zwei Wochentage, ein Ergebnis. Ohne diesen Vergleich bleibt jede Behauptung „das läuft besser“ eine Vermutung. ganze Karte in der kleinsten ehrlichen Form, die es gibt.

B ist dabei nicht der langweilige Teil. B ist der Teil, der ihr sagt, ob die Woche überhaupt etwas taugt. Bricht an beiden Plätzen alles ein, war es die Woche und nicht der Platz. Ein Vergleich braucht immer die Seite, die sich nicht ändert. In Miras Worten: „B ist der Platz, an dem ich weiß, was normal ist.“

Gemessen wird Eis pro Stunde, an jedem Testtag. Nicht der Gewinn am Monatsende. Das eine kann sie noch beeinflussen, das andere nur noch zur Kenntnis nehmen — Eine führende Kennzahl sagt dir früh, wohin es geht — Eis pro Stunde am Vormittag. Eine nachlaufende Kennzahl bestätigt es erst hinterher — der Gewinn am Abend. Wer nur nachlaufend misst, erfährt das Problem, wenn es zu spät ist, etwas zu ändern. ganze Karte heißt dieses Paar im Lehrbuch.

Die Zahlen

Montag an B: 51 Eis. Mittwoch an B: 57. Zusammen 108 Eis in zwölf Stunden, also neun pro Stunde.

Dienstag an A: 72 Eis. Donnerstag an A: 84. Zusammen 156 Eis in zwölf Stunden, also dreizehn pro Stunde.

Vier Eis pro Stunde Unterschied. In Geld: 6,50 € Marge in der Stunde an A, 4,50 € an B.

Jetzt leg die Linie aus Folge 4 daneben. Sie liegt bei 5 €. An ihrem alten Platz hätte sich eine gekaufte Stunde nach diesen vier Tagen nicht gerechnet, egal wie gut die Mitschülerin verkauft. An A rechnet sie sich: 1,50 € bleiben pro gekaufter Stunde übrig.

Die Frage aus Folge 2 war nie, ob die Neue schlechter war. Sie war, ob der Stand am richtigen Platz stand.

Nebenbei hat der Test sie keinen einzigen Verkaufstag gekostet. Sie hat an allen vier Tagen verkauft, 264 Eis, 132 € Marge. Sie hat nur zusätzlich aufgeschrieben, wo sie dabei stand.

Eis und Ertrinken

Zwei Kurven steigen im Sommer gemeinsam: der Eisverkauf und die Zahl der Ertrunkenen. Der Zusammenhang ist echt, er ist messbar, und er steht in jedem Einführungskurs. Verursacht Eis das Ertrinken? Natürlich nicht. Es ist warm. Die Wärme treibt beides — mehr Eis, mehr Menschen im Wasser.

Mira darf sich kurz freuen: Ihr eigenes Sortiment ist das Standardbeispiel des Fachs. Und zwar auf der Seite, auf der erklärt wird, wie man sich täuscht.

Der versteckte dritte Faktor heißt Ein Confounder ist ein versteckter Faktor, der beide Seiten eines Vergleichs verzerrt — mehr Eis und mehr Ertrinken hängen zusammen, nicht weil das eine das andere verursacht, sondern weil an heißen Tagen beides steigt. Wer den Confounder übersieht, verwechselt Zusammenhang mit Ursache. ganze Karte und sitzt auch in ihrer Testwoche. Was, wenn Dienstag und Donnerstag einfach wärmer waren als Montag und Mittwoch? Dann hat sie nicht zwei Plätze verglichen, sondern zwei Wetterlagen.

Ausschließen kann sie das nicht. Der Wechsel im Zwei-Tage-Takt macht es unwahrscheinlicher, denn das Wetter müsste sich zweimal in dieselbe Richtung verschworen haben. Ab jetzt schreibt sie die Temperatur dazu; das kostet eine Zeile am Tag.

Und sie tut das Billigste, was man mit einem Verdacht tun kann: Sie wiederholt die Woche mit getauschten Tagen. A am Montag und Mittwoch, B am Dienstag und Donnerstag. A kommt auf zwölf, B auf neun. Am Wochentag lag es nicht.

Vier Eis Unterschied auf neun sind gut vierzig Prozent. Ein Abstand in dieser Größe hält vier Tage aus. Wären es 10,2 gegen 9,8 gewesen, hätte sie nach vier Tagen nichts in der Hand gehabt — und müsste das dann auch sagen. Kleine Unterschiede brauchen viele Tage, große brauchen wenige. Wer diese Regel umdreht, misst so lange, bis das Ergebnis passt.

Jetzt dreh den Spiegel. Deine wichtigste Kennzahl ist gestiegen, nachdem du etwas geändert hast. Was lief zur selben Zeit noch?

Der Beirat ist dran

Mira zieht um. Sie hat einen Platz, eine Linie und ein Verfahren, mit dem sie das nächste Mal wieder herausfindet, was sie noch nicht weiß.

Eine Frage bleibt offen: Ob zwei Verkäuferinnen an A gemeinsam über zehn Eis pro Stunde bleiben, weiß sie nicht. Zwei Personen an einem Stand bedienen sich womöglich gegenseitig die Schlange weg. Das ist der nächste Test, und diesmal weiß sie, wie er aussieht.

Was soll sie als Nächstes verbessern?

Schreib deine Ideen auf, bevor du weiterliest. In Folge 6 liegen zehn davon auf dem Tisch — und sie hat Zeit für sechs.