Vom Score zum Ranking: wie du am Ende entscheidest
Mittelwert oder Median, was mit Ausreißern passiert, wo Schwellen sinnvoll sind, wann die Runde noch redet und wie aus Bewertungen eine Rückmeldung an die Teams wird. Der letzte Schritt einer Auswahlrunde, ohne den die Bewertung umsonst war.
Die Bewertungen sind da. Sechzig Einreichungen, je zwei Juroren, je acht Kriterien, alles in einer Tabelle. Jetzt kommt der Schritt, an dem die meisten Runden ihre Sorgfalt verlieren: Irgendjemand sortiert nach der Summenspalte, nimmt die ersten zehn, und die Diskussion beginnt bei null. Dabei ist der Weg vom Score zum Ranking eine eigene Aufgabe mit eigenen Regeln, und wer sie vorher festlegt, kann das Ergebnis später begründen.
Erst normieren
Zwei Juroren, zwei Maßstäbe. Auch mit Ankertexten ist eine Jurorin im Schnitt eine halbe Stufe strenger als der andere. Wenn beide dieselben Einreichungen bewerten, hebt sich das auf. Wenn nicht, und das ist der Normalfall bei zwölf Juroren und sechzig Einreichungen, hat ein Team Pech, das zwei strenge Juroren bekommen hat.
Die einfache Korrektur: Für jede Jurorin den Mittelwert aller ihrer Bewertungen berechnen und ihre Werte um die Differenz zum Gesamtmittel verschieben. Wer im Schnitt 48 vergibt, wo alle im Schnitt 55 vergeben, bekommt sieben Punkte auf jede Bewertung addiert. Das ist grob, aber es entfernt den größten Teil des Jurorenfehlers, und es lässt sich in einer Tabellenzeile erklären. Voraussetzung: Jede Jurorin hat mindestens acht Bewertungen; darunter ist der eigene Mittelwert Zufall.
Mittelwert, Median, Ausreißer
Bei zwei Bewertungen je Einreichung gibt es nur den Mittelwert. Bei drei oder mehr lohnt die Frage, was mit dem Ausreißer passiert. Der Median (der mittlere Wert) ignoriert ihn; der Mittelwert lässt ihn zählen. Für ein Ranking, das die Organisation begründen muss, ist der Mittelwert die bessere Wahl, mit einer Regel: Wo eine Bewertung mehr als zwanzig Punkte vom Mittel der anderen abweicht, wird sie nicht gestrichen, sondern angesehen. Meistens hat die Jurorin etwas gesehen, was die anderen übersehen haben, oder sie hat ein Kriterium anders verstanden. Beides will man wissen.
Auf Kriterienebene gilt dasselbe, mit zwei Stufen als Grenze: Liegen zwei Juroren bei einem Kriterium um zwei Stufen oder mehr auseinander, ist das der Gesprächsanlass. Nicht der Gesamtwert.
Schwellen statt Plätze
Ein Ranking suggeriert, dass Platz 7 besser ist als Platz 8. Bei Bewertungen mit zwei Juroren und acht Kriterien ist der Unterschied zwischen 61 und 60 Punkten Rauschen. Wer das ehrlich behandelt, arbeitet mit Schwellen: über 65 sicher in der nächsten Runde, unter 45 sicher nicht, dazwischen die Diskussionszone. Die Schwellen legst du vor der Runde fest, nicht nachdem du gesehen hast, wer knapp darunter liegt.
Die Diskussionszone ist der Teil, für den die Jury zusammenkommt. Nicht für die sicheren Fälle oben und unten, die sind entschieden. Für die zehn in der Mitte, und dort mit den Bewertungen auf dem Tisch, den Abweichungen je Kriterium und den Begründungen. Eine Stunde reicht, wenn die Vorarbeit stimmt.
Was die Runde noch entscheiden darf
Ein Ranking ist eine Vorlage, keine Entscheidung. Es gibt gute Gründe, davon abzuweichen: Zwei Teams aus derselben Nische, und das Programm will Vielfalt. Ein Team, das im Interview etwas gezeigt hat, was im Deck nicht stand. Eine Einreichung, bei der die Juroren so weit auseinanderlagen, dass das Mittel nichts bedeutet. Aber jede Abweichung wird aufgeschrieben, mit Grund, und sie ändert nicht die Bewertungen, sondern die Auswahl. Wer im Nachhinein Punkte ändert, damit das Ranking zur Entscheidung passt, macht die Jury zur Dekoration.
Was die Runde nicht entscheiden darf: einen Must-Have nachträglich zu vergessen, weil das Team so gut war. Wer die Teilnahmebedingungen nicht erfüllt, ist vor der Bewertung raus; wer das erst jetzt merkt, hat die Vorauswahl übersprungen, und die Lehre daraus gehört ins nächste Jahr, nicht in eine Ausnahme.
Die Rückmeldung an die Teams
Alles, was die Jury aufgeschrieben hat, ist Rückmeldung, wenn es in Ankertexten und Begründungen steht. „Finanzplan: Stufe 2, Zahlen fehlen oder widersprechen sich; die Umsatzannahme auf Folie 12 passt nicht zur Kundenzahl auf Folie 9“ ist ein Satz, den ein Team gebrauchen kann. Der Businessplan-Wettbewerb Berlin-Brandenburg schaltet die Bewertungen nach der Prämierung frei und stellt Juroren für Gespräche zur Verfügung; startklar veröffentlicht die Gewichtung vorher, damit die Teams wissen, worauf es ankam.
Was nicht in die Rückmeldung gehört: die Namen der Juroren zu den einzelnen Bewertungen, es sei denn, sie wollen das, und der Vergleich mit anderen Teams. Was hineingehört: die Werte je Kriterium, die Begründungen, und ein Satz, wie das Ranking zustande kam. Ein Team, das weiß, dass es mit 58 Punkten an der Schwelle von 65 gescheitert ist, und warum, bewirbt sich nächstes Jahr besser vorbereitet.
Das Protokoll
Was am Ende in einer Datei stehen sollte, für die Organisation, die Jury und im Zweifel für ein Team, das nachfragt: die Kriterien und Gewichte, die Schwellen, die Zuordnung der Juroren, die Normierung, das Ranking vor der Diskussion, die Abweichungen mit Grund, die Auswahl. Das dauert eine halbe Stunde und macht aus einem Bauchgefühl mit Zahlen einen Vorgang, der nächstes Jahr wiederholbar ist.
Quellen
Wie du Startups absagst, ohne Floskeln und ohne Ärger: was in jede Absage gehört, was nie, wann die Begründung kurz sein darf.