Eine Jury zusammenstellen, die ein Ranking begründen kann

Die Jury ist die teuerste Ressource einer Auswahlrunde, und sie wird am nachlässigsten geplant. Man fragt, wer Zeit hat, schickt einen Bogen und hofft. Das Ergebnis sind Juroren, die drei Wochen nach der Frist noch nicht bewertet haben, Bewertungen, die man nicht vergleichen kann, und ein Ranking, das die Organisation am Ende selbst zusammenschiebt. Eine Jury, die ein Ranking begründen kann, braucht fünf Entscheidungen, und alle fallen vor der Ausschreibung.

Größe: zwei je Einreichung, nicht alle für alles

Die Zahl, die zählt, ist nicht die Größe der Jury, sondern die Zahl der Bewertungen je Einreichung. Der Businessplan-Wettbewerb Berlin-Brandenburg lässt jedes Konzept von zwei Juroren unabhängig bewerten. Das ist der Mindeststandard: Eine Bewertung ist eine Meinung, zwei sind ein Maß. Drei sind besser, wenn die Jury groß genug ist, weil dann ein Ausreißer sichtbar wird, statt das Ergebnis zu bestimmen.

Daraus ergibt sich die Größe. Sechzig Einreichungen, zwei Bewertungen je Einreichung, zehn Bewertungen je Juror: zwölf Juroren. Zehn Bewertungen je Person sind realistisch für ein Ehrenamt in drei Wochen; zwanzig sind es nicht. Wer mehr Einreichungen hat, braucht mehr Juroren oder eine Vorauswahl durch die Organisation, nicht mehr Bewertungen je Person.

Mischung: Verzerrungen, die sich aufheben

Jede Jurorin hat eine Verzerrung. Investoren bewerten den Markt streng und die Präsentation nachsichtig. Gründer bewerten das Team streng und den Finanzplan nachsichtig. Hochschullehrer bewerten die Herleitung. Branchenleute bewerten nach dem, was sie kennen. Das ist nicht schlimm, solange die Verzerrungen verschieden sind, denn dann heben sie sich im Mittel auf. Schlimm ist eine Jury aus acht Investoren derselben Stadt: Da addieren sich die Verzerrungen, und das Ranking ist der Geschmack einer Gruppe.

Eine brauchbare Mischung für einen Businessplan-Wettbewerb: ein Drittel Investoren oder Förderer, ein Drittel Gründer mit Erfahrung, ein Drittel Fachleute aus Branchen oder Hochschulen. Dazu die Frage, die sich viele nicht trauen: Sind Frauen in der Jury? Wenn nicht, bewertet die Jury Gründerinnen anders, und das sieht man am Ende im Ranking.

Zuordnung: die Organisation entscheidet, nicht die Jury

Wer welche Einreichung bewertet, legt die Organisation fest, nicht die Juroren nach Interesse. Drei Regeln: Wer ein Team kennt, mit ihm konkurriert oder in es investiert hat, bewertet es nicht; die Jurorin meldet das, die Organisation ordnet um. Jede Einreichung bekommt Juroren aus verschiedenen Gruppen, nicht zwei Investoren. Und die Reihenfolge, in der Juroren ihre Einreichungen bekommen, ist gemischt, damit nicht dieselbe Einreichung bei allen als Erste oder Letzte kommt.

Das klingt nach Aufwand und ist eine Stunde mit einer Tabelle. Die Stunde spart später die Diskussion, warum das Team von Jurorin X auf Platz eins steht.

Vereinbarung: drei Absätze, die jede Jurorin unterschreibt

Vertraulichkeit. Alles aus den Einreichungen bleibt in der Jury: keine Weitergabe, keine Nutzung für eigene Zwecke, auch nicht für das eigene Portfolio oder die eigene Firma. Das gilt auch nach dem Wettbewerb.

Interessenkonflikte. Die Jurorin meldet der Organisation, wenn sie ein Team kennt, mit ihm geschäftlich verbunden ist oder in es investiert hat, und bewertet es dann nicht. Im Zweifel melden.

Rückgabe. Nach der Runde werden alle Unterlagen gelöscht, auch die Kopien im Download-Ordner und im Postfach. Die Organisation bestätigt, wann die Runde vorbei ist.

Dazu, was die Jurorin von der Organisation bekommt: den Bogen mit Ankertexten, eine Einweisung von dreißig Minuten, eine klare Frist, und nach der Prämierung die Information, wie ihre Bewertungen im Ranking gelandet sind. Juroren, die nie erfahren, was aus ihrer Arbeit wurde, kommen nächstes Jahr nicht wieder.

Kalibrierung: eine Stunde vor der Runde

Drei Einreichungen vom letzten Jahr, alle Juroren bewerten sie allein mit dem neuen Bogen, dann werden die Werte verglichen. Was dabei herauskommt, ist immer dasselbe: Zwei Kriterien haben unklare Anker, eine Jurorin ist grundsätzlich eine Stufe strenger, und alle verstehen jetzt, was eine 3 ist. Alles drei lässt sich vor der Runde beheben; nach der Runde ist es im Ranking.

Die Kalibrierung ist auch die Einweisung. Niemand liest eine Anleitung zum Bogen; alle lernen ihn, indem sie ihn einmal ausfüllen und über die Unterschiede reden.

Der Ablauf während der Runde

Frist, drei Wochen. Jede Jurorin bewertet ihre zehn Einreichungen allein und sieht die Werte der anderen erst nach der Frist. Wo zwei Juroren bei einem Kriterium um zwei Stufen oder mehr auseinanderliegen, reden die beiden fünf Minuten über das Kriterium, ändern ihre Note oder bleiben dabei. Das Ergebnis je Einreichung ist der Mittelwert. Die Organisation baut daraus das Ranking und schaut sich die Einreichungen an, bei denen die Juroren weit auseinanderlagen, denn dort ist entweder ein Grenzfall oder ein Anker, der nächstes Jahr besser werden muss.

Nach der Prämierung werden die Bewertungen für die Teams freigeschaltet, wie beim BPW, und die Juroren stehen für kurze Gespräche zur Verfügung. Das ist der Moment, in dem aus der Jury-Arbeit etwas wird, das die Teams weiterbringt, und der Grund, warum Juroren gern wiederkommen.

Was große Accelerators, Fonds und Förderprogramme öffentlich über ihre Auswahl sagen: Ablauf, Kriterien, Gewichte und Zahlen von Y Combinator, Techstars, Antler, Entrepreneur First, HTGF, EXIST und dem Businessplan-Wettbewerb Berlin-Brandenburg.