Letzte Woche rief mich ein Kollege an und brachte mich im Gespräch über Testergebnisse nach Punkten auf die Idee, das Thema hier mal zu beschreiben, so für alle, die sich mit dem Problemkreis „Test nach Punkten: Ja oder Nein?“ verständlicherweise noch nie beschäftigt haben, weil er langweilig ist. Die Haken an Punkten sieht der Interessierte am besten durch den Filter der Statistik, über die ich nämlich endlich mal ein kluges Buch gelesen habe. Statistik ist ebenfalls ziemlich langweilig, wenn auch weniger langweilig als man denkt. Viel verkürzter als in diesem Buch (und außerdem kaum langweilig) jedoch hat es mal ein kluger MO-Leser zusammengefasst.
Jedes Jahr macht die „Supertest World Association“ SWA einen großen Test von Sportmotorrädern auf einer Rennstrecke, bei dem Tester verschiedener Motorradzeitschriften von überallher nach bestimmten Kriterien Punkte vergeben, die später gewichtet werden und so einen Gesamtsieger ergeben. Mengenlehre: MO ist Teil der SWA, Guido ist Teil von MO, also war er da unten und hat fleißig einen Sieger ermittelt — der ihm selber nicht passte. Denn die wilde Punkteverteilung auf der einen Seite stand einem gefühlt ganz anderen Ergebnis gegenüber, welches Motorrad wie gut war. Da muss man dann eben durch, MO hat die ermittelten Werte veröffentlicht wie alle Teilnehmer des Supertests. Der erwähnte kluge Leser sah diese Zahlen, sah die Streuung, sah, dass da nichts statistisch Signifikantes passiert war und schickte dem damaligen Leserbriefonkel der MO (er hieß Clemens Gleich) einen augenzwinkernden Brief mit diesen Tatsachen nebst einer Excel-Tabelle, die eine solche Verteilung auf Knopfdruck aus Pseudozufallszahlen erstellte — zur Arbeitsersparnis für den nächsten Supertest.
Diesen Leserbrief druckte ich ab, nach kurzer Rücksprache mit dem Häuptling bot ich außerdem die Tabelle zum Download an. Denn der „gesunde Menschenverstand“ irrt sich sehr oft und ich sammle solche Irrtümer, um sie zwecks ihrer eigenen Ausrottung vorzuführen. Die menschliche Mustererkennung findet selbst im Rauschen des Chaos vermeintliche Ordnung, eingebildete Information (Teesatz lesen, Wünschelrutenlaufen…) und ermittelte Zahlen sagen gern Dinge aus, die mit der von ihnen beschriebenen Realität nicht mehr viel zu tun haben oder sogar das Gegenteil behaupten. Dazu kommt, dass viele der in Tests erhobenen Zahlen entweder gewichtet, transkribiert sind („37 m/s^2 Bremsverzögerung wären jetzt 20 Punkte…“), vermischt („…plus ABS macht 30 Punkte“) oder gleich komplett subjektiv („dieser Sitz ist 10 Punkte komfortabel“). Die aufsummierte Zahlenaussage am Ende schützt eine falsche Objektivität vor, die es bei der Festlegung der Werte nicht gibt; die beispielhafte Sitzaussage ist nicht mehr oder weniger wert als „den Sitz fanden wir ganz okay“. Klar kann man Zahlen einfacher Vergleichen als Textaussagen. Nur bringt das nicht viel, solange die Zahlenwerte derart weich sind.
Ein gutes Beispiel für die Punkteproblematik ist die Motorrad. Die Jungs machen sich einen Arsch voll Arbeit mit ihrer Testerei, sitzen in ihrer Redaktionsrunde und brüten über einen Punkt hin oder drei her, sie führen penibel eine Datenbank aller getesteten Maschinen und haben mehr Testmannschaft als andere, mehr Blätter pro Zeiteinheit produzierende Hefte Gesamtbesetzung. Stolz steht im Blatt die Info, dass sie nach Qualitäts-DIN-Schießmichtot arbeiten. Ich habe echten Respekt vor dieser Arbeitsleistung, allerdings einen ähnlichen wie vor der dieses alten Griechen mit seinem Stein und seinem Berg. Niemand kann nämlich alle Aspekte eines Motorrads objektiv abbilden, weil nicht alle Interessenten gleich sind. Klar, geben wir dem Motor 20 Punkte für 200 PS. Das ist ein objektiver Wert. Geben wir ihm außerdem 5 Punkte für Sound, weil wir den scheiße finden. Das ist Bullshit. Mein einziges Mal echte Rückenschmerzen hatte ich zum Beispiel auf einem Reisemotorrad, das andere für perfektes Sitzen loben. Ein repräsentatives Testpanel von 1000 Leuten aller Fahrerschichten könnte eine realistischere Baseline bilden, wäre aber ebenso nutzlos, weil die Vorbelegung immens ist: Ein Honda-Fan und Alpenwandertourer wird sich keine KTM-Ziege kaufen, selbst wenn die eine Million Punkte kriegt.
Deshalb meine Kampagne „Wech mit Zahlen für weiche Meinungswerte“ (WMZFWM). Es langen Zahlen für Messwerte. 150 PS nach DIN auf 20° C normalisiert, das ist doch eine Aussage. Der Rest lohnt die langen Sitzungen nicht. Als wir bei MO die Testkästen mit ihren eher freistiligen Punktewertungen (bei jedem Redakteur anders beim selben Krad) rauswarfen, haben das die wenigsten überhaupt gemerkt und kein Einziger hat sich beschwert. Die formidable Testmannschaft der Motorrad könnte statt an ihrem Tisch sitzen eine Reifenverschleißmessmaschine konstruieren, einen Helmvernichter, der Crashfestigkeit ermittelt oder eine dieser Hochleistungs-UV-Lampen anschaffen und Motorräderteile wie Zubehör damit im Zeitraffer altern lassen. Denn obwohl viele Leute sagen „dieses ganze Geteste interessiert mich nicht“, gibt es definitiv einen Markt für nüchterne, ausführliche, gewissenhafte, detaillierte Tests. Es gibt halt leider wenig Überschneidungen zwischen den Lesern, die gute Magazinunterhaltung wollen und solchen, die nutzwertige Hardcore-Tests zur Entscheidungsfindung lesen. Die Themenmischung bei Motorrad, die beide Gruppen gleichermaßen erreichen soll, wollte ich jedenfalls nicht machen.