Sonntag, 13. Juli 2014

Ein Ex-Post Vergleich der Prognose der FIFA Weltmeisterschaft 2014



Nachdem wir am Anfang der FIFA Weltmeisterschaft 2014 unterschiedliche Prognosen in Hinblick auf ihre Methodiken vorgestellt und diskutiert haben, wollen nun zum Ende der Weltmeisterschaft in Brasilien vergleichen, wie gut die Prognosen den tatsächlichen Turnierbaum vorhergesagt haben. In den hier vorliegenden Prognosen ist die Vorhersage für einen Weltmeistertitel Argentiniens dabei meist relativ ähnlich zu den Chancen für Deutschlands. Daher macht es nur einen geringen Unterschied, ob wir das Finale noch abwarten oder nicht.

Wir haben die Autoren der hier vorgestellten Prognosen kontaktiert, und um einen Turnierbaum mit berechneten Überlebenswahrscheinlichkeiten für jedes Team und jede Runde gebeten (falls diese nicht öffentlich verfügbar waren wie bei Goldman Sachs oder Goalimpact). Damit sind Prognosen wie von Gerhards et al. ausgeschieden, die keine Simulation durchgeführt haben. Bis auf die Commerzbank haben uns freundlicherweise alle Autoren geantwortet und ihre Überlebenswahrscheinlichkeiten zur Verfügung gestellt, womit wir sechs Prognosen vergleichen können. Vielen Dank an dieser Stelle an Achim Zeileis, Gunther Schauberger und Ritchie King!

Die hier diskutierten Prognosen im Vergleich, die Daten findet ihr hier (siehe einzelne Sheets):
 

Hierunter sind drei Prognosen, die sich auf historische Mannschaftsdaten stützen, zwei Vorhersagen, die detailliert Spielerstärken aus nationalen Ligen modellieren und eine Studie, die die Wettquoten für den Sieg bei der diesjährigen WM verwendet hat.

Unter den Prognosen, die historische Mannschaftsdaten verwenden, findet sich erstens die Prognose von Goldman Sachs, die wir bereits vorgestellt haben. Zweitens, eine Vorhersage von zwei Statistikern aus München, Groll und Schauberger (eine ausführlichere Präsentation ist hier zu finden), die uns leider erst im Laufe der Weltmeisterschaft aufgefallen ist und daher im letzten Artikel nicht enthalten ist. Und drittens eine Abwandlung meines eigenen Algorithmus, welches ich für unterschiedliche Tippspiele verwendet habe und das ich als Vergleich für ein einfaches Modell mit historischen Daten vorstellen möchte. 

Die Prognose von Groll und Schauberger verwendet Daten der Weltmeisterschaften von 2002 bis 2010 und eine Reihe von Kontrollvariablen, wie das Bruttosozialprodukt pro Kopf, Bevölkerung, FIFA Weltrangliste, Heim und Kontinentalvorteil, Charakteristika des Trainers und der Mannschaft, z.B. Anzahl der Champions League Spielern, und noch einige mehr, sowie teamspezifische Fehlerterme, um die erzielten Tore vorherzusagen.

Meine eigene Prognose, die ich für Tippspiele verwendet habe, nutzt als Datengrundlage die WM Qualifikationsspiele der letzten 6 Jahre und stützt sich auf die Wettquoten und Elo-Rankings (sowie teamspezifische Fehlerterme), um die erzielten Tore einer jeder Mannschaft zu modellieren. Damit eignet sie sich leider nicht für eine Simulation, da die Wettquoten nur für die tatsächlichen Partien vorliegen. Hier habe ich um einen Vergleich zu ermöglichen eine einfachere Prognose gewählt, die nur die Elo-Rankings und teamspezifische Fehlerterme verwendet. Sowohl die Prognose von Groll und Schauberger wie meine eigene verwenden dabei Poisson-Spezifikationen, da damit sichergestellt werden kann, dass die Prädiktion für die erzielten Tore nicht negativ wird.

Zwei der Prognosen modellieren die Stärke der Spieler, FiveThirtyEight.com und Goalimpact.com, und eine Studie (Zeileis, Leitner und Hornik) verwendet die Wettquoten für den Gewinn der Weltmeisterschaft einer jeder Mannschaft. Diese drei Prognosen haben wir bereits Anfang der Weltmeisterschaft vorgestellt.

Zur Methodik: Hier nehme ich an, dass die Wahrscheinlichkeit des Erreichens des Achtelfinales bzw. der weiteren Runden einer Mannschaft unabhängig davon ist, wer aus der Ursprungsgruppe noch das Achtelfinale erreicht. Damit kann ich dann einfach die Wahrscheinlichkeiten einer jeder Mannschaft die nächste Runde zu erreichen (ihre Überlebenswahrscheinlichkeiten) aufmultiplizieren. Die Berechnungen sind hier einsehbar. Diese Annahme ist natürlich nicht erfüllt, aber eine Verletzung der Annahme wird vermutlich keine größeren Auswirkungen haben und gilt für alle Prognosen gleichermaßen. Auch kann ich hier wenig machen, da ich aus den Überlebenswahrscheinlichkeiten für jede Mannschaft und jede Runde nicht die Wahrscheinlichkeit für jede mögliche Achtelfinalpartie berechnen kann, da das entsprechende Gleichungssysteme unterbestimmt (pro Gruppe gibt es sechs mögliche Kombinationen der Achtelfinalteilnehmer aber nur fünf Gleichungen stehen zur Verfügung, da ich meist keine Informationen darüber habe, welche Mannschaft mit welcher Wahrscheinlichkeit Gruppenerster bzw. -zweiter wird).

Zunächst zu den einzelnen Gruppen, die folgenden Grafik zeigt die Wahrscheinlichkeit für jede Mannschaft jeder Gruppe das Achtelfinale zu erreichen. Blau hervorgehoben ist der Gruppenerste und rot der Gruppenzweite. Auf der x-Achse ist jeweils für jedes Team die Wahrscheinlichkeit aus unterschiedlichen Prognosen dargestellt, das Achtelfinale zu erreichen. Diese Wahrscheinlichkeiten addieren sich jeweils pro Gruppe zu 2, da jede Gruppe zwei Mannschaften ins Achtelfinale schickt. GS steht dabei für Goldman Sachs, GI für Goalimpact, Zeileis für Zeileis et al., FTE für FiveThirtyEight, Groll für Groll & Schauenberger und Elo + RE für meine eigene Prognose.


Einen unwahrscheinlichen Ausgang aus Sicht der Prognose nahm Gruppe D wo sich Costa Rica den Gruppensieg sichern konnte. Bei allen Prognosen aber nur die geringste Wahrscheinlichkeit vorhergesagt bekam, überhaupt das Achtelfinale zu erreichen, Werte zwischen 11% (Groll) und 40% (Goalimpact). Daneben sahen alle Prognosen Spanien als den wahrscheinlichsten Gruppensieger in Gruppen B, aber sowohl Niederlande wie Chile wurden auch nennenswerte Chancen zugestanden. In den Gruppen F, G, H wurde die Gruppenersten Argentinien, Deutschland und Belgien einstimmig vorhergesagt, aber der Gruppenzweite war jeweils etwas überraschend. Die Prognosen sahen eher Bosnien Herzegowina vor Nigeria, Portugal vor den USA, und meist sowohl Russland wie Südkorea vor Algerien voraus. 

Multiplizieren wir alle Überlebenswahrscheinlichkeiten für das Achtelfinale für die Mannschaften die tatsächlich das Achtelfinale erreicht haben, sehen wir ein relativ einheitliches Bild. Meine Prognose, die nur Elo-Werte und team-spezifische Fehlerterme verwendet, schneidet in dieser Runde am besten ab vor der FiveThirtyEight.com Prognose. Allerdings muss ich dazu sagen, dass mein ursprüngliches Modell welches die Wettquoten für alle Gruppenspiel mitmodelliert hat (und für diese Stufe noch angewendet werden kann da die Wettquoten für alle Gruppenspiele vor der WM zur Verfügung standen), hier  am schlechtesten ab (6.12e-06), da dies zu sehr hohen Wahrscheinlichkeiten für die Achtelfinalteilnahmen der Favoritenmannschaften führt. 

Zur Abschätzung wie aussagekräftig die Unterschiede sind, habe ich aus der Goldman Sachs Prognose (siehe dort Seite 7) noch deren Berechnung für die Weltmeisterschaft 2010 mit dem tatsächlichen Turnierbaum aus Südafrika verglichen. Dies erlaubt uns ansatzweise nicht nur Variation zwischen den Prognosen zu vergleichen, sondern auch innerhalb einer Prognose zwei Ziehungen gegen gegenüberzustellen. Hier sehen wir, dass zumindest Goldman Sachs vor vier Jahren eine deutliche bessere Prognose gelungen ist als 2014. Und damit erscheinen die Unterschiede zwischen den Prognosen in ihren Vorhersagen für das Achtelfinale 2014 eher gering.


In allen Achtelfinalspielen konnten sich interessanterweise jeweils die Gruppenersten durchsetzen. Auch war dies meist die Mannschaft, die die Prognosen vor der Weltmeisterschaft mit größerer Wahrscheinlichkeit im Viertelfinale gesehen haben (y-Achse). Eine Ausnahme bildeten hier nur Kolumbien, das aber nahezu gleichauf mit Uruguay stand, und Costa Rica, dem aufgrund seiner schweren Gruppen, etwas niedrigere Chancen eingeräumt wurden, das Viertelfinale zu erreichen als Griechenland. Auf den y-Achsen sehen wir immer die Wahrscheinlichkeit vor der WM, dass die Mannschaft das Viertelfinale erreicht, also nicht bedingt auf die Achtelfinalteilnahme.

Die höchste Wahrscheinlichkeit für die tatsächlichen Viertelfinalpartien finden wir bei FiveThirtyEight.com gefolgt von Goldman Sachs und Zeileis et al. Allerdings erscheinen die Unterschiede im Vergleich mit den Unterschieden zwischen Goldman Sachs 2010 und 2014 ebenfalls eher gering.


Im Viertelfinale konnte sich jeweils die Mannschaft durchsetzen, der die höhere Chance prognostiziert wurde, ins Halbfinale zu gelangen. Der Niederlande wurden auf den ersten Blick erstaunlich geringe Chancen eingeräumt die Runde der letzten vier zu erreichen. Der Grund liegt daran, dass sie die "Todesgruppe" mit Spanien und Chile überstehen mussten und als Gruppenzweiten wahrscheinlich auf den Brasilien getroffen wären. Belgien galt als einer der Geheimfavoriten, zwei der Prognosen, Goalimpact.com und Groll & Schauberger, haben dem Land sogar etwa gleich hohe Chancen zugerechnet, das Halbfinale zu erreichen wie Argentinien. Interessant ist die Spannbreite der Wahrscheinlichkeiten für eine Halbfinalteilnahme von beispielsweise Brasilien (zwischen 31% Goalimpact und 72% Goldman Sachs) oder Argentinien (21% bis 56%).


Betrachten wir das Produkt der Wahrscheinlichkeiten für die Halbfinalteilnehmer Argentinien, Brasilien, Deutschland und Niederlande an, so sehen wir das Goldman Sachs in 2014 diese Konstellation mit einer Wahrscheinlichkeit von immerhin fast 6% vorhergesehen hat. Schlusslicht ist Goalimpact.com, die entsprechend nur eine Wahrscheinlichkeit von 0,3% berechnet haben während alle anderen Prognosen bei knapp über 1% liegen. Ein Vergleich mit der Goldman Sachs Prognose von 2010 für die damaligen Halbfinalisten Deutschland, Niederlande, Spanien und Uruguay zeigt aber erneut, dass die Unterschiede vermutlich im zufälligen Rahmen liegen. Der Grund für den niedrigen Wert von 2010 liegt insbesondere daran, dass Goldman Sachs damals Uruguay nur geringere Chance von unter 9% eingeräumt hat ins Halbfinale vorzustoßen. Auch sah die Investmentbank damals keinen ähnlich hohen Favoriten wie Brasilien 2014. 


Im Halbfinale der diesjährigen setzte sich Argentinien gegen die Niederlande durch und Deutschland gewann überraschend hoch gegen Brasilien. Goldman Sachs, Zeileis et al. und FiveThirtyEight sahen Brasilien eher als Favoriten, teilweise mit aus meiner Sicht sehr hohen Wahrscheinlichkeiten die Weltmeisterschaft im eigenen Land zu holen (siehe die Diskussion der Prognosen). Goalimpact, Groll & Schauenberger und meine eigene Prognose sahen beide Mannschaften etwa gleichauf.

 
Die Finalkonstellation aus Argentinien und Deutschland ist alles andere als unwahrscheinlich aus Sicht der meisten Prognosen. Deren erwartete Wahrscheinlichkeit mit meist 5% bis 7% ist damit durchaus vergleichbar zur Weltmeisterschaft 2010 wo Spanien sich am Ende gegen die Niederlande durchsetzen konnte. Nur Goalimpact sah hier eine niedrigere Wahrscheinlichkeit von 2%.


Multipliziert man alle Wahrscheinlichkeiten zusammen, so schneidet die Goldman Sachs Prognose relativ gut ab, die diesen Turnierbaum für etwa 1.5-mal so wahrscheinlich gehalten hat wie die Prognose von FiveThirtyEight.com. Vielleicht fällt die Kritik des Wall Street Journal "Goldman Sachs blamiert sich mit WM-Prognose" an der Goldman Sachs Studie aus diesem Blickwinkel etwas zu hart aus. Am schlechtesten schneidet die Prognose von Goalimpact ab. Aber der Unterschied ist meiner Ansicht nach nicht besonders groß, wenn man sich das Produkt der Wahrscheinlichkeiten aus dem Jahr 2010 anguckt. Interessant wäre es natürlich das Elo-Modell für die früheren Weltmeisterschaften zu berechnen, um größere Variation in den Prognosegüten zu erhalten.


Wie kommen die Unterschiede zwischen den Prognosen zustande? Ein wichtiger Unterschied betrifft allgemein die Höhe der Wahrscheinlichkeiten, die den Favoriten eingeräumt wird. Hier sahen die Prognosen von Goldman Sachs, FiveThirtyEight und Groll & Schauberger große Chancen für Favoriten. Goldman Sachs und FiveThirtyEight prognostizierten Brasiliens Weltmeistertitel mit 49% bzw. 45%. Groll und Schauberger sahen eine 56% Chance, dass entweder Brasilien oder Deutschland Weltmeister wird. Der Hauptunterschied zwischen den Goldman Sachs und FiveThirtyEight Prognosen macht das Erreichen des Halbfinales durch Niederlande aus, 28% gegenüber 7%. Groll & Schauberger sahen Deutschland knapp als Favoriten für den Titel (29%) und würden entsprechend besser abschneiden, falls Deutschland heute gewinnt.

In der Grafik weiter unten haben wir die Standardabweichung der Überlebenswahrscheinlichkeiten der Mannschaften pro Stufe abgebildet. Die Überlebenswahrscheinlichkeiten in der Prognose von Goalimpact liegen deutlich enger beieinander, Brasilien ist hier mit 13% knapp der Favorit vor Deutschland und Spanien mit 12% bzw. 10%. Gerade in der Ko-Phase haben sich hier aber doch viele Favoriten durchsetzen können, und entsprechend geringer ist der Turnierbaum aus Sicht dieser Prognose. Interessant wären hier Prognosen wie für die Weltmeisterschaft 2002 in Japan und Südkorea, bei der im Halbfinale neben Brasilien und Deutschland auch die Türkei und Südkorea standen. 

Fazit:

Insgesamt erscheinen die Unterschiede zwischen den Prognosen im zufälligen Rahmen. Auch ist bei der Weltmeisterschaft nicht unbedingt erkennbar, dass komplexere Modelle besser abschneiden als einfachere. Zeileis, Leitner und Hornik verwenden mit den Wettquoten für die Weltmeisterschaft jeder Mannschaft nur eine einzelne Zahl. Groll und Schauberger verwenden deutlich mehr Kontrollvariablen als meine Analyse. Interessant wäre hier ein ausführlicherer Vergleich mit Ligadaten am besten aus unterschiedlichen Ländern.

Persönlich hat mir mein Prognosemodell aber geholfen, bei Tippspielen gut abzuschneiden. Vor dem Finale bin ich bei einem Tippspiel auf Platz 8 von 100 angekommen, deutlich besser als vor zwei Jahren. Dies deutet an, dass zumindest gegenüber normalen Interessierten ein Informationsgewinn geholt werden kann.