Mittwoch, 18. Juni 2014

Brasilien wird Weltmeister?! Prognosen für die Weltmeisterschaft 2014 in Brasilien



Während in Brasilien die ersten Vorrundenspiele der Weltmeisterschaft 2014 laufen wollen wir einen Blick hinter Prognosen von Fußballspielen und insbesondere der diesjährigen Weltmeisterschaft werfen. Wie gut sind Fußballspiele vorherzusagen, welche Methoden schneiden erfolgreich ab? Eine unvollständige Literaturübersicht ohne eigene Daten. Dafür mit einer subjektiven Bewertung der Stärken und Schwächen der einzelnen Prognosen.

Banken wie Commerzbank oder Goldman Sachs, Zeitungen wie das Handelsblatt in Kooperation mit Beratungen wie Deloitte, und auch Forscher und Statistiker aus Deutschland, Österreich und den USA haben es gewagt, eine Prognose für die aktuelle Fußballweltmeisterschaft zu modellieren. Die meisten Studien sehen dabei Brasilien vor Argentinien, Deutschland und Spanien vorne.

Commerzbank, Deloitte und Goldman Sachs und gehen dabei mit ähnlichen Methoden vor, sie stützen sich vor allem auf das Elo-Ranking welches aus dem Schachspiel für die Bewertung von Fußballmannschaften übertragen wurde. Für die Deloitte und Handelsblattprognose liegen aber kaum Informationen vor, weshalb wir uns im Folgenden auf die Prognose der beiden Banken beschränken werden. Daneben wollen wir im Anschluss drei Prognosen von Statistikern und Wissenschaftlern näher beleuchten.

Zunächst ist es aber wichtig zu wissen, wie das Elo-Bewertungssystem funktioniert, welches für Nationalmannschaften aber auch für Fußballvereine existiert. Elo ist ein Versuch die relativen Fähigkeiten von unterschiedlichen Mannschaften zu erfassen und basiert auf den Ergebnissen von früheren Spielen dieser Mannschaft. Hierbei wird jedoch im Gegensatz zur Bundesliga oder zur WM Gruppenphase keine feste Punktzahl für ein Sieg oder ein Unentschieden gegeben. Der Gewinn oder Verlust an Punkten errechnet sich aus der Differenz von Elo-Werten der beiden Mannschaften im direkten Vergleich. Siege oder Unentschieden gegen stärkere Teams gehen also positiver in die Wertung ein, wohingegen einem schwächeren Team bei der ohnehin erwarteten Niederlage nicht so viele Punkte abgezogen werden. Nach jedem Spiel werden die Elo-Werte der beiden Teams aktualisiert, abhängig davon welches Team besser oder schlechter abschneidet als man anhand der Elo-Werte im Voraus erwarten würde. Ein Elo-Ranking kann sich nur auf Sieg / Unentschieden / Niederlage beziehen, oder auch die Tordifferenz berücksichtigen. Eines der größeren Probleme anhand des Elo-Rankings ist es gute Startwerte für die Qualität von Mannschaften zu finden, insbesondere falls nur wenige relevante Spiele gespielt wurden. Hvattum und Arntzen (2010) beschreiben die Verwendung von Elo-Rankings im Fußball näher und testen die Vorhersagefähigkeit dieses Bewertungssystems im Vergleich mit anderen Methoden. Hierbei schneiden Wettquoten etwas besser ab, ein Ergebnis welches auch Leitner, Zeileis und Hornik (2010) bestätigen. Insgesamt kann man aber meiner Ansicht nach festhalten, dass das Elo-Rating etabliert und als ausreichend solide bezeichnet werden kann.

Zurück zu den Prognosen der beiden Banken. Neben dem Elo-Ranking spielen in beiden Prognosen auch frühere Spiele eine wichtige Rolle und es wird auch jeweils der Heim- bzw. Kontinentalvorteil einer Weltmeisterschaft hinzugezogen. Goldman Sachs berechnet dabei Regressionskoeffizient aus allen Spielen seit 1960 sowie die erzielten Tore und Gegentore der letzten 10 bzw. 5 internationalen Pflichtspiele. Dazu kommen noch historische Weltmeisterschaftsergebnisse, aber nur für die sieben Nationen, Argentinien, Brasilien, Deutschland, England, Frankreich, Italien, Niederlande und Spanien. Die Commerzbank verwendet die erzielten Punkte in den letzten 20 Weltmeisterschaften als zusätzliche erklärende Variable. Der Heim- und Kontinentalvorteil wird bei Goldman Sachs ebenfalls aus historischen Daten (seit 1960) berechnet, während die Commerzbank diese ad hoc festlegt.
Die Goldman Sachs Analyse scheint allgemein etwas ausgearbeiteter, und ist auch detaillierter beschrieben. Sie verwenden eine Monte-Carlo Simulation, die wir auch zur Berechnung der wahrscheinlichen Gegner der dt. Mannschaften im diesjährigen UEFA Champions League  Achtelfinale verwendet haben und modellieren direkt die Tore mit Hilfe einer Poisson-Verteilung, die ihre Probleme besitzt (siehe z.B. Bittner et al., 2007), aber hierfür wohl angemessen erscheint. Bei der Commerzbank Prognose ist nicht im Detail beschrieben, wie sie die Wahrscheinlichkeiten berechnen, aber vermutlich wird dies ähnlich erfolgt sein. 

Was mich persönlich bei der Commerzbank Prognose irritiert ist die Aufnahme einer Variable, die den letztjährigen Weltmeister beschreibt, weil „aus statistischer Sicht sinkt […] die Wahrscheinlichkeit, dass der aktuelle Weltmeister das kommende Turnier gewinnt“. Sehen wir mal von der geringen Stichprobengröße ab, ist das für mich ein typisches Beispiel von „Regression to the Mean“ welches vermutlich auch den Finalverlierer betrifft, und kein Effekt von geringerer Motivation durch den Gewinn der Weltmeisterschaft beschreibt. Also warum wird das nicht für alle Mannschaften modelliert.

Bei der Goldman Sachs Prognose wundert mich wiederum die hohe Wahrscheinlichkeit, die sie für den Gewinn durch Brasilien errechnen (48,5%). Bei 32 Teams, eine fast 50%-Chance zu gewinnen? Das erscheint mir persönlich sehr hoch. Auf Platz 2 bis 4 folgen Argentinien, Deutschland und Spanien mit ähnlichen Prognosewerten in Höhe von 14%, 11% und 10%. Die Commerzbank sieht dagegen für Brasilien mit einer Chance von 1 zu 10 (10,3%) minimal vor Spanien (10,2%), Deutschland (10,0%), Argentinien (8,8%) und Niederlande (8,5%). Eine deutliche Diskrepanz.

Ein Hauptproblem beider Studien liegt für mich in unterschiedlichen Gründen. Erstens in der Gewichtung von früheren und heutigen Spielen. Wie repräsentativ sind Spiele von 1960 (für die Goldman Sachs Prognose) bzw. von 1994 (für Commerzbank) für heutige Partien? Hier sehe ich große Probleme bei der Modellierung über lange Zeiträume. Zweitens, die Berechnung des Heimvorteils ist für mich in beiden Studien hochproblematisch. Der Heimvorteil hat über die Zeit stark abgenommen, in der Bundesliga wie auch in anderen Ligen oder bei internationalen Spielen (siehe die Diskussion der fivethirtyeight.com Prognose weiter unten). Die Stichprobengröße ist natürlich relativ gering, und beide Studien überzeugen mich nicht, wie sie den Heimvorteil modellieren. Die Goldman Sachs Prognose nimmt zeitkonstante Heimvorteile und zeitkonstante mannschaftsspezifische Kontinentalvorteile. Die Prognose von Commerzbank weist auf den Rückgang des Heimvorteils hin, verwendet aber einfach einen „Heimvorteil-Einheitskoeffizienten“, wobei nicht näher eingegangen wird, wie dieser sich berechnet. 

Eine ganz andere Vorgehensweise nimmt die akademische Studie von Achim Zeileis, Christoph Leitner und Kurt Hornik (2014), die zum wiederholten Male (z.B. nach der UEFA Europameisterschaft 2008 und der FIFA Weltmeisterschaft 2010) Wettquoten verwenden. Sie aggregieren die Quoten von 22 Wettanbietern und nutzen diese ebenfalls für eine Monte-Carlo Simulation. In einer früheren Studie haben diese Autoren gezeigt, dass sie damit die Europameisterschaft 2008 besser vorhersagen können als mit einem (einfachen) Elo-Ranking. Die Autoren sehen, wie beide vorherigen Prognosen, ebenfalls Brasilien vorne. Die Wahrscheinlichkeit für einen Weltmeistersieg Brasiliens liegt bei 22,5% und damit zwischen den Gewinnwahrscheinlichkeiten der beiden anderen Studien. Auf Platz 2-4 folgen wie bei der Prognose von Goldman Sachs Argentinien, Deutschland und Spanien mit 16%, 13% und 12%. Die Studie gefällt mir gut, die Wahrscheinlichkeit für einen Sieg Brasiliens ist hoch, immerhin fast ein Viertel, aber vielleicht nicht unrealistisch hoch. Die Autoren weisen auch auf eine hohe positive Korrelation der aus den Quoten abgeleiten Siegwahrscheinlichkeiten im direkten Vergleich mit der FIFA–Rangliste und (noch etwas deutlicher) mit dem Elo-Ranking. 

Der Ansatz der Studie ist interessant und theoretisch gut begründet, denn schließlich haben zwei Ökonomen dieses Jahr den Nobelpreis gewonnen, die sich mit der Effizienz von Märkten auseinander gesetzt haben (und ein Dritter, der die ökonometrische Analyse stark weiterentwickelt hat). Aber ich bin etwas skeptisch, ob in den Wettquoten wirklich alle Informationen eingespeist sind. Meine eigenen Analysen der internationalen Spiele der letzten Jahre zeigt statistisch hochsignifikante Korrelationen der Elo-Werte beider Teams mit den erzielten Toren kontrolliert um die Wettquoten (die ebenfalls hochsignifikant sind). Es gibt auch unter wissenschaftlichen Studien Indizien, dass neben den Wettquoten weitere Informationen ausgenutzt werden können, z.B. Constantinou and Fenton (2012). In Zukunft wäre es schön zu sehen, ob es ein Informationsgewinn gibt, falls weitere Variablen wie das Elo-Ranking verwendet werden würden, und falls ja, wie groß dieser aussehen würde. Der Vergleich mit der Elo-Methode, die die Autoren in Leitner et al. (2010) angewandt haben, ignoriert Unentschieden und modelliert keine Tordifferenzen. Aber etwas gravierender ist vielleicht der folgende Punkt, ich zweifele etwas an der Annahme, dass der Gewinn des Anbieters pro Team konstant ist (damit man aus den Quoten auf die zugrundeliegenden Wahrscheinlichkeiten schließen kann), ein Gegenargument hierfür könnte ein mögliches Ausnutzen des Favorite-longshot bias sein (siehe zum Beispiel Direr, 2013). Hier hätte ich mir eine etwas ausführliche Begründung der Annahme gewünscht, oder zumindest eine Diskussion der Auswirkungen falls die Annahme nicht gilt. Allerdings ist das natürlich einfach gesagt, und schwierig zu modellieren. Alles in allem aber eine interessante Studie, die für mich die Frage aufwirft, ob es sich überhaupt lohnt, sich mit einer komplexen Prognose zu beschäftigen. 

Eine Prognose, die mir von der Beschreibung her gefällt, stammt von Nate Silver im US-Blog www.fivethirtyeight.com, einem amerikanischen Statistiker, der durch Baseball- und US-Wahlkampfprognosen bekannt geworden ist.  In seiner Prognose verwendet er Länderspiele der letzten vier Jahre und verbindet dies mit Spielerdaten der Kader. Für alle Spieler in den größeren Ligen analysieren sie Gewinnquoten mit und ohne Einsatz eines Spielers (zumindest verstehe ich deren Beschreibung in diesem Sinne). Damit guckt er sich auch Freundschaftsspiele an, zumindest falls der Kader in einem solchen Spiel ähnlich ist zu dem in Pflichtspielen. Separat wird auf die Offensive und Defensive modelliert, um bessere Ergebnisprognosen zu erhalten. Ferner geht er detailliert auf dem Heimvorteil ein und hat ausführliche Analysen angewandt in denen er herausfindet, dass Ost-West-Reisen statistisch relevanter sind als Nord-Süd-Reisen. Der Grund liegt hier vermutlich im Jet-Lag durch Zeitverschiebungen. Auch bestätigt er die Abnahme des Heimvorteils über die Zeit und verwendet daher für dessen Berechnung nur Spiele seit 2006. Nichtsdestotrotz findet er, ähnlich zur Goldman Sachs Prognose, eine Chance von 1 zu 2 (45,2%), dass Brasilien Weltmeister wird, gefolgt von der bereits bekannten Rangfolge Argentinien (13%), Deutschland (11%) und Spanien (8%). Auch hier gilt natürlich meine Verwunderung über diese hohe Wahrscheinlichkeit für den sechsten Titel von Brasilien.

Die letzte Studie, die wir vorstellen wollen, stammt von den drei deutschen Sozialwissenschaftlern Jürgen Gerhards, Michael Mutz und Gert G. Wagner, die Marktwertdaten von transfermarkt.de verwenden. Die Autoren machen im Gegensatz zu den anderen Studien keine Simulation und geben daher keine Wahrscheinlichkeit für unterschiedliche Mannschaften an. Sie sehen als einzige Studie nicht Brasilien als wahrscheinlichsten Sieger an, sondern tippen auf Spanien, da diese Mannschaft den höchsten Kaderwert besitzt. Demnach erzielt Spanien im Finale gegen Deutschland ihren zweiten Weltmeistertitel während Brasilien und Argentinien im Halbfinale ausscheiden. Die Autoren weisen darauf hin, dass "Einfachheit [...] ein zentrales Gütekriterium von Wissenschaft" ist. Dem kann ich nur zustimmen, komplexe Modelle lassen deren Probleme oft schlechter einschätzen und mögen vielleicht vergangene Spiele mehr oder weniger perfekt vorhersagen, ihre Prognosefähigkeit für neue Daten kann aber sehr schlecht sein. Trotzdem schätze ich das einfache Modell als ausbaufähig ein. Marktwerte sind nicht das perfekte Kriterium, da natürlich auch Faktoren wie die Werbewirksamkeit hier eine Rolle spielen, so dass es vielleicht sinnvoll wäre weitere Variablen wie Wettquoten oder Elo-Rankings hinzuzufügen, was aber natürlich zu mehr Komplexität führt. Auch könnte man die Marktwerte des Kaders genauer analysieren, um potenzielle Schwächen wie das Fehlen eines erfahrenen Linksverteidigers zu beleuchten (dies war meine Idee für einen Algorithmus den ich aber aus Zeitmangel nicht umsetzen konnte). Zumindest eine grobe Aufteilung in Offensive und Defensive wie bei fivethirtyeight.com könnte vielleicht hilfreich sein.

Zusammenfassend sehen wir unterschiedliche Prognosen, die unterschiedliche Methoden anwenden, und fast alle Brasilien als Sieger sehen vor Argentinien, Deutschland und Spanien (teilweise in anderer Reihenfolge). Als Datengrundlagen verwenden diese Studien Elo-Rankings, Wettquoten, Marktwerte oder Spielerdaten mit Verknüpfung zu Ligaspielen. Eine große Herausforderung stellt dabei die Quantifizierung des Heimvorteils für Brasilien und eines Kontinentalvorteils für die übrigen südamerikanischen Mannschaften dar. Eine verwandte Schwierigkeit liegt im Abwägen welche Spiele man als Datengrundlage hinzuzieht, so dass ausreichend historische Spiele zur Verfügung stehen, Prognosen aber nicht auf längst vergangenen Kadern beruhen. Verwendet man auch Freundschaftsspiele, und wie stellt man sicher, dass ausreichend Spiele zwischen Kandidaten für den Weltmeisterschaftssieg vorhanden sind?

Empirisch sind die Prognosen schwer zu vergleichen und zu bewerten. Leider konnte ich meist keinen Hinweis finden, wo man selbst die verwendeten Daten bzw. die Skripte herunterladen kann. Die Datengrundlagen variieren stark und dies macht den Vergleich der historischen Prognosefähigkeit schwierig. Auch gibt es keine generelle vereinbarte loss function, die uns sagt, wie man z.B. richtige Tendenzen gegenüber komplett falschen Tipps bewertet, und die wir bei jedem Tippspiel definieren (wohl ein generelles Problem in der Literatur). Das macht auch die retrospektive Bewertung in einigen Wochen schwierig.

Für meine Tippspiele habe ich mit einem geringen Zeitbudget Elo-Rankings zusammen mit Wettquoten und mannschaftsspezifischen Effekten ("random effects") verwendet, um die geschossenen Tore zu simulieren. Nach den ersten Spieltagen liege ich damit in den Tippspielen, zu denen ich eingeladen wurde, relativ weit zurück. Die nicht-ganzzahligen Toreprognosen scheinen dabei gut zu funktionen (wenn man mal z.B. von Spanien gegen Niederlande 1:5 absieht), aber es ist mir nur schlecht gelungen von den prognostizierten Toren, zum Beispiel 1,1 vs 0,9 bei Elfenbeinküste gegen Japan (Ausgang 2:1) auf Sieg für eine Mannschaft bzw. Unentschieden zu tippen. Auch könnte ich mir vorstellen, dass eine separate Modellierung für Offensive und Defensive genauere Torprognosen, und damit auch bessere Endprognosen, liefern könnte. Sehr viel besser kann man die Frage der Prognostizierbarkeit von Fußballspielen aber sicher in Ligawettbewerben wie der Bundesliga beantworten.

PS: Ein Beispiel für eine Methode zur Berechnung der Stärke einzelner Spieler beschreibt die Webseite www.goalimpact.com, die die Tordifferenz einer Mannschaft (auf Minutenbasis) in Abhängig von der Aufstellung analysiert. Die genauen Details des Algorithmus sind leider nicht veröffentlicht, aber in der Beschreibung heißt es, dass hier, unter Berücksichtigung von Gegner, Mitspielern und Heimvorteil, die durchschnittliche Tordifferenz einer Mannschaft mit oder ohne Einsatz eines Spielers berechnet, wobei auch Einwechselspieler berücksichtigt werden. Ein interessanter Ansatz, ich bin gespannt zu sehen, ob man mit solchen Ansätzen bessere Prognosen erhalten kann.


Prognosen und Studien im Text:

Commerzbank Economic Research. Economic Insight - Das schöne Spiel: Die Ökonomie der Fußball WM 2014. 4. Juni 2014.
Fivethirtyeight.com. It’s Brazil’s World Cup to Lose.
Gerhards, Jürgen, Michael Mutz, and Gert G. Wagner. Spannung bis zum Abpfiff – Die Prognose des Fußballweltmeisters ist schwieriger als bei der letzten WM. DIW Wochenbericht 24/2014.
Goldman Sachs. The World Cup and Economics 2014.