Institutional Money, Ausgabe 3 | 2021

Z u den wichtigsten Anforde- rungen an wissenschaftliche Forschungsarbeiten zählt ihre Replizierbarkeit. Erst wenn Ergebnisse auch von anderen Teams be- stätigt werden, erlangen sie Bedeutung. Auf den ersten Blick scheint das kein großes Problem zu sein, man nimmt intuitiv an, dass nicht replizierbaren Arbeiten in der Literatur weniger Auf- merksamkeit zukommt. Doch genau das ist nicht der Fall. Tatsächlich fanden die Autoren Marta Serra-Garcia und Uri Gneezy in ihrem Paper „Nonreplicable Publications Are Cited More Than Replicable Ones“ genau das, was der Titel befürchten lässt: Nicht replizierbare Studien in Top-Journals der Psychologie, Wirtschaft und weiteren Bereichen werden sogar häu- figer zitiert. Das ändert sich selbst dann nicht, wenn Folgestudien zeigen, dass die initialen Ergebnisse nicht replizierbar sind. Denn nur zwölf Prozent der anschließenden Zitate wiesen überhaupt auf den Replika- tionsfehler hin. Die Studie verweist auf Untersuchungen der letzten Jahre, in denen versucht wurde, die in führenden Journals veröffentlichten Ergebnisse systematisch zu replizieren. Da- raus geht hervor, dass im Bereich Wirt- schaftswissenschaften nur 61 Prozent der Publikationen repliziert werden konnten. Hinzu kommt, dass die relativen Ausprä- gungen der Ergebnisse, die repliziert wer- den konnten, nur 75 Prozent der ursprüng- lichen Werte ausmachten. Die Autoren spre- chen deshalb von einer Replikationskrise in den Sozialwissenschaften, die auch in der selektiven Veröffentlichung von Ergebnis- sen und Spezifikationen besteht. Eine vielbeachtete Studie, die dieses Pro- blem im sogenannten „Faktorzoo“ anpran- gert, veröffentlichten Kewei Hou, Chen Xue und Lu Zhang im Jahr 2020 unter dem Titel „Replicating Anomalies“. Die Autoren repli- zierten mit insgesamt 452 Effekten den Großteil der Anomalie-Literatur – und ka- men zu einem vernichtenden Ergebnis: Die meisten Anomalien könnten demnach nicht repliziert werden und entsprächen deshalb nicht den gegenwärtig akzeptablen Stan- dards für empirische Finanzmarktforschung. Für erfolgreiche Replikationen definieren die Forscher eine Signifikanzschwelle von fünf Prozent, also einen Wert der t-Statistik von mindestens 1,96, für die durchschnitt- lichen Renditen der jeweiligen Dezil- Spreads. Ganze 65 Prozent der untersuchten Variablen können diese Hürde nicht neh- men. Als Ursache für das schlechte Ergeb- nis nennen die Forscher den Einfluss von Die kurze Antwort ist: Nein. Die lange Antwort: Es kommt darauf an, wen man fragt, denn die Studienlage ist widersprüchlich. Erfolgreiche Reproduktion Vergleich der reproduzierten mit den originalen t-Statistiken Die Regression der reproduzierten auf die originalen t-Statistiken der Long-Short-Portfolios zeigt eine weitgehende Übereinstimmung. Betrachtet wurden eindeutige und wahrscheinliche Prädiktoren. Ein Großteil der verbleibenden Abwei- chungen ist wahrscheinlich auf geringfügige Unterschiede im Testdesign zurückzuführen. Quelle: Chen, A. Y. / Zimmermann, T. (2021), Open Source Cross-Sectional Asset Pricing, Critical Finance Review (in Kürze erscheinend), S. 46 2 5 10 15 2 5 10 15 Eindeutiger Prädiktor Wahrscheinlicher Prädiktor Regressionsgerade 45-Grad-Linie t-Wert Reproduktion t-Wert Originalstudie » Wir konnten 98 Prozent der als statistisch signifikant bekannten Prädiktoren erfolgreich replizieren. « Tom Zimmermann, Juniorprofessor für Volkswirtschaftslehre, Universität Köln Gibt es eine Replikationskrise? 156 N o. 3/2021 | www.institutional-money.com T H E O R I E & P R A X I S | R E P L I KAT I ONS KR I S E FOTO: © MARC THÜRBACH, OLLY | STOCK.ADOBE.COM