Institutional Money, Ausgabe 3 | 2021

Oder doch keine Krise? Insgesamt zeichnet die Studie von Hou et al. ein düsteres Bild, was das Vertrauen in die Mehrheit der Faktoren angeht. Doch es gibt andere, aktuelle Untersuchun- gen, die einen klaren Gegenentwurf zeichnen. Eine davon ist das Paper „Open Source Cross-Sectional Asset Pricing“ von Andrew Chen und Tom Zimmermann. Die beiden Autoren kommen fast spiegelbildlich zu dem Schluss, dass nahezu die gesamte Prog- nosefähigkeit bisheriger Effekte repro- duziert werden kann und diese auch ei- ne Reihe von Robustheitstests übersteht. Die Forscher arbeiten mit einem handver- lesenen Datensatz, um bisherige Ergebnisse zu reproduzieren. Der Begriff beschreibt ih- re Methode, dasselbe Ergebnis in derselben Stichprobe mit demselben Code wie im Original zu wiederholen. Hou et al. spra- chen dagegen von einer Replikation auf Ba- sis der gleichen Grundgesamtheit, aber so- wohl unterschiedlicher als auch gleicher Stichproben sowie ähnlicher, aber nicht identischer Methoden. Chen und Zimmermann betrachten ins- gesamt 319 Charakteristika, von denen nur drei die statistische Signifikanz der jeweili- gen Long-Short-Portfoliorenditen der Origi- nalarbeit nicht reproduzieren. Die ermittel- ten t-Statistiken stimmen dabei quantitativ mit den Originalen überein (siehe Grafik „Erfolgreiche Reproduktion“) . Positiv ist ebenfalls, dass die mittleren Renditen über die einzelnen Dezile der Prognosevariablen monoton verlaufen. Das spricht gegen Data Mining und p-Hacking, was sich über die gesamte Verteilung bemerkbar machen müsste. Methodische Probleme Ein weiterer Unterschied zur Studie von Hou et al. ist, dass die Forscher die Forde- rung eines t-Werts von mindestens 1,96 nicht generell stellen, sondern nur dann, wenn es auch angemessen ist. Schließlich war die Prognosefähigkeit derCharakteristika in den früheren Studien sehr unterschiedlich. Die Autoren kategorisieren insgesamt 161 Cha- rakteristika als „eindeutige Prädiktoren“, die in den Originalarbeiten klare Hinweise auf eine signifikante Prognosefähigkeit der Long-Short-Portfolios zeigten. Nur für diese setzen sie den t-Wert von mindestens 1,96 an. Weiterhin definieren sie 44 Charakteris- tika als „wahrscheinliche Prädikatoren“, die in den Originalarbeiten eine gemischte Pro- gnosefähigkeit aufwiesen. Und schließlich beinhaltet der Datensatz 100 Charakteristika, die in den Originalarbeiten nur Hinweise auf eine mögliche Prognosekraft enthielten (in- direkte Signale), sowie 14 Effekte, die ein- deutig keine Vorhersagbarkeit aufwiesen (Nicht-Prädiktoren). Die spannende Frage ist allerdings, wodurch abseits der genannten Differenzen die erheblichen Unterschiede in der Gesamtaussage gegenüber der Studie von Hou et al. zustande kommen. Wie Chen und Zimmermann schreiben, ist das auf die freizügige Definition der Effekte durch Hou et al. zurückzuführen. Dort wurden 452 angebliche „Anomalien“ untersucht, die sich aber aus nur 240 Charakteristika ergeben. Die übrigen 212 Effekte spiegeln demnach lediglich unterschiedliche Rebalancing-Häu- figkeiten der Basisstrategien wider. Zudem hätten von den 240 Charakteristika nur 118 eine eindeutige Signifikanz in den Original- arbeiten aufgewiesen, und wie Chen und Zimmermann zeigen, erreichen 117 davon eine t-Statistik von mindestens 1,96. Sie schlussfolgern deshalb, dass ein Großteil der Replikationsfehler im Paper von Hou et al. auf eine falsche Klassifikation zurückzufüh- ren sei: Es handelte sich dabei gar nicht um Anomalien, da sie im Original keine Signi- fikanz aufwiesen, die es zu replizieren galt. Der Teufel steckt also im Detail, was wie beschrieben sogar die Gesamtaussage einer Studie massiv verzerren kann. Weitere Bestätigung Widersprüchliche Studienergebnisse sind ein Merkmal für gesunden und notwendi- gen wissenschaftlichen Diskurs. Tatsächlich » Wir stellen fest, dass US-Aktien- faktoren ein hohes Maß an interner und externer Validität aufweisen. « Bryan Kelly, Professor of Finance, Yale School of Management, und Head of Machine Learning, AQR Capital Management Replikationsrate Zusammenfassung der Analysen im Paper von Jensen et al. Die Untersuchungen basieren auf Long-Short-Terzilen und einer auf das 80er-NYSE-Perzentil winsorisierten Gewich- tung nach Marktkapitalisierung. Das stellt sicher, dass einzelne Aktien keinen zu starken Einfluss auf das Portfolio haben. Bei klassischer Gewichtung nach Marktkapitalisierung sind die Schlussfolgerungen mit einer finalen Replikationsrate von 76,5 Prozent ähnlich. Quelle: Jensen, T. I. / Kelly, B. T. / Pedersen, L. H. (2021), Is There a Replication Crisis in Finance?, NYU Stern School of Business (in Kürze erscheinend), S. 2 0 % 25 % 50 % 75 % 100 % 35,0 % 56,2 % 63,9 % 83,2 % 78,2 % 83,2 % 84,0 % Anstieg Abnahme Replikationsrate Hou et al. (2020) Rohrenditen Jensen et al. (2021) Rohrenditen Jensen et al. (2021) Risikoadjustierte Renditen (CAPM) Harvey et al. (2016) Anpassung um Mehrfachtests Jensen et al. (2021) Bayes‘sches Modell (US-Daten) Jensen et al. (2021) Bayes‘sches Modell (globale Daten) Jensen et al. (2021) Ohne im Original nicht signifikante Faktoren 158 N o. 3/2021 | www.institutional-money.com T H E O R I E & P R A X I S | R E P L I KAT I ONS KR I S E FOTO : © AQR CAPITAL MANAGEMENT (2), COPENHAGEN BUSINESS SCHOOL