Institutional Money, Ausgabe 3 | 2022

Attention in the ETF Space“ aus dem Jahr 2021 übereinstimmend. Als Erklärung dafür liegt nahe, dass die entsprechenden Rückrechnungen übermä- ßig optimiert wurden. Oder um es provo- kanter auszudrücken: Man könnte fast meinen, die Indizes wären gezielt daraufhin entworfen worden, vor dem Start der Fonds besonders gut auszusehen. Zwar impliziert schon die Bezeichnung „Smart Beta“, dass nicht explizit Alpha angestrebt wird, doch auf Basis der attraktiven Rückrechnungen wäre das durchaus zu erwarten. Die Ent- täuschungen folgen dann in der Praxis: Nach Auflage der ETFs waren die Überren- diten in den folgenden fünf Jahren gleich null (siehe Grafik „Backtest steil, Realität flach“) . Ein Teufelskreis Das ganze Ausmaß des Problems geht weit über dieses Beispiel hinaus und betrifft im Prinzip die gesamte Kapitalmarktfor- schung. Die drei Autoren Rob Arnott, Amie Ko und Lillian Wu von Research Affiliates beschreiben in ihrem Paper „Where’s the Beef?“ eine Art Teufelskreis, der sich über die akademische Forschung erstreckt. Dem- nach sollten selbst Rückrechnungen und Simulationen in überzeugenden Studien nicht ungeprüft für bare Münze genommen werden. Zum Teil werden Stichproben so- wie Testmethoden und Testdesigns genau so gewählt, dass aus zuvor nicht signifikanten doch noch statistisch signifikante Ergebnis- se werden. Dieses wenig rühmliche Verhal- ten nennt sich p-Hacking. Negative oder schwach signifikante Ergebnisse, die aber durchaus auch von Bedeutung sein könnten, werden dagegen verworfen oder ignoriert. Die Motivation für p-Hacking ist, dass positive und statistisch signifikante Ergeb- nisse eine deutlich höhere Wahrscheinlich- keit haben, in einem relevanten Journal ver- öffentlicht zu werden. Die Journals folgen dieser Auswahlpraxis, da sie untereinander in Konkurrenz stehen, wie oft Artikel von anderen zitiert werden und wer damit wel- chen Einfluss hat. Gleichzeitig ist es für Wissenschaftler wichtig, eine bestimmte Zahl von Publikationen zu erzielen, um in ihrer Karriere voranzukommen oder diese überhaupt erst zu beginnen. Der Druck, sig- nifikante Ergebnisse zu präsentieren, ist also Dass ein Investmentansatz nach ausreichend langem Backtesting brauchbare Ergebnisse liefert, ist eine der größten Anlagefallen, in die man als Investor tappen kann. Obwohl das die meisten Marktteilnehmer längst wissen, werden immer wieder solche vermeintlich interessanten Konzepte angeboten. N o. 3/2022 | www.institutional-money.com 103 T H E O R I E & P R A X I S | BACKT E S T I NG UND DATA MI N I NG