Backtesting und Forward Testing: Die Bedeutung der Korrelation

Trader, die eine Handelsidee in einem Live-Markt ausprobieren möchten, machen häufig den Fehler, sich ausschließlich auf Backtesting-Ergebnisse zu verlassen, um zu bestimmen, ob das System rentabel sein wird. Während Backtesting Händler mit wertvollen Informationen versorgen kann, ist es oft irreführend und nur ein Teil des Bewertungsprozesses.

Out-of-Sample-Tests und Forward-Performance-Tests bestätigen die Effektivität eines Systems und können die Echtheit des Systems zeigen, bevor echtes Geld auf dem Spiel steht. Eine gute Korrelation zwischen Backtesting-, Out-of-Sample- und Forward-Performance-Testergebnissen ist von entscheidender Bedeutung für die Beurteilung der Lebensfähigkeit eines Handelssystems. (Wir bieten einige Tipps zu diesem Prozess, mit denen Sie Ihre aktuellen Handelsstrategien verfeinern können. Weitere Informationen finden Sie unter: Backtesting: Interpretation der Vergangenheit .)

Backtesting-Grundlagen

Backtesting bezieht sich auf die Anwendung eines Handelssystems auf historische Daten, um zu überprüfen, wie sich ein System im angegebenen Zeitraum verhalten hätte. Viele der heutigen Handelsplattformen unterstützen Backtesting. Trader können Ideen mit wenigen Tastenanschlägen testen und einen Einblick in die Effektivität einer Idee erhalten, ohne das Risiko von Geldern auf einem Handelskonto einzugehen. Durch Backtesting können einfache Ideen bewertet werden, z. B. die Leistung eines gleitenden Durchschnitts bei historischen Daten oder komplexere Systeme mit einer Vielzahl von Eingaben und Triggern.

Solange eine Idee quantifiziert werden kann, kann sie erneut getestet werden. Einige Händler und Investoren suchen möglicherweise das Fachwissen eines qualifizierten Programmierers, um die Idee in eine testbare Form zu bringen. In der Regel codiert ein Programmierer die Idee in die proprietäre Sprache, die auf der Handelsplattform gehostet wird. Der Programmierer kann benutzerdefinierte Eingabevariablen einbinden, mit denen der Händler das System "optimieren" kann. Ein Beispiel hierfür wäre das oben erwähnte einfache Übergangssystem mit gleitendem Durchschnitt: Der Händler wäre in der Lage, die Längen der beiden im System verwendeten gleitenden Durchschnitte einzugeben (oder zu ändern). Der Händler könnte einen Backtest durchführen, um zu bestimmen, welche Längen von gleitenden Durchschnitten bei den historischen Daten am besten abgeschnitten hätten.

Optimierungsstudien

Viele Handelsplattformen ermöglichen auch Optimierungsstudien. Dies beinhaltet die Eingabe eines Bereichs für die angegebene Eingabe und das "Rechnen" des Computers, um herauszufinden, welche Eingabe die beste Leistung erbracht hätte. Eine Optimierung mit mehreren Variablen kann die Berechnung für zwei oder mehr Variablen durchführen, um zu bestimmen, welche Kombinationen das beste Ergebnis erzielt hätten. Zum Beispiel können Händler dem Programm mitteilen, welche Inputs sie in ihre Strategie aufnehmen möchten. Diese würden dann unter Berücksichtigung der getesteten historischen Daten auf ihre Idealgewichte optimiert.

Backtesting kann insofern aufregend sein, als ein unrentables System mit ein paar Optimierungen oft magisch in eine Geldmaschine verwandelt werden kann. Leider führt die Optimierung eines Systems, um die höchste Rentabilität in der Vergangenheit zu erzielen, häufig zu einem System, das im realen Handel eine schlechte Leistung erbringt. Diese Überoptimierung schafft Systeme, die nur auf dem Papier gut aussehen.

Unter Kurvenanpassung versteht man die Verwendung von Optimierungsanalysen, um die höchste Anzahl von Gewinngeschäften mit dem größten Gewinn aus den im Testzeitraum verwendeten historischen Daten zu erzielen. Obwohl das Backtesting-Ergebnis beeindruckend aussieht, führt die Kurvenanpassung zu unzuverlässigen Systemen, da die Ergebnisse im Wesentlichen auf die jeweiligen Daten und Zeiträume zugeschnitten sind.

Backtesting und Optimierung bieten einem Händler viele Vorteile, aber dies ist nur ein Teil des Prozesses bei der Bewertung eines potenziellen Handelssystems. Der nächste Schritt eines Händlers besteht darin, das System auf historische Daten anzuwenden, die in der anfänglichen Backtesting-Phase nicht verwendet wurden.

In-Sample versus Out-of-Sample-Daten

Wenn Sie eine Idee mit historischen Daten testen, ist es vorteilhaft, einen Zeitraum mit historischen Daten für Testzwecke zu reservieren. Die anfänglichen historischen Daten, auf denen die Idee getestet und optimiert wird, werden als In-Sample-Daten bezeichnet. Der reservierte Datensatz wird als Out-of-Sample-Daten bezeichnet. Diese Konfiguration ist ein wichtiger Teil des Bewertungsprozesses, da hiermit die Idee anhand von Daten getestet werden kann, die nicht Bestandteil des Optimierungsmodells waren. Dies hat zur Folge, dass die Idee in keiner Weise von den Out-of-Sample-Daten beeinflusst wurde und die Händler bestimmen können, wie gut das System bei neuen Daten, dh im realen Handel, abschneiden kann.

Vor dem Starten eines Backtests oder einer Optimierung können Händler einen Prozentsatz der historischen Daten beiseite legen, die für Tests außerhalb der Stichprobe reserviert werden sollen. Eine Methode besteht darin, die historischen Daten in Drittel aufzuteilen und ein Drittel für den Test außerhalb der Stichprobe zu trennen. Nur die Daten in der Stichprobe sollten für die anfänglichen Tests und Optimierungen verwendet werden. Abbildung 1 zeigt einen Zeitrahmen, in dem ein Drittel der historischen Daten für die Prüfung außerhalb der Stichprobe reserviert ist und zwei Drittel für die Prüfung innerhalb der Stichprobe verwendet werden. Obwohl in Abbildung 1 die Daten zu Beginn des Tests außerhalb der Stichprobe dargestellt sind, würde bei typischen Verfahren der Teil außerhalb der Stichprobe unmittelbar vor der Vorwärtsleistung liegen.

Abbildung 1: Eine Zeitleiste, die die relative Länge der im Backtesting-Prozess verwendeten In-Sample- und Out-of-Sample-Daten darstellt.

Die Korrelation bezieht sich auf Ähnlichkeiten zwischen den Leistungen und den Gesamttrends der beiden Datensätze. Korrelationsmetriken können zur Auswertung von Strategie-Leistungsberichten verwendet werden, die während des Testzeitraums erstellt wurden (eine Funktion, die von den meisten Handelsplattformen bereitgestellt wird). Je stärker die Korrelation zwischen den beiden Faktoren ist, desto besser ist die Wahrscheinlichkeit, dass ein System beim Forward-Performance-Test und beim Live-Handel eine gute Leistung erzielt.

In Abbildung 2 sind zwei verschiedene Systeme dargestellt, die an In-Sample-Daten getestet und optimiert und dann auf Out-of-Sample-Daten angewendet wurden. Das Diagramm auf der linken Seite zeigt ein System, das eindeutig kurvenangepasst war, um gut mit den In-Sample-Daten zusammenzuarbeiten, und bei den Out-of-Sample-Daten vollständig versagt hat. Die Grafik auf der rechten Seite zeigt ein System, das sowohl bei In- als auch Out-of-Sample-Daten eine gute Leistung erbringt. Sobald ein Handelssystem unter Verwendung von In-Sample-Daten entwickelt wurde, kann es auf die Out-of-Sample-Daten angewendet werden. Händler können die Performance-Ergebnisse zwischen den In-Sample- und Out-of-Sample-Daten bewerten und vergleichen.

Abbildung 2: Zwei Eigenkapitalkurven. Die Handelsdaten vor jedem gelben Pfeil stehen für die Stichprobenprüfung. Die zwischen dem gelben und dem roten Pfeil erzeugten Trades weisen auf Tests außerhalb der Stichprobe hin. Die Trades nach den roten Pfeilen stammen aus den Forward-Performance-Testphasen.

Wenn wie im linken Diagramm in Abbildung 2 nur eine geringe Korrelation zwischen In-Sample- und Out-of-Sample-Tests besteht, ist das System wahrscheinlich überoptimiert und wird im Live-Handel keine gute Leistung erbringen. Wenn eine starke Korrelation in der Leistung besteht, wie in der rechten Grafik in Abbildung 2 zu sehen, umfasst die nächste Bewertungsphase eine zusätzliche Art von Test außerhalb der Stichprobe, die als Vorwärtsleistungstest bezeichnet wird. (Weitere Informationen zur Prognose finden Sie unter: Finanzprognose: Die Bayes'sche Methode .)

Grundlagen des Forward-Leistungstests

Forward-Performance-Tests, auch als Papierhandel bekannt, bieten Händlern einen weiteren Satz von Out-of-Sample-Daten, anhand derer sie ein System bewerten können. Forward Performance Testing ist eine Simulation des tatsächlichen Handels und beinhaltet die Befolgung der Systemlogik in einem Live-Markt. Es wird auch als Papierhandel bezeichnet, da alle Geschäfte nur auf Papier ausgeführt werden. Das heißt, Trade-Ein- und -Ausgänge werden zusammen mit jeglichem Gewinn oder Verlust für das System dokumentiert, es werden jedoch keine echten Trades ausgeführt.

Ein wichtiger Aspekt beim Testen der Vorwärtsleistung besteht darin, die Systemlogik genau zu befolgen. Andernfalls wird es schwierig, wenn nicht unmöglich, diesen Schritt des Prozesses genau zu bewerten. Trader sollten ehrlich mit allen Trade-Einträgen und -Ausgängen umgehen und Verhaltensweisen wie Cherry-Picking-Trades vermeiden oder keinen Trade auf Papier einbeziehen, in dem begründet wird, dass "ich diesen Trade niemals eingegangen wäre". Wenn der Handel gemäß der Systemlogik stattgefunden hätte, sollte er dokumentiert und ausgewertet werden.

Viele Broker bieten ein simuliertes Handelskonto an, auf dem Trades platziert und der entsprechende Gewinn und Verlust berechnet werden können. Die Verwendung eines simulierten Handelskontos kann eine semi-realistische Atmosphäre schaffen, in der Sie den Handel üben und das System weiter bewerten können.

In Abbildung 2 sind auch die Ergebnisse für Forward-Leistungstests auf zwei Systemen dargestellt. Das im linken Diagramm dargestellte System funktioniert auch nach dem anfänglichen Testen der Stichprobendaten nicht mehr gut. Das in der rechten Grafik dargestellte System zeigt jedoch weiterhin eine gute Leistung in allen Phasen, einschließlich der Vorwärtsleistungstests. Ein System, das positive Ergebnisse mit einer guten Korrelation zwischen In-Sample-, Out-of-Sample- und Forward-Performance-Tests aufweist, kann in einem Live-Markt implementiert werden. (Siehe auch: Vor- und Nachteile des Papierhandels .)

Die Quintessenz

Backtesting ist ein wertvolles Werkzeug, das auf den meisten Handelsplattformen verfügbar ist. Durch die Aufteilung historischer Daten in mehrere Gruppen für In-Sample- und Out-of-Sample-Tests erhalten Händler ein praktisches und effizientes Mittel zur Bewertung einer Handelsidee und eines Handelssystems. Da die meisten Trader beim Backtesting Optimierungstechniken anwenden, ist es wichtig, das System anschließend anhand sauberer Daten zu bewerten, um seine Rentabilität zu bestimmen.

Die Fortsetzung des Out-of-Sample-Tests mit dem Forward-Performance-Test bietet eine weitere Sicherheitsstufe, bevor ein System auf den Markt gebracht wird, bei dem echtes Geld riskiert wird. Positive Ergebnisse und eine gute Korrelation zwischen Backtesting innerhalb und außerhalb der Stichprobe und Forward Performance Testing erhöhen die Wahrscheinlichkeit, dass ein System im tatsächlichen Handel eine gute Leistung erbringt. (Einen umfassenden Überblick über die technische Analyse finden Sie unter: Grundlagen der technischen Analyse .)