Überanpassung bedeutet, dass ein Modell Besonderheiten seiner Entwicklungsdaten ausnutzt, die sich auf neuen Daten nicht verlässlich wiederholen. Die Suche über viele Varianten verschärft die Auswahlproblematik.
Versuche zählen, nicht nur Gewinner
Jeder zusätzliche Filter und jede Parameterwahl ist eine weitere Möglichkeit, historische Zufälle einzufangen. Erfasse deshalb verworfene Varianten und die Gründe für Änderungen. Ohne diese Historie lässt sich schwer beurteilen, wie stark ein Ergebnis nachträglich ausgewählt wurde.
Eine Region prüfen, nicht nur einen Punkt
Ein einzelner hervorragender Parametersatz zwischen vielen schwachen Nachbarn ist ein Anlass für weitere Prüfung. Untersuche, ob kleine, sachlich begründbare Änderungen das Verhalten grundlegend drehen. Das ist eine Sensitivitätsanalyse und kein Beweis für künftige Stabilität.
Die Forschungsfrage begrenzen
Definiere vorab, welche Hypothese ein Versuch prüft und wann sie verworfen wird. Neue Märkte oder Zeiträume dürfen schlechte Ergebnisse nicht einfach aus der Darstellung verschwinden lassen. Ein gescheitertes Experiment kann als dokumentierte Erkenntnis wertvoll bleiben.
Ein konkretes Beispiel
Gedankenexperiment: Du testest 200 Filterkombinationen und präsentierst nur die beste. Für Leser sieht das wie ein einzelner geplanter Versuch aus. Ein vollständiges Protokoll nennt die 200 Versuche, zeigt die Auswahlregel und trennt anschließend neue Prüfungsdaten.
Für deinen nächsten Test
- Hypothese und Abbruchkriterien vorher notieren.
- Versuchsanzahl und Parameterbereiche offenlegen.
- Unberührte Daten nicht wiederholt zur Auswahl nutzen.
Häufige Frage
Beweist ein erfolgreicher Forward-Test Robustheit?
Nein. Er ergänzt die Evidenz, bleibt aber eine begrenzte Beobachtung unter bestimmten Marktbedingungen.
Quellen & Vertiefung
Lerninhalt, keine Anlageberatung. Rechenbeispiele sind hypothetisch und keine Ergebnisse eines REVENQOR-Systems.
Weiterdenken
Wie funktioniert ein belastbarer Backtest? →
Lookahead-Bias: Wenn der Test die Zukunft kennt →
Zum Systems Lab ↗