De backtest is een manier om de effectiviteit van een strategie in het verleden te controleren. Werkt deze tool echt?
Wanneer u begint in de handelswereld, is een van de eerste dingen die u leert het concept van backtesting. Dat wil zeggen, voordat u een strategie gebruikt, is het raadzaam, zo niet essentieel, om de resultaten van enkele regels in voorgaande perioden te controleren. We noemen deze regels een handelssysteem of gewoon een systeem. Het concept zelf, of in ieder geval het idee, is erg goed. Hoewel het ons nu vanzelfsprekend lijkt, is het dat niet altijd geweest. Bovendien zijn er zelfs vandaag de dag handelaren of investeerders die er de voorkeur aan geven, per vergissing of nalatigheid, hun kapitaal toe te vertrouwen aan de toekomst van het lot.
Het is duidelijk dat iedereen speculeert met zijn kapitaal naar eigen goeddunken. Natuurlijk, met de middelen die minstens één klik verwijderd zijn om op zijn minst te proberen, en met relatief gemak, de opbrengsten die een strategie in het verleden heeft gehad te verifiëren, lijkt het op zijn minst absurd om dit niet te doen.
Opmerking: we laten die delen van een analyse weg die niet kwantificeerbaar zijn. Iets wat bij alle soorten analyses gebeurt. Er is altijd wel iets dat we missen.
In het verleden behaalde rendementen bieden geen garantie voor toekomstig rendement
Sommige van degenen die terughoudend zijn om hun strategieën te kwantificeren, kunnen beweren - en zeer goed beargumenteerd - dat rendementen uit het verleden geen garantie bieden voor toekomstig rendement. Maar als ik bedenk dat ze gelijk hebben, kom ik altijd tot de volgende conclusie: als je niet kunt garanderen dat wat heeft gewerkt zal blijven werken, waarom denk je dan dat wat niet werkte, nu wel zal werken. Het zou kunnen werken? Ja, maar het lijkt meer op een daad van geloof dan op iets anders.
Hoop is het laatste dat verloren gaat, want voordat u het verliest, zult u natuurlijk zeker uw kapitaal verliezen.
De backtest werkt ook niet
Met onze geest gericht op het idee dat een backtest beter is dan te vertrouwen op astrologie, moeten we blijven verfijnen om niet dezelfde fouten te maken die veel handelaren hebben gemaakt, doen en helaas zullen blijven maken.
Op dit punt moeten we olie op canvas aanbrengen om te bevestigen dat een backtest beter is dan te vertrouwen op de willekeur van de bestemming, maar het is verre van voldoende.
Waarom is het niet genoeg?
Een backtest is voldoende om te controleren of we, als we in het verleden een bepaald handelssysteem hadden gebruikt, bepaalde resultaten zouden hebben gegenereerd. Maar daar houdt het instrument op. Het woord zelf zegt het al, 'Terug' (verleden) en 'test' (Bewijs). Extrapolerend, zonder verdere analyse, zijn sommige resultaten nog steeds - zij het in mindere mate - een andere daad van geloof. Omdat het bij toeval zou kunnen blijven werken, en een systeem hebben gevonden dat werkt zonder te weten waarom of dat het werkt en je weet niet tot wanneer. Deze manier van handelen van sommige kwantitatieve analisten staat in schril contrast met hun onophoudelijke kritiek op technische analyse. Dat wil zeggen, ze bekritiseren iets dat ze zelf, onbewust, dagelijks toepassen.
Wat valt er te analyseren?
Ervan uitgaande dat een systeem vaste parameters heeft, is het noodzakelijk om de geldigheid ervan in verschillende marktomgevingen te controleren. Ook in omgevingen die er niet zijn. Controleer hoe een systeem zou hebben gewerkt in omgevingen met hoge volatiliteit, lage volatiliteit, voor en na structurele veranderingen, in bullish, bearish en laterale markten. En zo konden we bijna oneindig doorgaan.
Als het systeem variabele parameters heeft, wat meestal in de meeste gevallen gebeurt, zullen we hetzelfde proces doen, maar rekening houdend met het feit dat het systeem aanpasbaar en dus te optimaliseren is. En juist het feit dat het optimaliseerbaar is, maakt het vatbaar voor overoptimalisatie. Dit punt is van cruciaal belang om in de toekomst te proberen stabiele rendementen te behalen.
De gebruikelijke stap na het vinden van een strategie die in het verleden goed werkte, is proberen het model te optimaliseren. Grote fout. Eerst zou je het onder spanning moeten zetten, of wat ik noem het systeem onder druk zetten. Zet het aan het werk in de slechtst mogelijke omgeving die bekend is voor dergelijke systemen. Dus als we bijvoorbeeld een trendsysteem hebben, zal het nodig zijn om het in langere laterale perioden aan het werk te zetten om te zien hoe het zich gedraagt wanneer er geen gunstig scenario is om rendement uit het systeem te halen. De reden voor het bovenstaande is dat we niet weten wat er in de toekomst zal gebeuren, dus onszelf in het slechtst mogelijke scenario plaatsen brengt ons zo ver mogelijk van de onvermijdelijke (en wenselijke) willekeur.
Wat te doen behalve stress?
De concepten die alles veranderen zijn voorwaarts testen en testen uit een steekproef. Maar als we de toekomst niet kennen, hoe gaan we dan iets testen over iets dat we niet weten? We hebben twee opties, die we binnenkort zullen zien. Aan de andere kant hebben we het concept van out of sample. De keuze van deze steekproef - waarvan ik aanbeveel dat het er nogal wat zijn (niet slechts één) en met kansverdelingen die ongelijksoortige kenmerken vertonen - is essentieel om tot een systeem te komen dat werkt. Het idee is dat de backtest en optimalisatie in verschillende periodes worden uitgevoerd. Er blijven dus gratis samples over. Al is dit naar de smaak van de analist. Het kan op een andere manier worden gedaan, maar we kunnen in statistische fouten vervallen die niet het doel van dit artikel zijn.
- De eerste manier om het proces uit te voeren is wat we traditioneel zullen noemen: we maken een systeem, we optimaliseren het en na een aantal statistieken te hebben bekeken, zetten we het aan het werk met fictief geld of met weinig echt geld. Als alles goed gaat, gaan we ermee aan de slag.
- De tweede manier om het proces uit te voeren is wat we 'nieuw' zullen noemen, hoewel het in werkelijkheid weinig nieuws heeft: we voeren een systeem uit, we optimaliseren het, we controleren de stabiliteit van de parameters in de tijd, we voeren uit voorbeeldtests, kunstmatige voorwaartse tests en we zetten het aan het werk met een echte voorwaartse test. Als alles goed gaat, gaan we ermee aan de slag.
De tweede manier van handelen is, vergeleken met de eerste, gebaseerd op twee concepten: stabiliteit van de parameters in de tijd en kunstmatige voorwaartse tests. Kunstmatige voorwaartse tests zijn geen soort out-of-sample-tests die een echte voorwaartse test proberen te simuleren. Laten we eens nadenken over het volgende:
We hebben het afgelopen jaar een proces voor een systeem gedaan. Het aan het werk zetten van deze maand (juli) tot het einde van het jaar (december) is praktisch hetzelfde als alle 6 maanden vooruitgaan en de voorwaartse test van januari tot juli simuleren. Het is niet hetzelfde, want reële omstandigheden bieden ons altijd situaties die moeilijk te bedenken zijn, maar we komen verder en behalen betere resultaten. En na die ‘uitvindingen’ omdat het eigenlijk uitvindingen zijn, hebben we de voorwaartse test in realtime uitgevoerd. Dat bedoel ik met kunstmatige voorwaartse tests. Sommigen vinden het misschien niet leuk op deze manier, maar anders denken is mentaal bevooroordeeld. Als je deze strategie 6 maanden eerder had ontdekt, had je hetzelfde gedaan.
Aan de andere kant hebben we de stabiliteit van de systeemparameters in de tijd. Voor mij is dit de belangrijkste statistiek en vertelt het ons of het systeem te veel geoptimaliseerd is. Als de parameters in de loop van de tijd stabiel blijven na optimalisaties om de X-perioden, betekent dit dat de parameters minder snel over-geoptimaliseerd zijn dan andere die meer variëren. Als we hieraan toevoegen dat we voor elk van de optimalisaties een kunstmatige voorwaartse test uitvoeren en de resultaten ook stabiel zijn, worden we geconfronteerd met een systeem waarvan de kans groot is dat het echt winstgevend zal zijn.
Dit alles kan veel ingewikkelder worden. Hoewel het ingewikkeld lijkt, is het dat niet. Het is zwaar, maar het is eenvoudiger dan het mechanisme van een kan. Zoals altijd heeft iedereen zijn eigen manier om dingen te doen, dit is niet de enige manier, maar wat ik duidelijk wilde maken is dat een backtest zonder reisgenoten nutteloos en nutteloos is. Althans, natuurlijk, in de handelswereld.