Backtesting: τι μπορεί να δείξει και πώς παραπλανά

Ένα backtest παίρνει ένα σταθερό σύνολο κανόνων — για παράδειγμα, μια συνθήκη εισόδου, μια συνθήκη εξόδου και ένα μέγεθος θέσης — και το αναπαράγει πάνω σε ένα ιστορικό σύνολο δεδομένων, όπως παλαιότερες τιμές του Bitcoin (BTC). Καταγράφει ποιες συναλλαγές θα είχε δημιουργήσει ο κανόνας και παράγει στατιστικά όπως τη συνολική απόδοση, το ποσοστό επιτυχημένων συναλλαγών, τη μέγιστη πτώση (drawdown) και τον αριθμό των συναλλαγών.

Η βασική ιδέα είναι απλή: αν ένας κανόνας δεν είχε καμία χρήσιμη δομή, δεν θα έπρεπε να συμπεριφέρεται καλύτερα από το τυχαίο πάνω σε παλαιότερα δεδομένα. Το backtesting είναι ένας τρόπος να εξετάζει κανείς την ιστορική συμπεριφορά ενός κανόνα με μετρήσιμο, επαναλήψιμο τρόπο, αντί να βασίζεται στη μνήμη ή στη διαίσθηση για το «τι συνήθως συμβαίνει».

Ένα backtest είναι πιο αξιόπιστο ως περιγραφικό και διαγνωστικό εργαλείο παρά ως προβλεπτικό. Μπορεί να αποκαλύψει πόσο συχνά θα είχε πραγματοποιήσει συναλλαγές ένας κανόνας, πόσο μεγάλη ήταν η χειρότερη ιστορική του πτώση, πόσο ευαίσθητα είναι τα αποτελέσματα στο κόστος και αν η λογική τρέχει καν χωρίς σφάλματα.

Είναι επίσης χρήσιμο για τον αποκλεισμό. Ένας κανόνας που απέδωσε άσχημα σε μια μακρά, ποικίλη ιστορία — ή που λειτούργησε μόνο σε μία στενή περίοδο — προφανώς δεν έχει αποδείξει ευρωστία. Ο αποκλεισμός ιδεών είναι συχνά μια πιο έντιμη χρήση του backtesting από την προσπάθεια επιβεβαίωσης ότι μια αγαπημένη ιδέα «λειτουργεί».

Η υπερπροσαρμογή συμβαίνει όταν μια στρατηγική είναι ρυθμισμένη τόσο στενά στις ιδιαιτερότητες ενός ιστορικού συνόλου δεδομένων, ώστε να αποτυπώνει θόρυβο αντί για κάποιο διαρκές μοτίβο. Αν δοκιμάσετε εκατοντάδες συνδυασμούς παραμέτρων και κρατήσετε αυτόν με την καλύτερη παρελθούσα απόδοση, πολύ πιθανόν να έχετε επιλέξει την τύχη, όχι την ικανότητα — κάποιος συνδυασμός πάντα επρόκειτο να φανεί καλός από σύμπτωση.

Τα προειδοποιητικά σημάδια είναι γνώριμα: πολλές ρυθμιζόμενες παράμετροι, αποτελέσματα που καταρρέουν όταν μια ρύθμιση μετακινηθεί ελαφρώς, εντυπωσιακή απόδοση συγκεντρωμένη σε λίγες συναλλαγές, και κανόνες που προσαρμόστηκαν επανειλημμένα μέχρι η καμπύλη κεφαλαίου να φανεί ελκυστική. Μια υπερπροσαρμοσμένη στρατηγική τείνει να αποδίδει πολύ χειρότερα εκτός δείγματος — σε δεδομένα για τα οποία δεν ρυθμίστηκε — και ακόμη χειρότερα στις πραγματικές συναλλαγές.

Η υπερπροσαρμογή δεν είναι το μόνο πρόβλημα. Η προκατάληψη πρόβλεψης μελλοντικών (look-ahead bias) χρησιμοποιεί πληροφορίες που δεν θα ήταν διαθέσιμες τη στιγμή της συναλλαγής. Η προκατάληψη επιβίωσης (survivorship bias) δοκιμάζει μόνο περιουσιακά στοιχεία που εξακολουθούν να υπάρχουν, αγνοώντας εκείνα που απέτυχαν. Η προκατάληψη ανιχνευτικής εξόρυξης δεδομένων (data-snooping bias) συσσωρεύεται όταν πολλοί άνθρωποι δοκιμάζουν πολλές ιδέες πάνω στην ίδια ιστορία και αναφέρονται μόνο οι νικητές.

Οι πρακτικές τριβές επίσης παραλείπονται εύκολα. Το κόστος συναλλαγών, οι προμήθειες, η ολίσθηση (slippage), τα spreads, η χρηματοδότηση και η δυσκολία εκτέλεσης μεγάλων εντολών σε ρηχές αγορές μπορούν να μετατρέψουν έναν κανόνα κερδοφόρο στα χαρτιά σε ζημιογόνο. Ένα backtest που υποθέτει τέλειες εκτελέσεις σε ιδανικές τιμές μετρά μια αγορά που δεν υπάρχει.

Ακόμη και ένα προσεκτικά κατασκευασμένο, ελεγμένο ως προς τις προκαταλήψεις backtest περιγράφει το παρελθόν κάτω από ένα συγκεκριμένο σύνολο συνθηκών. Οι αγορές αλλάζουν: η ρευστότητα, η μεταβλητότητα, οι συμμετέχοντες και η ρύθμιση μεταβάλλονται όλα με τον χρόνο, και ένας κανόνας που ταίριαζε σε ένα καθεστώς μπορεί να αποτύχει σε ένα άλλο. Η παρελθούσα απόδοση δεν φέρει καμία εγγύηση για το μέλλον, και τα backtests συχνά υπερεκτιμώνται.

Γι' αυτό οι προβλεπτικές μέθοδοι συναλλαγών γενικά — τα μοτίβα διαγραμμάτων, τα κύματα Elliott, τα επίπεδα Fibonacci και τεχνικοί δείκτες όπως ο RSI ή ο MACD — είναι αμφισβητούμενες και υποκειμενικές. Το backtesting τους μπορεί να τις κάνει να φαίνονται ακριβείς, αλλά δεν μπορεί να τις κάνει να προβλέπουν αξιόπιστα τις τιμές. Οι συναλλαγές είναι υψηλού κινδύνου, και η έρευνα δείχνει με συνέπεια ότι οι περισσότεροι ιδιώτες επενδυτές χάνουν χρήματα με την πάροδο του χρόνου.

Επειδή τα backtests μπορούν να κολακεύσουν μια στρατηγική, ορισμένοι προτιμούν να εξετάζουν επίσης το ευρύτερο πλαίσιο των δεδομένων της αγοράς και όχι μόνο την τιμή. Το BIKENZO είναι ένα τερματικό δεδομένων και αναλυτικών στοιχείων για το Bitcoin που εμφανίζει πληροφορίες όπως τη ρευστότητα σε σχέση με την τιμή του BTC· αυτό το πλαίσιο μπορεί να σας βοηθήσει να ερμηνεύσετε αν μια ιστορική κίνηση συνέβη σε μια βαθιά, ρευστή αγορά ή σε μια ρηχή.

Αυτό είναι πλαίσιο, όχι σήμα ή πρόβλεψη. Το BIKENZO δεν σας λέει τι θα συμβεί, δεν δημιουργεί συναλλαγές και δεν είναι τόπος για συναλλαγές — είναι ένας φακός για την κατανόηση των δεδομένων πίσω από την τιμή. Κάθε απόφαση, και κάθε κίνδυνος, παραμένει εξ ολοκλήρου δική σας.