Este é o módulo que separa a Allokin de 99% do que se vê no mercado. A ideia central é desconfortável: um backtest lindo não é prova de nada. Entender por quê te protege da maior fonte de prejuízo do investidor "esperto".
Pegue qualquer regra ("compre toda segunda-feira de lua cheia"), teste no passado, e ajuste os detalhes até o gráfico ficar lindo. Sempre dá pra achar uma estratégia que teria multiplicado seu dinheiro — olhando para trás. O problema: isso não diz nada sobre o futuro.
É ajustar uma regra tão perfeitamente ao passado que ela acaba descrevendo o ruído daquele período específico, não um padrão real. Como decorar as respostas de uma prova antiga em vez de aprender a matéria: você "gabarita" o passado e fracassa na prova nova (o futuro).
Imagine 1.024 pessoas jogando moeda. Em média, uma vai tirar 10 caras seguidas — pura sorte. Para o mundo, ela parece uma vidente infalível. O mercado tem milhares de estratégias sendo testadas o tempo todo; por puro acaso, algumas brilham. Quando você "descobre" uma regra que funcionou, pode ser só a moeda sortuda — e não há skill nenhum por trás.
Quanto mais coisas você testa, mais "achados" falsos aparecem por acaso. Testar 100 indicadores e ficar com "o melhor" quase garante pegar um sortudo. É por isso que torturar os dados até eles confessarem produz estratégias que morrem assim que vão pra rua.
A Allokin trata "funcionou no backtest" como suspeito até prova em contrário. Por isso o sistema separa explicitamente o que é validado do que é explorado, persegue o point-in-time (dado as-of a divulgação) e ataca o survivorship rodando no universo completo de empresas, não só nas sobreviventes. Um backtest bonito, aqui, é apenas uma hipótese — que ainda precisa passar pelo crivo da próxima aula.
b. Backtest bonito não é prova. Precisa sobreviver a testes de robustez (próxima aula).
b. Sobreajuste: gabarita o passado, fracassa no futuro (out-of-sample).
b. Quanto mais você testa, mais falsos positivos por acaso. É o data snooping.
a. As perdedoras "sumiram" da amostra, inflando o resultado. Por isso se testa no universo completo.
Quantas vezes você viu um anúncio com "nossa estratégia rendeu 300% nos últimos 5 anos"? Agora você sabe a pergunta certa: isso é skill ou foi a moeda sortuda — e como eles provaram a diferença? Se não provaram, é só marketing.