Se um backtest bonito não prova nada, como separar skill de sorte? Você submete a ideia a um crivo: uma bateria de testes feita de propósito para tentar derrubá-la. O que sobrevive, talvez preste. O que cai — e a maioria cai — você descarta sem dó.
A inversão mental é esta: em vez de procurar provas de que sua estratégia funciona (você sempre acha), você procura provas de que ela não funciona. Só confia no que resistiu a todas as tentativas de refutação. É o método científico aplicado a investimento.
O p-valor responde: "qual a chance de eu ver um resultado tão bom assim por puro acaso, se a estratégia não tivesse skill nenhum?". P-valor de 0,002 = 0,2% de chance de ser sorte → forte indício de que há algo real. P-valor alto (ex.: 0,30) = pode muito bem ser acaso. Quanto menor, mais significativo.
São formas de gerar milhares de "universos paralelos" a partir dos seus dados — reembaralhando-os ou reamostrando-os. Se a estratégia real bate, digamos, 99% dessas versões aleatórias, é sinal de que o resultado não é sorte. Se ela se perde no meio das versões embaralhadas, era ruído.
Lembra que testar 100 coisas gera achados falsos (Aula 19)? A correção de múltiplos testes resolve isso exigindo uma barra mais alta quanto mais hipóteses você testou. Bonferroni e FDR (False Discovery Rate) impedem que um sortudo passe só porque você testou muita coisa.
O placebo é um teste-controle: você cria uma versão falsa do sinal (ex.: deslocada no tempo, ou aleatória). Se o placebo "funciona" tanto quanto o real, o efeito é estrutural/ilusório, não verdadeiro. O walk-forward é o teste out-of-sample levado a sério: a estratégia decide com base só no passado, avança no tempo, e você mede o que ela teria feito de verdade, sem espiar o futuro.
Se o seu crivo quase nunca reprova nada, ele está fraco demais (ou você está torcendo pela ideia). Um bom crivo mata a maioria — inclusive ideias que você adora. Apegar-se a uma estratégia e afrouxar o teste para ela passar é o erro fatal. A honestidade dói, mas é o que protege seu dinheiro.
Tudo isto é código real na pasta validacao/: bootstrap, permutação,
Bonferroni/FDR, controles de placebo e walk-forward — um crivo reutilizável aplicado a cada ideia nova.
Foi assim que a Allokin validou a seleção fundamental (sobrevive ao FDR, p ≈ 0,002) e matou dezenas de
ideias que pareciam boas no backtest. A próxima aula mostra exatamente o que sobreviveu e o que morreu — a
parte mais honesta (e mais rara) do processo.
b. Quanto menor o p-valor, menor a chance de ser sorte. 0,002 é um indício forte.
b. Se a estratégia real bate quase todas as versões embaralhadas, não é sorte.
b. O objetivo é matar os sortudos. Crivo que aprova tudo é crivo fraco.
b. Se o sinal falso rende igual ao verdadeiro, não havia efeito real (foi o caso do "Fibonacci no tempo", por exemplo).
Você teria coragem de matar a sua própria ideia favorita se ela não passasse no crivo? Essa disciplina — preferir a verdade ao apego — é o que separa o investidor de processo do que vive de narrativa. É raríssima, e é o que a Allokin tenta automatizar.