Tamanho de Amostra e Significância

É a pergunta que decide se os seus números querem dizer algo: quantas operações eu preciso antes de concluir que a minha estratégia funciona?

Com amostra pequena, a variância distorce tudo. Estratégia perdedora parece vencedora, estratégia boa parece quebrada, e o trader troca de sistema justamente quando deveria manter. Quase toda "conclusão" tirada de 20 operações é ruído lido como sinal.

Não existe um número mágico único — depende do tamanho da vantagem que você quer detectar. Vantagem grande e estável se anuncia em poucas operações; vantagem pequena precisa de muitas para se distinguir do acaso.

Referências consolidadas:

O efeito do tamanho, na prática: 13 acertos em 20 (65%) tem p-valor acima de 0,2 — indistinguível de sorte. 130 acertos em 200 (a mesma taxa de 65%) tem p-valor abaixo de 0,01 — vantagem real.

• Com 100 operações, um Sharpe de 1,0 já pode ser significativo a 95% de confiança.
• Uma taxa de acerto de 65% em 20 operações e 65% em 200 são o mesmo percentual e conclusões completamente diferentes.
• Quanto menor a vantagem, maior a amostra necessária. Expectância de +0,05R exige muito mais dados que +0,5R.
• Regra de coerência com o overfitting: 30+ operações por parâmetro otimizado.

• Day trade gera amostra rápido: 8 operações/dia dão 160/mês, e 500 em pouco mais de um trimestre. Não há desculpa para concluir com 30.
• Swing trade sofre o problema oposto: 2 operações/semana levam quase 5 anos para 500. Nesse caso, use dado de backtest validado fora da amostra para complementar.
• Amostra grande de um período só não resolve tudo: 500 operações num único regime de mercado não provam que a estratégia atravessa regimes. É por isso que walk-forward existe.
• Cuidado com amostra grande desalinhada: juntar 3 setups diferentes para chegar a 400 operações produz um número sem significado.

• Mínimo para inferência: 30 operações.
• Mínimo prático para decidir sobre um setup: 100 operações.
• Alvo para day trade: 300 a 500 operações.
• Por parâmetro otimizado: 30+ operações.
• Sempre com resultados líquidos e do mesmo setup.

• Estabeleça o tamanho mínimo antes de começar e comprometa-se a não julgar antes disso. É a regra que mais protege trader iniciante.
• Conte por setup, não no agregado. 400 operações totais com 4 setups são 100 por setup — o limite mínimo, não folga.
• Não mude a estratégia dentro da janela de avaliação. Se mudou, a contagem reinicia.
• Use Monte Carlo quando a amostra é curta: ele mostra a faixa de resultados possíveis, o que é mais honesto que uma média de 40 operações.
• Separe "não funciona" de "amostra insuficiente" — são diagnósticos diferentes que levam a decisões opostas.

Fortes:

• Evita a troca compulsiva de estratégia, que é o principal destruidor de resultado no varejo.
• Dá critério objetivo para "manter" ou "cortar", em vez de sensação.
• Expõe conclusões precipitadas — as suas e as de terceiros.
• Barato de aplicar: é só contar.

Limitações:

• Amostra grande no mesmo regime de mercado não garante nada sobre o próximo.
• Não protege contra seleção: se você testou 50 estratégias e ficou com a melhor, os 500 trades dela já vêm enviesados.
• Testes de significância assumem independência entre operações, o que raramente se sustenta.
• Amostra pode ficar obsoleta: mercado, custos e você mudam ao longo dela.

• Abandonar estratégia depois de 15 operações ruins.
• Adotar estratégia depois de 15 operações boas. O mesmo erro, com o sinal invertido.
• Somar setups diferentes para "chegar" à amostra mínima.
• Contar operações de backtest e de conta real como uma amostra única.
• Concluir sobre horário, dia da semana ou ativo com o recorte de amostra grande — o recorte tem uma fração das operações.

Dois traders da Arena testam o mesmo setup de rompimento no WIN.

Trader A faz 22 operações na primeira semana: 8 acertos, 14 erros, resultado −3,2R. Conclui que "o setup não funciona no mercado atual" e troca de estratégia.

Trader B decidiu antes de começar que julgaria com 200 operações. Nas 22 primeiras, o resultado dele é praticamente igual — mas ele não olha. Segue registrando.

Ao chegar em 200 operações (cerca de 6 semanas), o quadro é: 41% de acerto, payoff 2,3, expectância +0,29R, resultado +58R. A maior sequência de perdas foi de 9, e passou. As 22 operações iniciais estavam completamente dentro da faixa normal de variância do sistema — só eram o começo.

O trader A trocou de estratégia 4 vezes no mesmo período. Nenhuma delas passou de 30 operações, então ele nunca soube se alguma funcionava. Ele não teve azar: ele nunca coletou dado suficiente para ter sorte ou azar.