O que é holdout?
Holdout, também chamado de grupo de controle ou holdout group, é um recorte do público que fica de fora da campanha por decisão do time. Esse grupo serve de referência: o que ele fizer sem ver o anúncio representa o que teria acontecido de qualquer forma.
O holdout responde à pergunta que a atribuição não responde. Quando um cliente vê um anúncio e compra, a atribuição registra a conversão como resultado da mídia. O holdout mostra quantos desses clientes comprariam mesmo sem o anúncio.
A diferença entre os dois grupos é a incrementalidade da ação. Se o grupo impactado converteu 6% e o holdout converteu 4%, os dois pontos de diferença representam o efeito da campanha, e não os 6% inteiros.
Como funciona na prática?
A montagem de um holdout segue quatro etapas:
- Definir o tamanho: uma fatia entre 5% e 20% do público costuma equilibrar a perda de receita durante o teste com a capacidade de detectar diferença. Públicos pequenos exigem fatias maiores.
- Sortear os participantes: a separação precisa ser aleatória. Escolher o grupo por região, por perfil ou por engajamento contamina a comparação, porque os dois grupos passam a ser diferentes desde o início.
- Excluir de verdade: o holdout não pode receber a campanha por nenhum canal. Vazamento entre grupos aproxima os resultados e esconde o efeito.
- Comparar as taxas: ao final do período, o time mede a mesma métrica nos dois grupos e calcula a diferença.
Um exemplo hipotético: uma base de 50 mil clientes recebe uma campanha de e-mail, com 5 mil mantidos como holdout. O grupo impactado gerou R$ 18 por pessoa e o holdout, R$ 13. A diferença de R$ 5 por pessoa, multiplicada pelos 45 mil impactados, estima R$ 225 mil de receita incremental.
Holdout vs teste A/B: qual a diferença?
| Aspecto | Holdout | Teste A/B |
|---|---|---|
| O que compara | Com campanha contra sem campanha nenhuma | Uma versão da campanha contra outra |
| Pergunta respondida | A ação gera resultado incremental? | Qual variação funciona melhor? |
| Custo | Receita não realizada no grupo excluído | Baixo, todos recebem alguma versão |
Veredito: o holdout mede se vale a pena fazer a campanha, e o teste A/B mede como fazê-la melhor.
Exemplos de uso
- Um e-commerce retira 10% da base de remarketing por 30 dias e descobre que boa parte das compras atribuídas ao canal aconteceria de qualquer jeito.
- Uma operadora exclui 8% dos clientes elegíveis de uma campanha de retenção e compara a taxa de cancelamento entre os grupos.
- Um varejista mantém um holdout permanente de 5% em toda a régua de e-mail, criando uma leitura contínua do valor gerado pelo canal.
Erros comuns
- Escolher o grupo de controle por conveniência em vez de sorteio aleatório.
- Deixar o holdout receber a campanha por outro canal, o que apaga a diferença.
- Usar grupo pequeno demais para detectar variações reais.
- Encerrar o teste antes do fim do ciclo de compra e ler resultado parcial como definitivo.
- Rodar holdout em campanhas de verba mínima, onde o efeito não aparece.
Perguntas frequentes sobre holdout
Qual o tamanho ideal de um holdout?
Não existe número universal. A fatia precisa ser grande o bastante para que a diferença observada supere a variação natural entre grupos, e pequena o bastante para que a receita não realizada seja aceitável. Bases grandes toleram percentuais menores, bases pequenas exigem fatias maiores.
Holdout dá prejuízo?
Gera custo de oportunidade durante o teste, já que parte do público deixa de receber a campanha. Esse custo é o preço da informação. Quando o teste revela que um canal entrega pouco resultado incremental, a economia na realocação da verba costuma superar em muito a receita não realizada.
Por quanto tempo manter um holdout?
Pelo menos por um ciclo completo de compra do seu produto, para que as conversões atrasadas apareçam nos dois grupos. Alguns times mantêm um holdout permanente em canais recorrentes, com fatia pequena, para acompanhar a evolução do efeito incremental ao longo do tempo.