Curso de Testes A/B

Aula 1 • Visão Geral das Armadilhas Comuns em Testes

Apresenta os erros mais frequentes — espiadinhas, efeitos de novidade e viés de seleção — para que os alunos os reconheçam cedo. Define as expectativas de rigor mantidas ao longo do curso.

Aula 2 • Métricas-chave e KPIs

Identifica métricas primárias, secundárias e de proteção para experimentos. Escolher a métrica certa determina diretamente se um teste responde à pergunta de negócio pretendida.

Aula 3 • Conceitos Estatísticos Centrais

Abrange distribuições de probabilidade, variância e teoria de amostragem essenciais para testes válidos. Fornece a linguagem matemática usada ao longo de todo o curso.

Aula 4 • O Que É Teste A/B

Define experimentos controlados e os contrasta com a análise observacional. Ancora o capítulo mostrando como o teste A/B elimina o achismo das decisões de produto.

Aula 1 • Erros Tipo I e Tipo II

Define falsos positivos e falsos negativos e suas consequências para o negócio. Enquadra a troca alfa-beta que rege todas as decisões de tamanho de amostra e poder.

Aula 2 • Compreendendo Valores-P

Explica o que um valor-p mede e o que ele não prova. Aborda diretamente equívocos generalizados que levam a decisões de negócio falso-positivas.

Aula 3 • Poder Estatístico e Sensibilidade

Explica como o poder determina a capacidade de um teste de detectar efeitos reais. Testes com baixo poder desperdiçam recursos; esta seção garante que os alunos dimensionem os testes corretamente.

Aula 4 • Significância Prática vs. Estatística

Distingue resultados estatisticamente significativos daqueles que são relevantes para o negócio. Impede que equipes implementem mudanças que são detectáveis, mas economicamente irrelevantes.

Aula 1 • Usando Calculadoras de Tamanho de Amostra

Demonstra como usar calculadoras online e programáticas com precisão. Reduz erros de cálculo e acelera a fase de planejamento pré-experimento.

Aula 2 • Tempo dos Efeitos de Novidade e Primazia

Explica como o comportamento do usuário muda no início do experimento e se estabiliza ao longo do tempo. Ensina quando começar a medir para evitar resultados iniciais inflados ou deflacionados.

Aula 3 • Fundamentos do Tamanho da Amostra

Deriva a relação entre tamanho da amostra, poder, alfa e tamanho do efeito. Estabelece a fórmula que os alunos aplicarão em todo projeto de experimento subsequente.

Aula 4 • Regras de Parada e Interrupção Antecipada

Abrange regras de parada pré-especificadas que mantêm as garantias de taxa de erro. Previne o problema da espiadinha ao mesmo tempo que permite paradas éticas antecipadas em caso de danos graves.

Aula 1 • Instrumentação e Rastreamento

Define o registro de eventos e a instrumentação analítica necessários antes do lançamento. Rastreamento ausente ou incorreto é a principal causa de experimentos não analisáveis.

Aula 2 • Checklist Pré-Experimento

Consolida todas as decisões de design em uma checklist de prontidão para lançamento. A revisão sistemática captura erros que invalidariam os resultados após a coleta de dados.

Aula 3 • Construção do Controle e da Variante

Orienta a criação de linhas de base de controle e variantes de tratamento que isolam uma variável. O isolamento é o princípio central que torna a inferência causal possível.

Aula 4 • Definindo o Escopo do Experimento

Estabelece a população-alvo, superfície de exposição e critérios de exclusão antes do lançamento. As decisões de escopo controlam diretamente a validade interna e a generalizabilidade dos resultados.

Aula 1 • Efeitos de Interação Entre Testes

Explica como experimentos simultâneos podem interferir e enviesar os resultados uns dos outros. Os alunos aplicam exclusão mútua e designs fatoriais para gerenciar testes concorrentes.

Aula 2 • Lançando um Experimento com Segurança

Aborda implantações graduais, ramp-up de tráfego e protocolos de kill-switch para lançamentos seguros. A exposição gradual limita o impacto no usuário se um bug crítico surgir após o lançamento.

Aula 3 • Monitoramento da Qualidade dos Dados

Estabelece verificações contínuas para anomalias em métricas, lacunas de registro e tráfego de bots. O monitoramento contínuo previne a corrupção silenciosa de dados que distorceria os resultados finais.

Aula 4 • Detecção de Discrepância na Proporção da Amostra (SRM)

Ensina como identificar quando as divisões de tráfego observadas se desviam das proporções pretendidas. A SRM invalida a randomização e deve ser detectada antes do início da análise.

Aula 1 • Interpretando Resultados Inconclusivos

Fornece uma estrutura de decisão para resultados nulos: implementar, iterar ou abandonar. Testes inconclusivos carregam informações e não devem resultar na implementação padrão da variante.

Aula 2 • Escolhendo o Teste Estatístico Correto

Mapeia tipos de métrica para testes apropriados: teste z, teste t, qui-quadrado e Mann-Whitney. Selecionar o teste errado infla as taxas de erro e produz conclusões enganosas.

Aula 3 • Técnicas de Redução de Variância

Apresenta o CUPED e a análise estratificada para reduzir o ruído e aumentar a sensibilidade do teste. Menor variância significa que o mesmo tamanho de amostra detecta efeitos reais menores.

Aula 4 • Análise Segmentada

Aborda a divisão dos resultados por segmentos de usuário para encontrar efeitos de tratamento heterogêneos. A análise de segmentos revela quem se beneficia e quem é prejudicado por uma mudança.

Aula 1 • Algoritmos de Bandido para Otimização

Explica o epsilon-guloso, UCB e amostragem de Thompson para compensações entre explorar-explorar. Bandidos maximizam a recompensa acumulada quando a velocidade de aprendizado supera a necessidade de inferência causal.

Aula 2 • Teste A/B Bayesiano

Apresenta distribuições a priori, atualizações a posteriori e métricas de probabilidade de ser o melhor. O enquadramento bayesiano se alinha naturalmente com a linguagem de decisão de negócios e a tolerância ao risco.

Aula 3 • Testes de Switchback e Intercalação

Aborda designs de switchback baseados em tempo e intercalação para sistemas de marketplace e ranqueamento. Lida com efeitos de rede que tornam a randomização em nível de usuário inválida.

Aula 4 • Teste Multivariado (MVT)

Ensina designs fatoriais completos e fatoriais fracionados para testar múltiplos elementos simultaneamente. O MVT revela efeitos de interação invisíveis para testes A/B isolados.

Aula 1 • Medindo o ROI do Programa de Experimentação

Quantifica o valor de negócio do programa de experimentação para justificar o investimento. A medição do ROI garante patrocínio executivo e recursos para o crescimento da plataforma.

Aula 2 • Escalando a Velocidade da Experimentação

Aborda estratégias para aumentar a taxa de testes sem sacrificar qualidade ou coordenação. Alta velocidade requer ferramentas padronizadas, modelos e análises de autoatendimento.

Aula 3 • Gestão do Conhecimento e Aprendizados

Projeta repositórios de experimentos e processos retrospectivos que acumulam aprendizado organizacional. Aprendizados documentados evitam erros repetidos e aceleram a geração de hipóteses futuras.

Aula 4 • Arquitetura da Plataforma de Experimentação

Descreve os componentes de uma plataforma interna de experimentação: atribuição, registro e análise. A maturidade da plataforma determina diretamente quantos testes uma organização pode executar.