Amplitude Experiment - Ferramenta de Teste A/B

Fala aí analítico e analítica de plantão belezinha?

Sabemos que o Google Optimize terá seu sunset em setembro de 2023 e o Google promete lançar uma nova ferramenta 100% integrada com o GA4, mas quem está correndo por fora na briga por esse mercado é a Amplitude que veio com tudo com a sua ferramenta de testes a/b, o Amplitude Experiment.

O fluxo de trabalho de experimentação completa

Quando se trata de experimentação em seu produto digital, nada é mais importante do que o processo. O processo garante que você tenha a maior chance de sucesso - um resultado com próximos passos claros - para que você não desperdice recursos preciosos ou direcione sua equipe para o caminho errado.

Com o Experiment, esse processo é Design, Rollout e Learn. Durante essas fases-chave, são compiladas todas as etapas - do desenvolvimento da hipótese ao direcionamento à medição - em uma única página. Não só é mais fácil gerenciar seus experimentos, como também ajuda você a enviar testes melhores porque você começa e termina com os dados do cliente.

Isso é possível graças à funcionalidade-chave que o Experiment aproveita do Sistema de Otimização Digital da Amplitude e do Gráfico Comportamental :

Dados comportamentais e preditivos ajudam você a segmentar com base em seu comportamento real ou previsto. A resolução de identidade oferece aos usuários a mesma experiência, independentemente da plataforma ou do estado de autenticação. A análise proativa revela os efeitos cascata de um teste que ocorre fora da significância estatística.

Projete Melhores Testes

Uma grande diferença do Experiment em comparação com outras ferramentas é que não começa com a variante ou sinalizador de recurso . Começa com o design do experimento.

O fluxo de trabalho do Amplitude Experiment orienta você pelas melhores práticas de construção de um teste eficaz. Comece com o problema do cliente, descreva os insights de suporte e documente sua hipótese. Você pode até vincular a um gráfico ou métrica existente que usa no Analytics .

Também encontramos maneiras de eliminar o trabalho duplo. Gerenciar e comunicar o planejamento de experimentos cria muita sobrecarga para os gerentes de produto. Por meio do Notebooks , foi criado um único local para sincronizar e compartilhar todos os detalhes. Além disso, é integrado nativamente com o teste que você está executando.

No exemplo acima, foram usadas análises para identificar uma oportunidade de aumentar o engajamento por meio de recursos sociais . É possível vincular nossa hipótese a gráficos de amplitude específicos e todo o Notebook é incorporado em nosso teste para que qualquer pessoa da equipe possa se familiarizar rapidamente. Essa experiência integrada é o que faz com que o Experiment se encaixe perfeitamente nos fluxos de trabalho das equipes.

Implemente de forma mais inteligente, não mais difícil

Mesmo quando os testes são bem projetados, os bloqueadores técnicos podem atrasar ou até inviabilizar os experimentos. Os mais comuns que as equipes encontram surgem da segmentação de segmentos de clientes e do gerenciamento da identidade do usuário. Com o Experiment, achamos que você ficará surpreso com a facilidade de implementação. O Experiment não apenas fornece snippets de código específicos para inicializar e avaliar variantes, mas o direcionamento e o gerenciamento de identidade não exigem nenhum trabalho extra de engenharia.

Por meio do Gráfico Comportamental , segmentar segmentos por comportamento não adiciona trabalho extra. Escolha os eventos que esses segmentos realizaram, as propriedades que eles possuem ou apenas selecione uma coorte. E se você tiver Amplitude Recommend , poderá até segmentar usuários com base em seu comportamento previsto, como probabilidade de compra. Em nosso exemplo de teste de novas funcionalidades sociais, conseguimos segmentar usuários que fazem menos de 5 aulas por semana e que se conectaram com amigos – tudo com apenas alguns cliques.

A Experiment também aproveita a resolução de identidade do Amplitude para mesclar nativamente usuários entre dispositivos e estados de autenticação. Emparelhado com a segmentação comportamental, isso significa que os engenheiros não precisam correr por aí canalizando dados do usuário toda vez que você deseja executar um teste ou inserir um sinalizador.

É também por isso que existe o Payloads . Payloads é um recurso que passa variáveis ​​para o seu produto para que você possa configurar experiências remotamente sem implantar um novo código. Isso pode incluir tudo, desde uma paleta de cores diferente até recomendações individuais que você cria no Amplitude Recommend. Um ótimo exemplo disso seria determinar o número de amigos sugeridos para mostrar em uma experiência social. Por meio de cargas úteis, você pode configurar esse número remotamente e até mesmo alterá-lo em tempo real, sem necessidade de trabalho de desenvolvimento.

Por fim, o Experiment usa testes sequenciais para que você possa visualizar os resultados em tempo real sem comprometer a integridade do experimento. E em breve você poderá adicionar experimentos aos monitores do Amplitude para que possa ser notificado sobre grandes mudanças de comportamento, métricas críticas ou desempenho de teste. Essa visão completa do envolvimento do cliente lhe dá a tranquilidade de saber que você não está quebrando nada e a confiança para fazer apostas maiores.

Aprenda além da significância estatística

Muita ênfase é colocada na significância estatística em testes A/B – por um bom motivo – mas nunca é toda a história. Com a maioria dos testes A/B, o stat sig é onde a análise termina. Com o Amplitude Experiment, é onde a análise começa.

Você tem todo o poder da análise de produtos ao seu alcance. Você não apenas pode cortar os resultados por qualquer combinação de coortes ou comportamentos, mas também pode ver os efeitos cascata que ocorrem além dos limites do teste. Imagine saber que uma nova experiência social aumentou o engajamento geral, mas para os usuários avançados de ciclismo indoor teve um impacto dramático na retenção. Ao ver o impacto total de como o comportamento muda, é mais fácil determinar suas próximas etapas ou seu próximo experimento.

Isso é possível sem nenhum trabalho técnico extra porque o Experiment registra automaticamente as atribuições para você. Você obtém visibilidade total no nível do usuário em todos os experimentos e sinalizadores já criados e eles não contam no seu volume de dados. As atribuições aparecem instantaneamente para uso em análises ou testes futuros e ajudam a evitar colisões entre as experiências. Isso torna a experimentação de dimensionamento gerenciável em toda a sua organização.

Aprenda Amplitude na Prática