Formulando experimentos de growth hacking

Growth hackers utilizam uma versão do método científico adaptado a startups para testar hipóteses e buscar validações sobre ideias de crescimento.

tumblr_inline_nl3rnvcvdL1slphep

Mesmo que as ideias de crescimento possam parecer obviamente boas para você, a prática de sempre duvidar das suas suposições mais básicas lhe ajuda a manter os pés no chão e a construir uma empresa que trabalhe baseada em dados e não em “achismos”.

Transformando ideia em experimento

1. Formulando hipóteses

Uma hipótese é uma premissa que pode ser refutada, ou seja, que pode ser provada errada através de dados coletados em experimentos.

Você pode ter a ideia, por exemplo, de produzir uma newsletter semanal para os seus usuários. Essa ideia, quando escrita em formato de hipótese, fica assim:

“Se produzirmos uma newsletter semanal, prevejo que o número de usuários ativos irá crescer em 20%.”

Repare que ela é descrita usando o condicional “se” e possui uma meta tangível a ser atingida. Uma maneira errada de escrever uma hipótese seria:

“Acreditamos que nossos usuários irão gostar de uma newsletter semanal.”

2. Use metas númericas

Porcentagens normalmente não contam a história toda.

Principalmente quando se trabalha em equipe, é essencial descrever os números atuais e como eles podem ser afetados com o experimento. Lembre-se de usar as métricas certas e fazer uma tabela, como a abaixo, logo abaixo da formulação da hipótese no seu doc de experimentos:

   tumblr_inline_nl44kwrBDN1slphep

Ou seja, o experimento espera um aumento de 260 visitantes por semana.

3. Formulando experimentos

Um experimento é uma maneira de testar se uma hipótese irá se comprovar na prática. Não existe uma fórmula para escrever um experimento, porque ele varia de caso para caso. A ideia é produzir uma funcionalidade, campanha, email ou ação de marketing, por exemplo, que sirva para coletar dados que ajudem a provar ou contrariar a sua hipótese da maneira menos trabalhosa e mais barata possível.

Veja no final do texto como aplicar o conceito de MVT (Minimum Viable Test) para preparar experimentos.

Você pode estar pensando que é perda de tempo entrar em muitos detalhes sobre como fazer um experimento. Mas mesmo para quem está trabalhando sozinho, ter o registro de todos os detalhes de todos os experimentos feitos no Doc de Experimentos ajuda bastante como referência no futuro.

Além disso, ao escrever em um documento que ficará registrado, você se força a adicionar o maior número de fatos tangíveis possível. Lembre-se de que o objetivo é tomar decisões racionais e fugir do “achismo” de todas as maneiras.

Veja abaixo como ficaria a formulção de um experimento à partir da hipóteses da newsletter acima:

Formulação do experimento:

1. Formular e implementar 3 versões diferentes de uma newsletter contendo os conteúdos do nosso blog:
1.1. Newsletter 1 contendo o último post do blog na íntegra.
1.2. Newsletter 2 contendo títulos + breve descrição dos 4 últimos posts do blog.
1.3. Newsletter 3 contendo o último post do blog escrito parcialmente.
2. Dividir a base de dados em 3 segmentos aleatórios de mesmo tamanho.
3. Fazer o design e enviar as 3 versões da newsletter ao mesmo tempo, por quatro segundas-feiras seguidas.
4. Implementar códigos diferenciados nos links de cada newsletter para acompanhamento dos dados no Google Analytics.
5. Medir a newsletter vencedora com base em visitas no site vindas de cada versão.

4. Análise de resultados

Depois de deixar rodando o seu experimento por um período que traga resultados significativos e conclusivos, é hora de parar para analisar os resultados.

Lembre-se de registrar os resultados no Doc de Experimentos para servir de referência para o resto da equipe e para você mesmo no futuro. No caso da newsletter que organizamos, o resultado foi:

tumblr_inline_nl46rfzYt61slphep

A versão vencedora (Newsletter 3), se aplicada à totalidade dos usuários, teria aumentado em 267 o número de visitantes por semana. Ou seja, os resultados foram melhores que o esperado.

5. Aprendizados e próximos passos

tumblr_inline_nl4795zXfj1slphep

 

 

 

 

 

 

Não deixe também de anotar quais foram os aprendizados ganhos com o experimento. Nesse caso, por exemplo, os aprendizados foram:

  • Usuários realmente visitaram mais o site com o envio de uma newsletter (de qualquer versão).
  • A melhor versão foi aquela que enviou apenas uma história, mas que não a revelou inteiramente no email, levando o usuário a clicar para ler o resto.
  • 50% dos usuários que voltaram por causa da newsletter também executaram outras ações no site (após mais demorada verificação de dados).

O próximo passo é delimitar as ações para que o experimento, se bem sucedido, seja implementado como funcionalidade ou novo processo na startup.

Muitos experimentos irão levar a mais hipóteses, que devem ser planejadas na forma de novos experimentos. Isso é o que faz com que o processo de growth traga uma constante evolução para a sua startup, como nesse exemplo:

  • Treinar [nome do responsável] no desenvolvimento das newsletters.
  • [Nome do responsável] deve executar o processo de desenvolvimento e envio da newsletter toda a segunda-feira.
  • Equipe de growth deve formular outro experimento para testar se outros dias de envio não irão melhorar ainda mais os resultados.

6. Outros detalhes a se lembrar ao executar experimentos

  • Muitas vezes o seu experimento não terá mais de uma alternativa a ser testada, como nesse caso da newsletter. Nesse caso, compare os resultados obtidos com os resultados anteriores à instalação da funcionalidade.
  • Algumas vezes você não terá resultados conclusivos. Você deve tentar melhorar seu experimento, mas também pode ser sinal de que você precise rever algo mais profundo (como o público-alvo errado, ou algo de errado com a sua proposta).
  • Utilize os conteúdos daqui como um ponto de partida, e ajuste os processos de acordo com o que faz mais sentido para a sua empresa. Startups devem estar sempre evoluindo, e isso também é verdade sobre os seus processos.

Minimum Viable Test

image

Você já conhece o conceito de MVP (Minimum Viable Product), e agora você irá passar a se familiarizar com o conceito de MVT (Minimum Viable Test).

O MVT é o mínimo que você precisa fazer para entender e validar a sua hipótese. Por exemplo:

Produto: Videoaulas ao vivo pela internet:
A sua hipótese é a de que mandar um email 15 minutos antes do começo de uma lição no seu site melhorará o acesso dos seus usuários. Essa hipótese se baseia em dados que apontam que muitos dos usuários não acessam as aulas porque esquecem.

Nesse caso, ao invés de envolver seu departamento de programação para desenvolver uma funcionalidade, você deve testar primeiro essa hipótese da maneira mais simples e com menos desperdício de tempo possível.

Você pode, por exemplo, enviar um email manualmente, 15 minutos antes da lição, para uma parcela (ou para o número total) de usuários, sem precisar envolver designers ou programadores.

Se o número de usuários do curso aumentar conforme a sua previsão, então você terá validado a sua hipótese e deverá incluir essa funcionalidade na sua linha de produção.

Até mais!

-Ramon

Share Your Thought