Guia Completo: Exportação de Dados do Google Analytics 4 para o BigQuery (+ Estimativa de Custos)

O que você irá aprender?

O que é a exportação de dados do Google Analytics 4 para o Google Big Query?

A exportação dos dados brutos do Google Analytics 4 para o Google BigQuery permite que você tenha controle total sobre os dados coletados, possibilitando consultas personalizadas, modelagem avançada e integração com outras fontes de informação. Essa exportação é especialmente útil para:

Criar relatórios mais completos sem as restrições da interface do GA4.
Armazenar dados por tempo ilimitado sem depender das políticas de retenção do GA4.
Combinar dados do GA4 com outras fontes, como CRM, vendas e campanhas publicitárias.
Implementar modelos preditivos e inteligência artificial com base nos dados brutos de eventos.

Se você ainda não está familiarizado com o Google BigQuery e como utilizá-lo, confira este artigo detalhado: O que é o Google BigQuery e como utilizá-lo.

Tipos de exportação do Google Analytics 4 para o Google Big Query

O GA4 oferece três formas principais de exportação para o BigQuery, cada uma com suas particularidades e casos de uso específicos:

Daily Export (Exportação Diária)

A exportação diária do GA4 para o BigQuery ocorre uma vez ao dia, consolidando todos os eventos do dia anterior. Esse método é ideal para quem precisa de um conjunto completo de dados sem a necessidade de informações em tempo real. Ele garante que todos os eventos sejam exportados sem amostragem, o que é essencial para análises detalhadas. No entanto, essa exportação pode levar algumas horas para ser processada, e os dados não são atualizados ao longo do dia.

As limitações variam de acordo com o tipo de propriedade:

GA4 gratuito: até 1 milhão de eventos por dia.
GA4 360: até 20 bilhões de eventos por dia.

As principais vantagens dessa exportação incluem a garantia de integridade dos dados e a possibilidade de uso para análises agregadas e modelos estatísticos. No entanto, uma desvantagem importante é que, como os dados só são disponibilizados no dia seguinte, não é possível monitorar tendências em tempo real.

Fresh Daily Export (GA4 360)

Se sua empresa utiliza o GA4 360, há a opção da Fresh Daily Export, que permite obter dados mais recentes ao longo do dia. Essa modalidade de exportação ocorre em lotes, geralmente com atualizações a cada 60 minutos. É útil para empresas que precisam de dados atualizados com mais frequência, mas sem a necessidade de um fluxo contínuo.

Entretanto, essa exportação tem algumas restrições: ela só está disponível para propriedades GA4 360 classificadas como "Normal" ou "Grande". Além disso, embora forneça dados mais frescos, ainda há atrasos na atualização de determinadas métricas, como atribuição de usuários e sessões.

Além do fato de termos o entendimento para se de fato precisamos de dados em tempo real de nada adianta a gente chegar no cenário onde tempos dados em tempo real se não conseguimos acionar esses dados em tempo real, ou seja, você consegue subir um deploy, mudar um banner, ajustar uma campanha em tempo real? Se a resposta for não é possivel considerar um cenário mais lento de ingestão de dados.

Streaming Export (Exportação Contínua)

Para quem precisa de dados quase em tempo real, a opção de Streaming Export é a mais recomendada. Esse método envia eventos para o BigQuery continuamente ao longo do dia, com um pequeno atraso de minutos. Dessa forma, é possível acompanhar o tráfego e o comportamento dos usuários praticamente em tempo real.

Diferente das exportações diárias e em lotes, a Streaming Export não possui limites de volume. No entanto, por ser baseada em um modelo de "melhor esforço" (best-effort), ela pode apresentar inconsistências temporárias nos dados. Além disso, alguns eventos podem não ser incluídos imediatamente, como dados de novas sessões e fontes de tráfego.

As principais vantagens dessa abordagem incluem a possibilidade de monitoramento dinâmico de campanhas e tráfego em tempo real. Por outro lado, sua desvantagem está no custo adicional que pode ser gerado pelo consumo constante de recursos no BigQuery.

Agora que você entendeu as opções de exportação disponíveis, vamos estimar o volume de dados gerado e os custos de armazenamento no BigQuery.

Estimando o Volume de Dados no BigQuery

Antes de calcular os custos, é importante ter uma ideia do volume de dados que sua propriedade GA4 gera.

Como calcular o volume de eventos

Acesse o Google Analytics 4 e vá até Relatórios > Eventos.
Pegue o total de eventos gerados no último mês.
Utilize a seguinte fórmula para estimar o tamanho total:
```
Total de eventos no mês * 1,75 KB
```
, exemplo: Se um site coleta 1.000.000 de eventos por dia podemos calcular o volume de dados diário e mensal:

Calculo diário:

1.000.000 eventos × 1,75 KB = 1.750.000 KB Convertendo para GB: 1.750.000 KB ÷ 1.000.000 = 1,75 GB/dia

Calculo mensal (30 dias):
```
1,75 GB/dia × 30 dias = 52,5 GB/mês
```
Se esse site armazenar os dados do BigQuery (Armazenamento ativo, US$ 0,023 por GB/mês):
Custo do primeiro mês:
```
52,5 GB x 0,023 USD = US$1,21
```
Após 3 meses (Armazenamento de longo prazo, US$ 0,0115 por GB/mês):
```
52,5 GB x 0,0114 USD = US$0,60
```
Esse exemplo ilustra como um volume considerável de eventos ainda pode resultar em custos baixos de armazenamento.
Converta para GB dividindo por 1.000.000.

Caso você ja colete dados você pode consultar diretamente no BigQuery:

SELECT COUNT(*) AS total_eventos
FROM `sua_tabela_de_exportacao_ga4.events_*`
WHERE _TABLE_SUFFIX BETWEEN '20240101' AND '20240131';

Isso te dará uma estimativa precisa do volume de eventos mensais.

Estimando o custo de consultas no Google Big Query

O custo das consultas no BigQuery é baseado no número de bytes lidos, sendo que o modelo de preços sob demanda cobra aproximadamente US$ 5,00 por terabyte processado.

Você consegue prever o custo de uma consulta no próprio de duas formas usando o próprio Big Query Studio, ou fazendo uma simulação de consulta usando o console do Google BigQuery:

Toda vez que você vai executar uma consulta no Google Big Query a sua consulta é "Validada" junto com essa validação ele te mostra o custo dessa consulta no canto superior direito: No caso dessa consulta pensando em pegar todos os dados do dia de uma vez ela custaria:

2,9 MB ÷ 1.048.576 × 5 USD = US$ 0,000014 por execução

Caso essa consulta seja executada diariamente, o custo mensal seria:

0,000014 USD × 30 dias = US$ 0,00042

Para prever o custo de uma consulta, você pode usar a função de simulação de consulta (dry run) no console do BigQuery. Basta inserir a query e verificar a estimativa de dados processados antes da execução:

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function queryDryRun() {
  // Runs a dry query of the U.S. given names dataset for the state of Texas.

  const query = `SELECT name
    FROM \`bigquery-public-data.usa_names.usa_1910_2013\`
    WHERE state = 'TX'
    LIMIT 100`;

  // For all options, see https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs/query
  const options = {
    query: query,
    // Location must match that of the dataset(s) referenced in the query.
    location: 'US',
    dryRun: true,
  };

  // Run the query as a job
  const [job] = await bigquery.createQueryJob(options);

  // Print the status and statistics
  console.log('Status:');
  console.log(job.metadata.status);
  console.log('\nJob Statistics:');
  console.log(job.metadata.statistics);
}

Ou seja, exportar os dados do GA4 para o BigQuery é uma estratégia essencial para quem deseja análises mais profundas e detalhadas, mas exige um planejamento adequado dos custos envolvidos.

A exportação em si não gera cobranças adicionais, exceto no caso da Streaming Export, que pode trazer custos extras devido ao consumo contínuo de recursos. O armazenamento é relativamente barato e pode ser otimizado utilizando o armazenamento de longo prazo, reduzindo significativamente os custos após 90 dias sem modificações nos dados.

Por outro lado, o maior custo no BigQuery geralmente não está no armazenamento, mas sim nas consultas realizadas. Consultas grandes podem gerar cobranças elevadas, especialmente se forem mal estruturadas. Para evitar surpresas no faturamento, é essencial:

Utilizar partições e clusters para minimizar o volume de dados processados.
Fazer uso da função de simulação de consulta (dry run) para prever custos antes da execução.
Definir um limite de bytes faturados para evitar consultas inesperadamente caras.

Com esse conhecimento e boas práticas aplicadas, você poderá extrair insights valiosos dos dados do GA4 sem comprometer o orçamento. O BigQuery oferece um ambiente poderoso para análises avançadas, e com planejamento adequado, seu uso pode ser altamente eficiente e sustentável financeiramente.

E essa aqui você vai ter que agradecer ao time de tecnologia da Métricas Boss, isso veio direto de uma documentação nossa e só adaptei para um artigo :)