Saltar para o conteúdo

Inteligência de preços de viagens

Benchmark de preços de pacotes de férias para agência de viagens, mercado da UE · Construído de raiz, a solo: scraper, consola de administração e ligação à IA

Atualizado

Antes

Comparar à mão os preços dos pacotes com a concorrência não escalava, e os jobs de recolha ficavam presos após cada falha.

Depois

~5×

de recolha mais rápida num site que dispensou o browser; o pool de browsers repõe-se sozinho após falhas.

Como funciona
  1. 1Pessoa:Equipa

    Escolhe um pacote a comparar: cidade de partida, data, duração da estadia, ocupação.

  2. 2Sistema:Agendador

    Inicia o job de benchmark.

  3. 3Sistema:Browsers

    Recolhem os preços da concorrência atrás de proxies rotativos.

    Sistema:Cliente HTTP

    Lê a única fonte que não precisa de browser.

  4. 4Pessoa:Equipa

    Vê a comparação de preços na consola de administração.

Sempre garantido

  • Após uma falha, o pool de browsers repõe-se sozinho.
  • O agente de IA do cliente também pode iniciar um benchmark.

Problema

A agência precisava de comparar os seus pacotes com os sites da concorrência por cidade de partida, data, duração e ocupação.

Diagnóstico

Os sites bloqueiam bots, pelo que a estabilidade e o custo dos proxies eram a parte difícil, não o parsing. Os jobs ficavam presos num pool de browsers vazio.

Opções que ponderei

  1. Após uma falha, os jobs ficavam presos num pool de browsers vazio. A solução?

    Escolhida

    Um pool que se repõe sozinho após uma falha

    Um limite de tráfego de proxy esvaziou uma vez o pool de 40 browsers para 0; agora repõe-se a cada 60 segundos. Custo: um ciclo de reposição a manter.

    • Rejeitada

      Um pool de tamanho fixo

      Após uma falha encolhia e ficava pequeno.

  2. Browsers e proxies custam dinheiro. Cada fonte precisa de um?

    Escolhida

    Pedidos HTTP simples para a fonte que os permite

    Um site passou de 8 para 43 datas por minuto, sem browser para manter vivo.

    • Rejeitada

      Um browser completo para cada fonte

      Paga custos de browser e proxy onde não são precisos.

Solução

Um agendador executa jobs de benchmark num pool de browsers com proxies rotativos. A equipa usa uma consola de administração, e o agente de IA do cliente também pode iniciar benchmarks.

Recolha
  • Python
  • Camoufox
  • Playwright
  • curl_cffi
  • Rotating proxies
  • Apify
API e dados
  • FastAPI
  • Supabase
  • PostgreSQL
Consolas de administração
  • Next.js
  • React
  • Vite
  • TanStack Query
  • Chart.js
Ligação ao agente de IA
  • MCP server
Qualidade
  • GitHub Actions
  • gitleaks
  • Vitest
  • pytest

Serviços relacionados

Números: Histórico de commits