Pipeline de scraping de leads
Geração de leads para equipas comerciais B2B · Protótipo interativo com dados de exemplo, a solo
Atualizado
Antes
A equipa comercial criava listas de leads à mão. Os scrapers simples morriam no primeiro bloqueio.
Depois
Os jobs correm até ao fim apesar de bloqueios e páginas defeituosas, com os leads prontos através de uma API.
- 1Pessoa:Operador
Configura um job num assistente, com sites-alvo, campos e agenda.
- 2Sistema:Scraper
Abre páginas num browser real através de proxies rotativos.
- 3Sistema:Pipeline
Extrai os campos, valida-os, remove duplicados e repete as falhas.
Pessoa:OperadorAcompanha o progresso e o registo em direto.
- 4Sistema:Plataforma
Guarda os leads e serve-os depois através da API e de webhooks.
Sempre garantido
- Uma página falhada nunca para o job.
- O dashboard mostra em tempo real o estado dos proxies e os erros.
- As chaves de API ficam limitadas a uma equipa.
Problema
As listas de leads eram feitas à mão. Os scrapers em volume esbarravam na deteção de bots, em pedidos falhados e em páginas inconsistentes, e paravam com metade dos dados.
Diagnóstico
Em volume, a falha é normal. O pipeline tem de esperar bloqueios e páginas defeituosas, e continuar.
Opções que ponderei
O que acontece quando uma página falha?
Escolhida
Repeti-la, depois passá-la para uma lista de falhas e manter o job a correr
Uma página má custa um registo, não a execução inteira. Custo: a lista de falhas precisa de alguém que a reveja.
Rejeitada
Parar o job ao primeiro erro
Em volume há sempre páginas que falham, por isso o job nunca terminaria.
Solução
O lado do operador com jobs de exemplo: um assistente para alvos, campos e agenda, progresso e logs em direto, estado dos proxies, e a API e os webhooks para os leads.
- Interface
- Next.js
- React
- Tailwind CSS
- Recharts
- Framer Motion
- Entrega
- Vitest
- Cloudflare Pages