Pipeline de scraping de leads
Generación de leads para equipos de ventas B2B · Prototipo interactivo con datos de ejemplo, en solitario
Actualizado
Antes
Ventas creaba listas de leads a mano. Los scrapers sencillos morían en el primer bloqueo.
Después
Los trabajos llegan al final pese a bloqueos y páginas defectuosas, con los leads listos mediante una API.
- 1Persona:Operador
Configura un trabajo en un asistente, con sitios objetivo, campos y programación.
- 2Sistema:Scraper
Abre páginas en un navegador real a través de proxies rotativos.
- 3Sistema:Pipeline
Extrae los campos, los valida, elimina duplicados y reintenta los fallos.
Persona:OperadorSigue el progreso y el registro en directo.
- 4Sistema:Plataforma
Almacena los leads y luego los sirve mediante la API y webhooks.
Siempre activo
- Una página fallida nunca detiene el trabajo.
- El dashboard muestra en tiempo real el estado de los proxies y los errores.
- Las claves de API se limitan a un equipo.
Problema
Las listas de leads se creaban a mano. Los scrapers a gran volumen chocaban con la detección de bots, las peticiones fallidas y las páginas inconsistentes, y se detenían con la mitad de los datos.
Diagnóstico
A gran volumen, el fallo es lo normal. El pipeline debe esperar bloqueos y páginas defectuosas, y seguir adelante.
Opciones que valoré
¿Qué pasa cuando falla una página?
Elegida
Reintentarla, luego pasarla a una lista de fallidas y seguir con el trabajo
Una página defectuosa cuesta un registro, no toda la ejecución. Coste: alguien tiene que revisar la lista de fallidas.
Descartada
Detener el trabajo en el primer error
A gran volumen siempre fallan algunas páginas, así que el trabajo nunca terminaría.
Solución
La parte del operador con trabajos de ejemplo: un asistente para objetivos, campos y programación, progreso y registros en vivo, estado de los proxies, y la API y los webhooks de los leads.
- Interfaz
- Next.js
- React
- Tailwind CSS
- Recharts
- Framer Motion
- Entrega
- Vitest
- Cloudflare Pages