Pipeline de scraping de leads
Génération de leads pour des équipes commerciales B2B · Prototype interactif sur données d’exemple, en solo
Mis à jour
Avant
Les commerciaux montaient leurs listes de leads à la main. Les scrapers simples mouraient au premier blocage.
Après
Les jobs vont jusqu’au bout malgré les blocages et les mauvaises pages, et les leads sont prêts via une API.
- 1Personne:Opérateur
Configure un job dans un assistant, avec les sites cibles, les champs et la planification.
- 2Logiciel:Scraper
Ouvre les pages dans un vrai navigateur via des proxys rotatifs.
- 3Logiciel:Pipeline
Extrait les champs, les contrôle, supprime les doublons et relance les échecs.
Personne:OpérateurSuit l’avancement et le journal en direct.
- 4Logiciel:Plateforme
Stocke les leads, puis les sert via l’API et les webhooks.
En continu
- Une page échouée n’arrête jamais le job.
- Le dashboard affiche en temps réel l’état des proxys et les erreurs.
- Les clés d’API sont limitées à une seule équipe.
Problème
Les listes de leads se montaient à la main. À grand volume, les scrapers se heurtaient à la détection des bots, aux requêtes échouées et aux pages incohérentes, et s’arrêtaient avec la moitié des données.
Diagnostic
À grand volume, l’échec est normal. Le pipeline doit s’attendre aux blocages et aux pages défaillantes, et continuer.
Options étudiées
Que se passe-t-il quand une page échoue ?
Retenue
La relancer, puis la placer dans une liste d’échecs sans arrêter le job
Une mauvaise page coûte un enregistrement, pas toute l’exécution. Coût : quelqu’un doit examiner la liste d’échecs.
Écartée
Arrêter le job à la première erreur
À grand volume, certaines pages échouent toujours, et le job ne finirait jamais.
Solution
Le côté opérateur, sur des jobs d’exemple : un assistant pour les cibles, les champs et la planification, l’avancement et les logs en direct, l’état des proxys, et l’API et les webhooks pour les leads.
- Interface
- Next.js
- React
- Tailwind CSS
- Recharts
- Framer Motion
- Livraison
- Vitest
- Cloudflare Pages