Pipeline for leadskraping
Leadgenerering for B2B-salgsteam · Interaktiv prototype med eksempeldata, alene
Oppdatert
Før
Salgsteamet bygde leadlister for hånd. Enkle skrapere stoppet ved første blokkering.
Etter
Jobbene kjører til slutt trass i blokkeringer og dårlige sider, og leadene er klare via et API.
- 1Person:Operatør
Setter opp en jobb i en veiviser, med målnettsteder, felt og tidsplan.
- 2Programvare:Skraper
Åpner sider i en ekte nettleser gjennom roterende proxyer.
- 3Programvare:Pipeline
Henter ut feltene, kontrollerer dem, fjerner duplikater og prøver feil på nytt.
Person:OperatørFølger med på fremdriften og den løpende loggen.
- 4Programvare:Plattform
Lagrer leadene og leverer dem så via API-et og webhooks.
Gjelder alltid
- En mislykket side stopper aldri jobben.
- Dashboardet viser proxyhelse og feil i sanntid.
- API-nøkler er begrenset til ett team.
Problem
Leadlister ble bygget for hånd. Skrapere i stor skala møtte botdeteksjon, mislykkede forespørsler og ujevne sider, og stoppet med halvparten av dataene.
Diagnose
I stor skala er feil normalt. Pipelinen må forvente blokkeringer og dårlige sider, og fortsette.
Alternativer jeg veide
Hva skjer når en side feiler?
Valgt
Prøv på nytt, flytt den så til en liste over mislykkede og la jobben kjøre videre
Én dårlig side koster én post, ikke hele kjøringen. Kostnad: noen må gå gjennom listen over mislykkede.
Forkastet
Stopp jobben ved første feil
I stor skala feiler alltid noen sider, så jobben ville aldri blitt ferdig.
Løsning
Operatørens side på eksempeljobber: en veiviser for mål, felt og tidsplan, fremdrift og logger i sanntid, proxyhelse, og API og webhooks for leadene.
- Grensesnitt
- Next.js
- React
- Tailwind CSS
- Recharts
- Framer Motion
- Leveranse
- Vitest
- Cloudflare Pages