Pipeline til leadscraping
Leadgenerering til B2B-salgsteams · Interaktiv prototype med eksempeldata, alene
Opdateret
Før
Salgsafdelingen byggede leadlister manuelt. Simple scrapere gik i stå ved den første blokering.
Efter
Jobbene kører til ende trods blokeringer og dårlige sider, og leads er klar gennem en API.
- 1Menneske:Operatør
Opretter et job i en guide med målsites, felter og tidsplan.
- 2System:Scraper
Åbner sider i en rigtig browser gennem roterende proxyer.
- 3System:Pipeline
Udtrækker felterne, kontrollerer dem, fjerner dubletter og prøver fejl igen.
Menneske:OperatørFølger fremdriften og live-loggen.
- 4System:Platform
Gemmer leads og leverer dem derefter gennem API'en og webhooks.
Gælder altid
- En mislykket side stopper aldrig jobbet.
- Dashboardet viser proxysundhed og fejl i realtid.
- API-nøgler er begrænset til ét team.
Problem
Leadlister blev bygget manuelt. Scrapere i stor skala ramte bot-detektion, mislykkede forespørgsler og uens sider og stoppede med halvdelen af dataene.
Diagnose
I stor skala er fejl normalt. Pipelinen skal forvente blokeringer og dårlige sider og køre videre.
Overvejede muligheder
Hvad sker der, når en side fejler?
Valgt
Prøv igen, flyt den derefter til en liste over mislykkede og lad jobbet køre videre
Én dårlig side koster én post, ikke hele kørslen. Pris: nogen skal gennemgå listen over mislykkede.
Fravalgt
Stop jobbet ved den første fejl
I stor skala fejler nogle sider altid, så jobbet ville aldrig blive færdigt.
Løsning
Operatørens side på eksempeljobs: en guide til mål, felter og tidsplan, live-fremdrift og logs, proxysundhed samt API og webhooks til leads.
- Brugerflade
- Next.js
- React
- Tailwind CSS
- Recharts
- Framer Motion
- Levering
- Vitest
- Cloudflare Pages