Pipeline för leadskrapning
Leadgenerering för B2B-säljteam · Interaktiv prototyp med exempeldata, solo
Uppdaterad
Före
Säljare byggde leadlistor för hand. Enkla skrapare dog vid första blockeringen.
Efter
Jobben körs till slut trots blockeringar och trasiga sidor, och leads finns redo via ett API.
- 1Person:Operatör
Sätter upp ett jobb i en guide, med målsajter, fält och schema.
- 2Programvara:Skrapare
Öppnar sidor i en riktig webbläsare via roterande proxyservrar.
- 3Programvara:Pipeline
Utvinner fälten, kontrollerar dem, tar bort dubbletter och gör om misslyckade anrop.
Person:OperatörFöljer förloppet och liveloggen.
- 4Programvara:Plattform
Lagrar leads och levererar dem sedan via API:et och webhooks.
Alltid på
- En misslyckad sida stoppar aldrig jobbet.
- Dashboarden visar proxyhälsa och fel i realtid.
- API-nycklar är begränsade till ett team.
Problem
Leadlistor byggdes för hand. Skrapare i stor skala stötte på botdetektering, misslyckade anrop och ojämna sidor, och stannade med halva datan.
Diagnos
I stor skala är fel normalt. Pipelinen måste räkna med blockeringar och trasiga sidor och fortsätta ändå.
Alternativ jag vägde
Vad händer när en sida misslyckas?
Valt
Försök igen, flytta den sedan till en lista över misslyckade och låt jobbet fortsätta
En trasig sida kostar en post, inte hela körningen. Kostnad: någon måste gå igenom listan över misslyckade.
Bortvalt
Stoppa jobbet vid första felet
I stor skala misslyckas alltid några sidor, så jobbet skulle aldrig bli klart.
Lösning
Operatörens sida på exempeljobb: en guide för mål, fält och schema, förlopp och loggar i realtid, proxyhälsa samt API och webhooks för leads.
- Gränssnitt
- Next.js
- React
- Tailwind CSS
- Recharts
- Framer Motion
- Leverans
- Vitest
- Cloudflare Pages