Pipeline pro sběr leadů
Generování leadů pro B2B obchodní týmy · Interaktivní prototyp s ukázkovými daty, samostatně
Aktualizováno
Před
Obchod skládal seznamy leadů ručně. Jednoduché scrapery skončily u první blokace.
Po
Úlohy doběhnou do konce navzdory blokacím a vadným stránkám a leady jsou připravené přes API.
- 1Člověk:Operátor
V průvodci nastaví úlohu s cílovými weby, poli a plánem.
- 2Software:Scraper
Otevírá stránky ve skutečném prohlížeči přes rotující proxy.
- 3Software:Pipeline
Extrahuje pole, kontroluje je, odstraňuje duplicity a opakuje neúspěchy.
Člověk:OperátorSleduje průběh a živý log.
- 4Software:Platforma
Ukládá leady a poskytuje je přes API a webhooky.
Vždy platí
- Neúspěšná stránka nikdy nezastaví úlohu.
- Dashboard zobrazuje stav proxy a chyby v reálném čase.
- API klíče jsou omezené na jeden tým.
Problém
Seznamy leadů se skládaly ručně. Scrapery ve velkém narážely na detekci botů, neúspěšné požadavky a nekonzistentní stránky a zastavily se v polovině dat.
Diagnóza
Ve velkém je selhání normální. Pipeline musí s blokacemi a vadnými stránkami počítat a běžet dál.
Varianty, které jsem zvažoval
Co se stane, když stránka selže?
Zvoleno
Zopakovat ji, pak ji přesunout na seznam neúspěšných a nechat úlohu běžet
Jedna vadná stránka stojí jeden záznam, ne celý běh. Cena: seznam neúspěšných musí někdo projít.
Zamítnuto
Zastavit úlohu při první chybě
Ve velkém některé stránky selžou vždy, takže úloha by nikdy nedoběhla.
Řešení
Pohled operátora na ukázkových úlohách: průvodce pro cíle, pole a plán, živý průběh a logy, stav proxy a API a webhooky pro leady.
- Rozhraní
- Next.js
- React
- Tailwind CSS
- Recharts
- Framer Motion
- Dodání
- Vitest
- Cloudflare Pages