Lead-Scraping-Pipeline
Lead-Generierung für B2B-Vertriebsteams · Interaktiver Prototyp mit Beispieldaten, allein
Aktualisiert
Vorher
Der Vertrieb baute Kontaktlisten von Hand. Einfache Scraper scheiterten an der ersten Sperre.
Nachher
Jobs laufen trotz Sperren und defekter Seiten bis zum Ende, und die Leads stehen über eine API bereit.
- 1Person:Operator
Richtet einen Job in einem Assistenten ein, mit Zielseiten, Feldern und Zeitplan.
- 2Software:Scraper
Öffnet Seiten in einem echten Browser über rotierende Proxys.
- 3Software:Pipeline
Extrahiert die Felder, prüft sie, entfernt Duplikate und wiederholt Fehlschläge.
Person:OperatorVerfolgt Fortschritt und Live-Log.
- 4Software:Plattform
Speichert die Leads und stellt sie dann über API und Webhooks bereit.
Gilt immer
- Eine fehlgeschlagene Seite stoppt den Job nie.
- Das Dashboard zeigt Proxy-Zustand und Fehler in Echtzeit.
- API-Schlüssel sind auf ein Team begrenzt.
Problem
Kontaktlisten entstanden von Hand. Scraper im großen Maßstab stießen auf Bot-Erkennung, fehlgeschlagene Anfragen und uneinheitliche Seiten und blieben mit halben Daten stehen.
Diagnose
Bei großem Volumen ist Scheitern normal. Die Pipeline muss mit Sperren und defekten Seiten rechnen und weiterlaufen.
Abgewogene Optionen
Was passiert, wenn eine Seite fehlschlägt?
Gewählt
Erneut versuchen, dann auf eine Fehlerliste verschieben und den Job weiterlaufen lassen
Eine defekte Seite kostet einen Datensatz, nicht den ganzen Lauf. Preis: Jemand muss sich die Fehlerliste ansehen.
Verworfen
Den Job beim ersten Fehler stoppen
Bei großem Volumen scheitern immer einige Seiten, der Job würde also nie fertig.
Lösung
Die Seite des Operators, mit Beispieljobs: ein Assistent für Ziele, Felder und Zeitplan, Live-Fortschritt und Logs, Proxy-Zustand sowie API und Webhooks für die Leads.
- Oberfläche
- Next.js
- React
- Tailwind CSS
- Recharts
- Framer Motion
- Auslieferung
- Vitest
- Cloudflare Pages