Web Scraping og datapipelines
De data, du har brug for, ligger på sites, der blokerer bots og ændrer sig uden varsel. Jeg bygger webscrapere og datapipelines, der udtrækker strukturerede data i stor skala, med anti-detektion og proxyrotation, så indsamlingen bliver ved med at køre.
Hvilket problem det løser
Nogen på dit team kopierer priser, opslag eller leads fra websites manuelt, eller en scraper, du har, går i stykker, hver gang et site ændrer sig.
Leverancer
- Scrapere til de kilder, du har brug for
- Struktureret output i PostgreSQL eller dit eget format
- Anti-detektion og proxyrotation
- Planlagte kørsler og fejlgendannelse
- Kildekode og deployment, som du ejer
Sådan fungerer det
Jeg analyserer målkilderne, bygger udtrækket med browserautomatisering, hvor det er nødvendigt, tilføjer proxyrotation og gendannelse og gemmer resultaterne i en database.
Hvornår det ikke passer
Ikke noget for dig, hvis kilden tilbyder en officiel API eller dataeksport, eller hvis du har brug for data bag logins, du ikke må bruge.
Teknologi
- Python
- Playwright
- PostgreSQL