Ceļojumu cenu izlūkošana
Kompleksu ceļojumu cenu salīdzināšana tūrisma aģentūrai, ES tirgus · Izveidots no nulles, viens pats: scraper, administrēšanas konsole un AI savienojums
Atjaunināts
Pirms
Kompleksu ceļojumu cenu salīdzināšana ar konkurentiem ar roku neizauga līdz vajadzīgajam apjomam, un vākšanas uzdevumi iestrēga pēc katra pārtraukuma.
Pēc
~5×
ātrāka vākšana vienā konkurenta vietnē pēc atteikšanās no pārlūka; pārlūku kopa pēc pārtraukumiem papildina sevi pati.
- 1Cilvēks:Darbinieki
Izvēlas salīdzināmo ceļojumu: izbraukšanas pilsēta, datums, uzturēšanās ilgums, viesu skaits.
- 2Programmatūra:Plānotājs
Palaiž salīdzināšanas uzdevumu.
- 3Programmatūra:Pārlūki
Vāc konkurentu cenas aiz rotējošiem starpniekserveriem.
Programmatūra:HTTP klientsNolasa vienu avotu, kuram pārlūks nav vajadzīgs.
- 4Cilvēks:Darbinieki
Redz cenu salīdzinājumu savā administrēšanas konsolē.
Vienmēr darbojas
- Pēc pārtraukuma pārlūku kopa papildinās pati.
- Klienta AI aģents arī var palaist salīdzinājumu.
Problēma
Aģentūrai vajadzēja salīdzināt savus kompleksos piedāvājumus ar konkurentu vietnēm pēc izbraukšanas pilsētas, datuma, ilguma un viesu skaita.
Diagnoze
Vietnes bloķē botus, tāpēc grūtākais bija stabilitāte un starpniekserveru izmaksas, nevis parsēšana. Uzdevumi iestrēga uz tukšas pārlūku kopas.
Izvērtētās iespējas
Pēc pārtraukuma uzdevumi iestrēga uz tukšas pārlūku kopas. Kāds bija risinājums?
Izvēlēts
Kopa, kas pēc pārtraukuma papildinās pati
Starpniekserveru datplūsmas limits reiz iztukšoja kopu no 40 pārlūkiem līdz 0, tagad tā papildinās ik pēc 60 sekundēm. Cena: jāuztur papildināšanas cikls.
Noraidīts
Fiksēta izmēra kopa
Pēc pārtraukuma tā saruka un palika maza.
Pārlūki un starpniekserveri maksā naudu. Vai tie vajadzīgi katram avotam?
Izvēlēts
Vienkārši HTTP pieprasījumi tam avotam, kas tos atļauj
Viena vietne no 8 datumiem minūtē tika līdz 43, un nav pārlūka, kas jāuztur dzīvs.
Noraidīts
Pilns pārlūks katram avotam
Maksā par pārlūku un starpniekserveriem tur, kur tie nav vajadzīgi.
Risinājums
Plānotājs palaiž salīdzināšanas uzdevumus uz pārlūku kopas ar rotējošiem starpniekserveriem. Darbinieki izmanto administrēšanas konsoli, un klienta AI aģents var palaist salīdzinājumus arī pats.
- Datu vākšana
- Python
- Camoufox
- Playwright
- curl_cffi
- Rotating proxies
- Apify
- API un dati
- FastAPI
- Supabase
- PostgreSQL
- Administrēšanas konsoles
- Next.js
- React
- Vite
- TanStack Query
- Chart.js
- AI aģenta savienojums
- MCP server
- Kvalitāte
- GitHub Actions
- gitleaks
- Vitest
- pytest
Saistītie pakalpojumi
Skaitļi: Commit žurnāls