Gå til indhold

Prisintelligens til rejser

Prisbenchmarking af pakkerejser for et rejsebureau, EU-markedet · Bygget fra bunden, alene: scraper, adminkonsol og AI-tilkobling

Opdateret

Før

At sammenligne priser på pakkerejser med konkurrenterne manuelt kunne ikke skaleres, og indsamlingsjobs hang efter hvert udfald.

Efter

~5×

hurtigere indsamling på én konkurrentside, efter den droppede browseren; browserpuljen fylder sig selv op igen efter udfald.

Sådan fungerer det
  1. 1Menneske:Medarbejdere

    Vælger en pakkerejse at sammenligne: afrejseby, dato, opholdets længde, belægning.

  2. 2System:Planlægger

    Starter benchmarkjobbet.

  3. 3System:Browsere

    Indsamler konkurrenternes priser bag roterende proxyer.

    System:HTTP-klient

    Læser den ene kilde, der ikke kræver en browser.

  4. 4Menneske:Medarbejdere

    Ser prissammenligningen med konkurrenterne i adminkonsollen.

Gælder altid

  • Efter et udfald fylder browserpuljen sig selv op igen.
  • Kundens AI-agent kan også starte et benchmark.

Problem

Bureauet skulle have sine pakkerejser sammenlignet med konkurrenternes sites efter afrejseby, dato, længde og belægning.

Diagnose

Konkurrenternes sites blokerer bots, så stabilitet og proxyomkostninger var det svære, ikke parsing. Jobs hang på en tom browserpulje.

Overvejede muligheder

  1. Efter et udfald hang jobs på en tom browserpulje. Løsningen?

    Valgt

    En pulje, der fylder sig selv op igen efter et udfald

    En proxy-trafikgrænse drænede engang puljen fra 40 browsere til 0; nu fyldes den op igen hvert 60. sekund. Pris: en genopfyldningsløkke at vedligeholde.

    • Fravalgt

      En pulje af fast størrelse

      Efter et udfald skrumpede den og forblev lille.

  2. Browsere og proxyer koster penge. Har hver kilde brug for en?

    Valgt

    Almindelige HTTP-forespørgsler til den kilde, der tillader dem

    Ét site gik fra 8 til 43 datoer i minuttet, uden en browser at holde i live.

    • Fravalgt

      En fuld browser til hver kilde

      Betaler for browser og proxy, hvor ingen er nødvendige.

Løsning

En planlægger kører benchmarkjobs på en browserpulje med roterende proxyer. Medarbejdere bruger en adminkonsol, og kundens AI-agent kan også starte benchmarks.

Indsamling
  • Python
  • Camoufox
  • Playwright
  • curl_cffi
  • Rotating proxies
  • Apify
API og data
  • FastAPI
  • Supabase
  • PostgreSQL
Adminkonsoller
  • Next.js
  • React
  • Vite
  • TanStack Query
  • Chart.js
AI-agentforbindelse
  • MCP server
Kvalitet
  • GitHub Actions
  • gitleaks
  • Vitest
  • pytest

Nøgletal: Commit-log