Liigu sisu juurde

Reisihindade analüüs

Pakettreiside hinnavõrdlus reisibüroole, EL-i turg · Ehitatud nullist, üksi: skreiper, haldaskonsool ja AI-ühendus

Uuendatud

Enne

Pakettreiside hindade käsitsi võrdlemine konkurentidega ei skaleerunud ja kogumistööd jäid pärast iga katkestust rippuma.

Pärast

~5×

kiirem kogumine ühel konkurendi saidil pärast brauserist loobumist; brauserikogum täieneb pärast katkestusi ise.

Kuidas see toimib
  1. 1Inimene:Töötajad

    Valivad võrreldava paketi: väljumislinn, kuupäev, reisi pikkus, majutatavate arv.

  2. 2Tarkvara:Planeerija

    Käivitab võrdluse töö.

  3. 3Tarkvara:Brauserid

    Koguvad konkurentide hindu roteeruvate puhverserverite taga.

    Tarkvara:HTTP klient

    Loeb ühte allikat, mis brauserit ei vaja.

  4. 4Inimene:Töötajad

    Näevad hinnavõrdlust halduskonsoolis.

Alati töös

  • Pärast katkestust täieneb brauserikogum ise.
  • Võrdlust saab käivitada ka kliendi AI-agent.

Probleem

Büroo vajas oma pakette võrrelduna konkurentide saitidega väljumislinna, kuupäeva, pikkuse ja majutatavate arvu järgi.

Diagnoos

Saidid blokeerivad roboteid, seega polnud raske osa parsimine, vaid stabiilsus ja puhverserverite kulu. Tööd jäid tühja brauserikogumi tõttu rippuma.

Kaalutud valikud

  1. Pärast katkestust jäid tööd tühja brauserikogumi tõttu rippuma. Lahendus?

    Valitud

    Kogum, mis täieneb pärast katkestust ise

    Puhverserveri liikluslimiit tühjendas kunagi kogumi 40 brauserilt nulli; nüüd täieneb see iga 60 sekundi järel. Hind: hooldada täiendussilmus.

    • Tagasi lükatud

      Fikseeritud suurusega kogum

      Pärast katkestust see kahanes ja jäi väikeseks.

  2. Brauserid ja puhverserverid maksavad raha. Kas iga allikas vajab neid?

    Valitud

    Tavalised HTTP-päringud selle allika jaoks, mis neid lubab

    Üks sait läks 8 kuupäevalt 43-le minutis, ilma brauserita, mida elus hoida.

    • Tagasi lükatud

      Täisväärtuslik brauser iga allika jaoks

      Maksab brauseri ja puhverserverite eest seal, kus neid vaja pole.

Lahendus

Planeerija käivitab võrdlustöid brauserikogumil roteeruvate puhverserveritega. Töötajad kasutavad halduskonsooli, võrdlusi saab käivitada ka kliendi AI-agent.

Kogumine
  • Python
  • Camoufox
  • Playwright
  • curl_cffi
  • Rotating proxies
  • Apify
API ja andmed
  • FastAPI
  • Supabase
  • PostgreSQL
Haldaskonsoolid
  • Next.js
  • React
  • Vite
  • TanStack Query
  • Chart.js
AI-agendi ühendus
  • MCP server
Kvaliteet
  • GitHub Actions
  • gitleaks
  • Vitest
  • pytest

Seotud teenused

Arvud: Commit'ide logi