Prejsť na obsah

Cenová inteligencia v cestovaní

Benchmarking cien zájazdov pre cestovnú kanceláriu, trh EÚ · Vytvorené od nuly, samostatne: scraper, administračná konzola a napojenie AI

Aktualizované

Predtým

Ručné porovnávanie cien zájazdov s konkurenciou sa nedalo škálovať a úlohy zberu po každom výpadku viseli.

Potom

~5×

rýchlejší zber na jednom webe konkurencie, ktorý prestal používať prehliadač; pool prehliadačov sa po výpadkoch sám dopĺňa.

Ako to funguje
  1. 1Človek:Zamestnanci

    Vyberú zájazd na porovnanie: mesto odletu, dátum, dĺžku pobytu, obsadenosť.

  2. 2Softvér:Plánovač

    Spustí benchmarkovú úlohu.

  3. 3Softvér:Prehliadače

    Zbierajú ceny konkurencie za rotujúcimi proxy.

    Softvér:HTTP klient

    Číta jediný zdroj, ktorý prehliadač nepotrebuje.

  4. 4Človek:Zamestnanci

    Vidia porovnanie cien v administračnej konzole.

Platí vždy

  • Po výpadku sa pool prehliadačov sám doplní.
  • AI agent klienta vie spustiť aj benchmark.

Problém

Agentúra potrebovala porovnať svoje zájazdy so stránkami konkurencie podľa mesta odletu, dátumu, dĺžky pobytu a obsadenosti.

Diagnóza

Weby blokujú botov, takže ťažké bolo udržať stabilitu a náklady na proxy, nie parsovanie. Úlohy viseli na prázdnom poole prehliadačov.

Varianty, ktoré som zvažoval

  1. Po výpadku úlohy viseli na prázdnom poole prehliadačov. Riešenie?

    Zvolené

    Pool, ktorý sa po výpadku sám dopĺňa

    Limit prenosu dát proxy raz vyprázdnil pool zo 40 prehliadačov na 0; teraz sa dopĺňa každých 60 sekúnd. Cena: slučka dopĺňania, ktorú treba udržiavať.

    • Zamietnuté

      Pool pevnej veľkosti

      Po výpadku sa zmenšil a zostal malý.

  2. Prehliadače a proxy stoja peniaze. Potrebuje ich každý zdroj?

    Zvolené

    Obyčajné HTTP požiadavky pre zdroj, ktorý ich dovoľuje

    Jeden web prešiel z 8 na 43 dátumov za minútu, bez prehliadača, ktorý treba udržiavať nažive.

    • Zamietnuté

      Plný prehliadač pre každý zdroj

      Platí sa za prehliadač a proxy aj tam, kde netreba.

Riešenie

Plánovač spúšťa benchmarkové úlohy na poole prehliadačov s rotujúcimi proxy. Zamestnanci používajú administračnú konzolu a AI agent klienta vie benchmarky spúšťať tiež.

Zber
  • Python
  • Camoufox
  • Playwright
  • curl_cffi
  • Rotating proxies
  • Apify
API a dáta
  • FastAPI
  • Supabase
  • PostgreSQL
Administračné konzoly
  • Next.js
  • React
  • Vite
  • TanStack Query
  • Chart.js
Napojenie AI agenta
  • MCP server
Kvalita
  • GitHub Actions
  • gitleaks
  • Vitest
  • pytest

Súvisiace služby

Čísla: História commitov