Zum Inhalt springen

Preisanalyse für Pauschalreisen

Preisvergleich für Pauschalreisen für ein Reisebüro, EU-Markt · Von Grund auf gebaut, allein: Scraper, Admin-Konsole und KI-Anbindung

Aktualisiert

Vorher

Der manuelle Preisvergleich mit der Konkurrenz ließ sich nicht skalieren, und Sammeljobs hingen nach jedem Ausfall fest.

Nachher

~5×

schnellere Erfassung auf einer Konkurrenzseite ohne Browser; der Pool füllt sich nach Ausfällen selbst auf.

So funktioniert es
  1. 1Person:Mitarbeiter

    Wählen ein Reiseangebot zum Vergleich: Abreiseort, Datum, Aufenthaltsdauer, Belegung.

  2. 2Software:Scheduler

    Startet den Vergleichsjob.

  3. 3Software:Browser

    Sammeln Konkurrenzpreise hinter rotierenden Proxys.

    Software:HTTP-Client

    Liest die eine Quelle, die keinen Browser braucht.

  4. 4Person:Mitarbeiter

    Sehen den Preisvergleich in der Admin-Konsole.

Gilt immer

  • Nach einem Ausfall füllt sich der Browser-Pool selbst auf.
  • Der KI-Agent des Kunden kann ebenfalls einen Vergleich starten.

Problem

Das Reisebüro wollte seine Pauschalangebote mit Konkurrenzseiten vergleichen, nach Abreiseort, Datum, Dauer und Belegung.

Diagnose

Die Seiten sperren Bots, schwierig waren also Stabilität und Proxy-Kosten, nicht das Parsen. Jobs hingen an einem leeren Browser-Pool.

Abgewogene Optionen

  1. Nach einem Ausfall hingen Jobs an einem leeren Browser-Pool. Die Lösung?

    Gewählt

    Ein Pool, der sich nach einem Ausfall selbst auffüllt

    Ein Proxy-Traffic-Limit leerte den Pool einmal von 40 Browsern auf 0; jetzt füllt er sich alle 60 Sekunden wieder auf. Preis: eine Auffüllschleife, die gepflegt werden muss.

    • Verworfen

      Ein Pool fester Größe

      Nach einem Ausfall schrumpfte er und blieb klein.

  2. Browser und Proxys kosten Geld. Braucht jede Quelle beides?

    Gewählt

    Einfache HTTP-Anfragen für die Quelle, die sie erlaubt

    Eine Seite stieg von 8 auf 43 Termine pro Minute, ganz ohne Browser, der am Leben gehalten werden muss.

    • Verworfen

      Ein vollständiger Browser für jede Quelle

      Zahlt Browser- und Proxy-Kosten, wo keine nötig sind.

Lösung

Ein Scheduler startet Vergleichsjobs auf einem Browser-Pool mit rotierenden Proxys. Mitarbeiter nutzen eine Admin-Konsole, und der KI-Agent des Kunden kann ebenfalls Vergleiche starten.

Datenerfassung
  • Python
  • Camoufox
  • Playwright
  • curl_cffi
  • Rotating proxies
  • Apify
API und Daten
  • FastAPI
  • Supabase
  • PostgreSQL
Admin-Konsolen
  • Next.js
  • React
  • Vite
  • TanStack Query
  • Chart.js
Anbindung des KI-Agenten
  • MCP server
Qualität
  • GitHub Actions
  • gitleaks
  • Vitest
  • pytest

Ähnliche Leistungen

Kennzahlen: Commit-Verlauf