Veille des prix de voyage
Benchmark de prix de séjours tout compris pour une agence de voyages, marché européen · Construit de zéro, en solo : scraper, console d’administration et connexion à l’IA
Mis à jour
Avant
Comparer à la main les prix des séjours avec ceux des concurrents ne passait pas à l’échelle, et les jobs de collecte se bloquaient après chaque panne.
Après
~5×
plus rapide sur un site concurrent sans navigateur ; le pool se reconstitue seul après les pannes.
- 1Personne:Équipe
Choisit un séjour à comparer : ville de départ, date, durée de séjour, nombre d’occupants.
- 2Logiciel:Planificateur
Lance le job de benchmark.
- 3Logiciel:Navigateurs
Collectent les prix des concurrents derrière des proxys rotatifs.
Logiciel:Client HTTPLit l’unique source qui n’a pas besoin de navigateur.
- 4Personne:Équipe
Consulte la comparaison des prix dans la console d’administration.
En continu
- Après une panne, le pool de navigateurs se reconstitue seul.
- L’agent IA du client peut aussi lancer un benchmark.
Problème
L’agence voulait comparer ses séjours à ceux des sites concurrents par ville de départ, date, durée et nombre d’occupants.
Diagnostic
Les sites bloquent les bots, donc la stabilité et le coût des proxys étaient le vrai défi, pas l’analyse des pages. Les jobs se bloquaient sur un pool de navigateurs vide.
Options étudiées
Après une panne, les jobs se bloquaient sur un pool de navigateurs vide. La solution ?
Retenue
Un pool qui se reconstitue seul après une panne
Une limite de trafic proxy a un jour vidé le pool de 40 navigateurs à 0 ; il se reconstitue désormais toutes les 60 secondes. Coût : une boucle de reconstitution à maintenir.
Écartée
Un pool de taille fixe
Après une panne, il rétrécissait et restait petit.
Navigateurs et proxys coûtent de l’argent. Chaque source en a-t-elle besoin ?
Retenue
De simples requêtes HTTP pour la source qui les autorise
Un site est passé de 8 à 43 dates par minute, sans navigateur à maintenir en vie.
Écartée
Un navigateur complet pour chaque source
Paie des coûts de navigateur et de proxy là où ils sont inutiles.
Solution
Un planificateur lance les jobs de benchmark sur un pool de navigateurs avec des proxys rotatifs. L’équipe utilise une console d’administration, et l’agent IA du client peut aussi lancer des benchmarks.
- Collecte
- Python
- Camoufox
- Playwright
- curl_cffi
- Rotating proxies
- Apify
- API et données
- FastAPI
- Supabase
- PostgreSQL
- Consoles d’administration
- Next.js
- React
- Vite
- TanStack Query
- Chart.js
- Lien avec l’agent IA
- MCP server
- Qualité
- GitHub Actions
- gitleaks
- Vitest
- pytest
Services associés
Chiffres: Historique des commits