Inteligencia de precios de viajes
Benchmark de precios de paquetes vacacionales para una agencia de viajes, mercado UE · Desarrollo desde cero, en solitario: scraper, consola de administración y conexión con IA
Actualizado
Antes
Comparar a mano los precios de los paquetes con los de la competencia no escalaba, y los trabajos de recopilación se colgaban tras cada caída.
Después
~5×
recopilación más rápida en un sitio sin navegador; el pool se repone solo tras las caídas.
- 1Persona:Personal
Elige un paquete para comparar: ciudad de salida, fecha, duración de la estancia, ocupación.
- 2Sistema:Planificador
Inicia el trabajo de benchmark.
- 3Sistema:Navegadores
Recopilan los precios de la competencia a través de proxies rotativos.
Sistema:Cliente HTTPLee la única fuente que no necesita navegador.
- 4Persona:Personal
Ve la comparación de precios en la consola de administración.
Siempre activo
- Tras una caída, el pool de navegadores se repone solo.
- El agente de IA del cliente también puede lanzar un benchmark.
Problema
La agencia necesitaba comparar sus paquetes con los sitios de la competencia por ciudad de salida, fecha, duración y ocupación.
Diagnóstico
Los sitios bloquean bots, así que lo difícil eran la estabilidad y el coste de los proxies, no el parseo. Los trabajos se colgaban con el pool de navegadores vacío.
Opciones que valoré
Tras una caída, los trabajos se colgaban con el pool de navegadores vacío. ¿La solución?
Elegida
Un pool que se repone solo tras una caída
Un límite de tráfico del proxy vació una vez el pool de 40 navegadores a 0; ahora se repone cada 60 segundos. Coste: un bucle de reposición que mantener.
Descartada
Un pool de tamaño fijo
Tras una caída se reducía y se quedaba pequeño.
Los navegadores y los proxies cuestan dinero. ¿Hace falta uno para cada fuente?
Elegida
Peticiones HTTP simples para la fuente que las permite
Un sitio pasó de 8 a 43 fechas por minuto, sin navegador que mantener vivo.
Descartada
Un navegador completo para cada fuente
Paga costes de navegador y de proxy donde no hacen falta.
Solución
Un planificador ejecuta trabajos de benchmark en un pool de navegadores con proxies rotativos. El personal usa una consola de administración, y el agente de IA del cliente también puede lanzar benchmarks.
- Recopilación
- Python
- Camoufox
- Playwright
- curl_cffi
- Rotating proxies
- Apify
- API y datos
- FastAPI
- Supabase
- PostgreSQL
- Consolas de administración
- Next.js
- React
- Vite
- TanStack Query
- Chart.js
- Conexión con agentes de IA
- MCP server
- Calidad
- GitHub Actions
- gitleaks
- Vitest
- pytest
Servicios relacionados
Cifras: Historial de commits