リードスクレイピング基盤
B2B営業チーム向けのリード獲得 · サンプルデータによるインタラクティブなプロトタイプ、単独で開発
更新日
導入前
営業はリード一覧を手作業で作成。単純なスクレイパーは最初のブロックで止まりました。
導入後
ブロックや不良ページがあってもジョブは最後まで動き、リードはAPIですぐに使えます。
- 1人:オペレーター
ウィザードで、対象サイト、フィールド、スケジュールを設定してジョブを作ります。
- 2ソフトウェア:スクレイパー
プロキシを切り替え、実ブラウザでページを開きます。
- 3ソフトウェア:パイプライン
フィールドを抽出して検証し、重複を除き、失敗を再試行します。
人:オペレーター進捗とライブログを確認します。
- 4ソフトウェア:基盤
リードを保存し、APIとWebhookで提供します。
常時動作
- 失敗したページがジョブを止めることはありません。
- ダッシュボードにプロキシの状態とエラーをリアルタイム表示します。
- APIキーは1チームに限定されます。
課題
リード一覧は手作業で作成。大量処理のスクレイパーはボット検知、リクエスト失敗、不揃いなページに阻まれ、データが半分のまま止まりました。
原因の分析
大量処理では失敗は日常です。ブロックや不良ページを前提に、処理を続けられるパイプラインが必要です。
検討した選択肢
ページの取得に失敗したらどうなりますか？
採用
再試行し、それでも駄目なら失敗リストに移して、ジョブは続行する
不良ページ1つで失うのは1レコードで、実行全体ではありません。代償は、失敗リストを確認する人が必要なことです。
不採用
最初のエラーでジョブを止める
大量処理では必ず失敗するページがあり、ジョブが終わらなくなります。
ソリューション
サンプルのジョブで見るオペレーター側の画面です。対象・フィールド・スケジュールのウィザード、ライブの進捗とログ、プロキシの状態、リード用のAPIとWebhook。
- インターフェース
- Next.js
- React
- Tailwind CSS
- Recharts
- Framer Motion
- デリバリー
- Vitest
- Cloudflare Pages