マルチエージェント管制ダッシュボード
AIエージェント運用チーム向けの運用ツール · サンプルデータによるインタラクティブなプロトタイプ、単独で開発
更新日
導入前
エージェントはブラックボックスで動き、実行が失敗すると、エンジニアは複数サービスの生ログを読んでいました。
導入後
実行内でどのエージェントが失敗したかと、そこに至るメッセージの履歴を1画面で示します。
- 1人:エンジニア
ビルダーでワークフローを描き、各エージェントの役割、ツール、制限を設定します。
- 2ソフトウェア:オーケストレーター
ワーカー・検索・ツール担当にタスクを割り当てます。
ソフトウェア:エージェント互いにメッセージを渡し、各メッセージに実行のトレースIDが付きます。
- 3ソフトウェア:基盤
実行の進行に合わせて、各エージェントのライブマップ、レイテンシ、コストを更新します。
- 4人:エンジニア
失敗したエージェントを開き、メッセージの履歴をたどってステップを修正します。
常時動作
- 失敗したエージェントは再試行後、人のレビューに回ります。
- すべてのメッセージをトレースID付きで保存します。
- コスト上限を超えたエージェントは一時停止されます。
課題
複数のAIエージェントがメッセージを渡し合って分岐していました。実行が失敗しても、どのエージェントがなぜ壊れたのか分かりませんでした。
原因の分析
各エージェントのログ単体では、ほとんど分かりません。失敗は受け渡しにあるため、すべてのメッセージに最初から最後まで1つのトレースIDが必要です。
検討した選択肢
実行を壊したエージェントを、エンジニアはどう見つけますか?
採用
実行ごとに1つのトレースIDを付け、メッセージ履歴として表示する
失敗はたいてい受け渡しにあり、履歴はすべての受け渡しを順に示します。代償は、すべてのメッセージがIDを持つ必要があることです。
不採用
エージェントごとに別々のログ画面
各ログは単体では正常に見え、壊れた受け渡しが隠れたままです。
ソリューション
エージェント実行の管制アプリ。ライブのエージェントマップ、ワークフロービルダー、コストとレイテンシのグラフ、メッセージ追跡を、サンプルの実行で動かします。
- インターフェース
- Next.js
- React
- Tailwind CSS
- Radix UI
- Recharts
- Motion
- デリバリー
- Vitest
- Playwright
- Cloudflare Pages