本文へスキップ

マルチエージェント管制ダッシュボード

AIエージェント運用チーム向けの運用ツール · サンプルデータによるインタラクティブなプロトタイプ、単独で開発

更新日

導入前

エージェントはブラックボックスで動き、実行が失敗すると、エンジニアは複数サービスの生ログを読んでいました。

導入後

実行内でどのエージェントが失敗したかと、そこに至るメッセージの履歴を1画面で示します。

仕組み
  1. 1人:エンジニア

    ビルダーでワークフローを描き、各エージェントの役割、ツール、制限を設定します。

  2. 2ソフトウェア:オーケストレーター

    ワーカー・検索・ツール担当にタスクを割り当てます。

    ソフトウェア:エージェント

    互いにメッセージを渡し、各メッセージに実行のトレースIDが付きます。

  3. 3ソフトウェア:基盤

    実行の進行に合わせて、各エージェントのライブマップ、レイテンシ、コストを更新します。

  4. 4人:エンジニア

    失敗したエージェントを開き、メッセージの履歴をたどってステップを修正します。

常時動作

  • 失敗したエージェントは再試行後、人のレビューに回ります。
  • すべてのメッセージをトレースID付きで保存します。
  • コスト上限を超えたエージェントは一時停止されます。

課題

複数のAIエージェントがメッセージを渡し合って分岐していました。実行が失敗しても、どのエージェントがなぜ壊れたのか分かりませんでした。

原因の分析

各エージェントのログ単体では、ほとんど分かりません。失敗は受け渡しにあるため、すべてのメッセージに最初から最後まで1つのトレースIDが必要です。

検討した選択肢

  1. 実行を壊したエージェントを、エンジニアはどう見つけますか?

    採用

    実行ごとに1つのトレースIDを付け、メッセージ履歴として表示する

    失敗はたいてい受け渡しにあり、履歴はすべての受け渡しを順に示します。代償は、すべてのメッセージがIDを持つ必要があることです。

    • 不採用

      エージェントごとに別々のログ画面

      各ログは単体では正常に見え、壊れた受け渡しが隠れたままです。

ソリューション

エージェント実行の管制アプリ。ライブのエージェントマップ、ワークフロービルダー、コストとレイテンシのグラフ、メッセージ追跡を、サンプルの実行で動かします。

インターフェース
  • Next.js
  • React
  • Tailwind CSS
  • Radix UI
  • Recharts
  • Motion
デリバリー
  • Vitest
  • Playwright
  • Cloudflare Pages