- 履歴: 会話の一覧です。ユーザーが見たとおりの内容を読み返せます。
- トレース詳細: ターンごとの内訳です。Digital Worker がどのツールを呼び出したか、Guardrail が介入したか、各ステップにどれだけ時間とトークンを使ったかがわかります。
「なぜこの回答は間違っていたのか」「なぜユーザーは長く待たされたのか」「この会話でトークンをどれだけ使ったのか」「Guardrail は正しく止めたのか」を確かめたいときは、トレース詳細を開きます。
会話履歴を開く
1
Digital Worker を開く
Console の左メニューで Digital Worker の一覧を開き、確認したい Digital Worker (例: Hỏi đáp NQ_57) をクリックします。
2
分析タブを開く
上部の 分析 タブをクリックし、左の列で 履歴 を選びます。
3
会話を選ぶ
表の行をクリックします。右側に 会話の詳細 パネルが開き、ユーザーが見た順にすべてのメッセージが表示されます。
履歴の表の列
検索と絞り込み
- 検索ボックス: 内容、送信者名、会話 ID、メッセージ ID で検索できます。
- すべてのチャネル: 特定のチャネルの会話だけを表示します。
- 全期間: 期間で絞り込みます。
会話の詳細パネルの操作
トレース詳細を開く
会話の詳細パネルで トレース詳細を表示 をクリックします。ページは 3 列で構成されています。
ターンの一覧
ターン とは、ユーザーの 1 つのメッセージと、それに答えるために Digital Worker が行った処理全体のことです。ターンをクリックすると、中央の列でそのターンの詳細へ移動します。 各ターンのカードには次の情報があります。- ターン番号 とユーザーの質問の冒頭部分
- レイテンシ: 質問を受け取ってから回答を終えるまでの時間です (例:
27.4s)。 - そのターンで使った トークン数 です (例:
11万)。 - スパナのアイコン: ツールを呼び出したターンです。
- 盾のアイコン: このターンで Guardrail がブロックしました。
- オレンジの点 と赤いラベル (例: 「入力ガードレールでブロック」): 問題あり のターンです。詳しく確認してください。
ターンの詳細
各ターンには 2 つのブロックがあります。- 入力: ユーザーが送った内容です。どのルールにも違反しなければ ガードレール通過 と表示されます。
- 出力: そのターンで Digital Worker が生成したすべてのメッセージを順番に表示します。右上に メッセージ数 が表示されます。
deepseek-v4-flash · 6.0s · 2.2万 トークン · ガードレール通過)。
Digital Worker はツールを呼び出し、結果を読んでから回答するなど、1 ターンの中でモデルを複数回呼び出すことがあります。そのため、1 ターンに複数の AGENT メッセージが表示される場合があります。ターン 横の矢印でターン全体を折りたたんだり開いたりできます。
ツール呼び出しを確認する
メッセージの下にツール呼び出しの行が表示されます。例えばvbpl-knowledge__knowledge_search は、Digital Worker が Connector vbpl-knowledge を通じてナレッジベースを検索したことを示します。行をクリックすると詳細が開きます。
入力と出力は JSON (整形表示) と Raw (元のまま) を切り替えられ、それぞれコピーボタンがあります。
Guardrail が介入したとき
Guardrail が介入したターンには 問題あり のラベルが付きます。出力の ガードレール・入力チェック の行に結果 (例: 拒否) が表示されます。行をクリックすると次の内容を確認できます。- ルール: 発動したルールです (例:
__injection__)。 - スクリーン: チェックの種類です (例:
injection。Digital Worker の指示を書き換えようとするプロンプト)。 - アクション: Guardrail が行った処理です (例: 拒否)。
会話の統計
右の列には会話全体の数値がまとめられています。
数値は 万 (1 万 = 10,000) 単位で表示されます。括弧内の割合は、各項目が合計トークンに占める比率です。
P50 と P99 の見方
すべてのターンを速い順に並べます。- P50 は真ん中のターンです。多くのユーザーが体験する待ち時間を表します。
- P99 は最後尾に近いターンです。最も長い待ち時間を表します。
統計を Digital Worker の改善に活かす
入力がトークンの大半を占める
Digital Worker はターンごとに会話履歴全体を読み直すため、会話が長くなるほど 1 ターンあたりのコストが増えます。Instructions を短くし、ナレッジベースから返す量を絞ることを検討してください。
キャッシュ読み取りが 0
ターン間で繰り返される内容がすべて通常料金で計算されています。キャッシュに対応した モデル を選ぶと、コストを大きく下げられる場合があります。
P99 が P50 の何倍もある
ターンの一覧で最も遅いターンを開き、時間がモデルの呼び出しとツールのどちらにかかっているかを確認してください。
問題ありのターンが多い
どの Guardrail ルールが発動しているかを確認します。正当な質問までブロックしている場合は、Guardrail でルールの説明と例を調整してください。
作成・編集・削除
履歴とトレース詳細は閲覧専用です。Console が会話を自動で記録するため、この画面で会話を作成、編集、削除することはできません。Digital Worker の回答を変えたい場合は、ビルド タブで設定を変更し、もう一度 Publish してください。分析タブの パフォーマンス は現在開発中で、近日公開予定です。