Chuyển đến nội dung chính
Mỗi lần người dùng trò chuyện với Nhân sự số, FPT AI EOS Console tự ghi lại toàn bộ cuộc hội thoại. Tab Phân tích cho bạn hai mức xem:
  • Lịch sử: Danh sách các cuộc hội thoại, đọc lại nội dung như người dùng đã thấy.
  • Luồng xử lý: Mổ xẻ từng lượt hỏi đáp - Nhân sự số đã gọi công cụ nào, Guardrail có chặn gì không, mỗi bước mất bao lâu và tốn bao nhiêu token.
Dùng Luồng xử lý khi cần trả lời những câu như: Vì sao câu trả lời này sai? Vì sao người dùng phải chờ lâu? Hội thoại này tốn bao nhiêu token? Guardrail có chặn đúng chỗ không?

Mở Lịch sử hội thoại

1

Mở Nhân sự số

Trong Console, chọn Nhân sự số ở menu trái rồi bấm vào Nhân sự số cần xem, ví dụ Hỏi đáp NQ_57.
2

Vào tab Phân tích

Bấm tab Phân tích trên thanh trên cùng, rồi chọn Lịch sử ở cột trái.
3

Chọn một cuộc hội thoại

Bấm vào một dòng trong bảng. Panel Chi tiết hội thoại mở ra bên phải, hiển thị toàn bộ tin nhắn theo đúng thứ tự người dùng đã thấy.
Lịch sử hội thoại

Các cột trong bảng Lịch sử

Tìm và lọc hội thoại

  • Ô tìm kiếm: Tìm theo nội dung, tên người gửi, ID cuộc trò chuyện hoặc ID tin nhắn.
  • Tất cả kênh: Chỉ xem hội thoại của một kênh.
  • Toàn bộ thời gian: Giới hạn theo khoảng thời gian.

Thao tác trong panel Chi tiết hội thoại

Mở Luồng xử lý

Trong panel Chi tiết hội thoại, bấm Xem luồng xử lý. Trang Luồng xử lý chia làm ba cột: Trang Luồng xử lý Bấm Quay lại Lịch sử ở góc trên để trở về danh sách hội thoại. Biểu tượng sao chép cạnh ID trên tiêu đề giúp lấy nhanh ID cuộc trò chuyện.

Danh sách lượt

Mỗi lượt là một câu người dùng gửi cùng toàn bộ phần Nhân sự số xử lý để trả lời câu đó. Bấm vào một lượt để cuộn tới chi tiết của lượt đó ở cột giữa. Trên mỗi thẻ lượt có:
  • Số thứ tự và đoạn đầu câu hỏi của người dùng.
  • Độ trễ: Thời gian từ lúc nhận câu hỏi đến lúc trả lời xong, ví dụ 27.4s.
  • Số token đã dùng trong lượt, ví dụ 109,8 N (N = nghìn, Tr = triệu).
  • Biểu tượng cờ lê: Lượt có gọi công cụ.
  • Biểu tượng khiên: Guardrail đã chặn trong lượt này.
  • Chấm cam và nhãn đỏ (ví dụ “Guardrail đầu vào đã chặn”): Lượt Có vấn đề, cần xem kỹ.
Danh sách lượt Rê chuột lên một thẻ lượt để xem nhanh số liệu riêng của lượt đó: Thời gian bắt đầu, kết thúc, độ trễ, thời gian ra token đầu tiên và phân bổ token. Số liệu của một lượt

Chi tiết một lượt

Mỗi lượt có hai khối:
  • Đầu vào: Câu người dùng gửi, kèm nhãn Đã qua guardrail nếu câu hỏi không vi phạm rule nào.
  • Đầu ra: Mọi tin nhắn Nhân sự số tạo ra trong lượt, theo đúng thứ tự. Góc phải ghi Số tin nhắn.
Mỗi tin nhắn của Nhân sự số (nhãn AGENT) có một dòng thông tin ở góc phải, ví dụ deepseek-v4-flash · 6.0s · 21,5 N token · Đã qua guardrail: Một lượt có thể gồm nhiều tin nhắn AGENT, vì Nhân sự số có thể gọi model nhiều lần: Gọi công cụ, đọc kết quả rồi mới trả lời. Bấm mũi tên cạnh LƯỢT để thu gọn hoặc mở lại cả lượt.

Xem một lần gọi công cụ

Bên dưới tin nhắn có các dòng gọi công cụ, ví dụ vbpl-knowledge__knowledge_search - Nhân sự số tra cứu kho tri thức qua Connector vbpl-knowledge. Bấm vào dòng để mở chi tiết: Khối Đầu vào và Đầu ra có hai chế độ JSON (định dạng dễ đọc) và Raw (nguyên bản), cùng nút sao chép. Chi tiết một lần gọi công cụ
Câu trả lời sai thường bắt nguồn từ bước tra cứu. Mở Đầu vào để xem Nhân sự số đã tìm bằng câu truy vấn nào, rồi mở Đầu ra để xem kho tri thức trả về gì. Nếu kết quả trả về đúng mà câu trả lời vẫn sai, hãy xem lại Instructions.

Khi Guardrail chặn

Lượt có Guardrail can thiệp được gắn nhãn Có vấn đề. Trong Đầu ra, dòng Guardrail · kiểm tra đầu vào hiện trạng thái (ví dụ Đã từ chối). Bấm vào dòng để xem:
  • Quy tắc: Rule đã kích hoạt, ví dụ __injection__.
  • Bộ lọc: Loại kiểm tra, ví dụ injection (câu lệnh tìm cách bẻ hướng dẫn của Nhân sự số).
  • Hành động: Guardrail đã làm gì, ví dụ Đã từ chối.
Ví dụ: Người dùng yêu cầu Nhân sự số bỏ qua hướng dẫn và tự đưa ra số liệu. Guardrail từ chối, tin nhắn không đến được model, và người dùng nhận câu trả lời an toàn ở tin nhắn AGENT ngay bên dưới. Lượt bị Guardrail chặn Xem cách cấu hình rule ở trang Guardrails.

Số liệu cuộc trò chuyện

Cột phải tổng hợp số liệu của cả cuộc hội thoại. Số liệu cuộc trò chuyện
Đơn vị viết tắt: N là nghìn, Tr là triệu. Số trong ngoặc là tỷ lệ của từng mục trên tổng token.

Hiểu P50 và P99

Xếp thời gian trả lời của mọi lượt từ nhanh đến chậm:
  • P50 là lượt đứng giữa hàng, đại diện cho trải nghiệm của đa số người dùng.
  • P99 là lượt gần cuối hàng, cho biết những lần chờ lâu nhất.
Ví dụ: P50 là 15 giây và P99 là 65 giây nghĩa là thường người dùng chờ khoảng 15 giây, nhưng lúc chậm nhất có thể hơn 1 phút. Hai số càng cách xa nhau, tốc độ trả lời càng thất thường.

Dùng số liệu để tối ưu Nhân sự số

Đầu vào chiếm gần hết token

Nhân sự số đọc lại cả lịch sử hội thoại ở mỗi lượt. Hội thoại càng dài, mỗi lượt càng tốn. Cân nhắc rút gọn Instructions và giới hạn lượng tài liệu trả về từ kho tri thức.

Đọc từ cache bằng 0

Phần lặp lại giữa các lượt đang được tính giá đầy đủ. Chọn model hỗ trợ bộ nhớ đệm có thể giảm chi phí đáng kể.

P99 cao hơn P50 nhiều lần

Mở các lượt có độ trễ lớn nhất trong danh sách lượt để xem thời gian mất ở bước gọi model hay ở công cụ.

Nhiều lượt Có vấn đề

Kiểm tra rule Guardrail nào đang kích hoạt. Nếu chặn nhầm câu hỏi hợp lệ, điều chỉnh mô tả và ví dụ của rule trong Guardrails.

Thêm, sửa, xóa

Lịch sử và Luồng xử lý là dữ liệu chỉ đọc. Console tự ghi lại mỗi cuộc hội thoại, bạn không tạo, sửa hay xóa hội thoại từ màn hình này. Muốn Nhân sự số trả lời khác đi, hãy sửa cấu hình của Nhân sự số trong tab Dựng Nhân sự số rồi Publish lại.
Mục Hiệu suất trong tab Phân tích đang được phát triển và sẽ sớm ra mắt.