Hướng dẫn sử dụng

​

Tạo đợt đánh giá hội thoại mới

Người dùng có thể tạo đợt đánh giá bằng cách vào menu Phân tích → tab Đánh giá hội thoại → nhấn nút + Tạo đánh giá. Hệ thống mở popup gồm 2 bước:

​

Bước 1 – Chọn dữ liệu đánh giá

Điền các thông tin sau tại popup Tạo đánh giá:

• Tên đánh giá (bắt buộc): Tối đa 50 ký tự, không được trùng với tên đánh giá khác đã tạo.
• Thời gian bắt đầu hội thoại (Từ… Đến): Hệ thống lấy toàn bộ hội thoại có thời điểm bắt đầu và kết thúc đều nằm trong khoảng này. Khoảng thời gian tối đa 30 ngày, mặc định là 24 giờ tính từ thời điểm hiện tại.
• Số lượng hội thoại dự kiến được đánh giá: Sau khi chọn khoảng thời gian, hệ thống đếm số hội thoại tìm thấy.

Nhấn Bước tiếp theo để chuyển sang bước cấu hình.

​

Bước 2 – Cấu hình quy tắc đánh giá

Cấu hình các thông số đánh giá:

• Mô hình LLM (bắt buộc): Lựa chọn mô hình AI dùng để đánh giá kết quả hội thoại.
• Tiêu chí đánh giá: Mặc định hệ thống đánh giá 3 tiêu chí với trọng số như sau:
  • (A) Độ chính xác (Correctness): Kiểm tra câu trả lời có đúng với kết quả mong đợi không. Trọng số mặc định: 80%. Đạt (+80%), Không đạt (+0%).
  • (B) An toàn (Safety): Đánh giá câu trả lời có an toàn, không gây hại, thiên vị hoặc nội dung không phù hợp. Trọng số mặc định: 10%. Đạt (+10%), Không đạt (+0%).
  • (C) Độ trôi chảy (Fluency): Kiểm tra ngữ pháp, từ vựng và tính tự nhiên của câu trả lời. Trọng số mặc định: 10%. Đạt (+10%), Không đạt (+0%).
• Ngưỡng đạt tổng thể: Mặc định 80%. Tổng điểm trọng số của các tiêu chí Đạt ≥ ngưỡng này thì kết quả Tổng thể là Đạt.
• Ngôn ngữ đánh giá: Ngôn ngữ hiển thị giải thích kết quả đánh giá. Mặc định theo ngôn ngữ giao diện (Tiếng Việt). Hỗ trợ: Tiếng Việt, Anh, Nhật, Indonesia.

Ví dụ minh họa cách tính điểm tổng thể (ngưỡng 80%):

​

Bước 3 – Chạy đánh giá

Nhấn nút Chạy đánh giá để khởi chạy. Hệ thống chuyển về màn hình danh sách và hiển thị đợt đánh giá mới với trạng thái đánh giá của AI là Đang xử lý. Sau khi nhấn Chạy đánh giá, AI sẽ tự động phân loại các mẫu (QnA và Business Process) và đánh giá chất lượng. Quá trình này mất vài phút. Khi hoàn tất, hệ thống thông báo để bắt đầu kiểm duyệt và phân công cho đội ngũ QC.

---

​

Danh sách các đợt đánh giá

Màn hình Đánh giá hội thoại hiển thị toàn bộ các đợt đánh giá đã tạo, kèm thông tin trạng thái, thời gian và kết quả. Người dùng có thể tìm kiếm theo tên đánh giá, lọc theo trạng thái AI đánh giá hoặc trạng thái hậu kiểm của QC, và xem chi tiết từng đợt. Mô tả các cột thông tin trong danh sách: Các trạng thái đánh giá của AI và hành động tương ứng: Các trạng thái hậu kiểm của QC (sau khi AI hoàn thành):

---

​

Phân công QC hậu kiểm

Sau khi AI đánh giá Hoàn thành, trạng thái QC chuyển sang Chờ phân công. QC Lead nhấn vào đợt đánh giá để vào trang chi tiết, sau đó nhấn nút Phân công thành viên QC để phân chia mẫu review cho các nhân viên QC. Popup Phân công gồm các phần: 1 – Chọn chế độ hậu kiểm (QC Review Mode)

• Hậu kiểm toàn bộ các mẫu đánh giá: QC review toàn bộ mẫu đã đánh giá.
• Chỉ hậu kiểm các mẫu có độ tin cậy thấp: Chỉ QC review các mẫu AI đánh giá với độ tin cậy thấp do hệ thống tự lọc ra, giúp tập trung vào những trường hợp AI không chắc chắn. Trường hợp không có mẫu nào có độ tin cậy thấp thì hệ thống không cho phép người dùng lựa chọn.

2 – Chọn thành viên QC và phân bổ số lượng mẫu

• Tìm kiếm và chọn các QC member (bao gồm cả Agent Admin, QC Lead, QC). Hệ thống tự động phân bổ đều số mẫu cho các thành viên được chọn. Người dùng có thể chỉnh thủ công.
• Phần Xem trước phân công sẽ hiển thị: chế độ hậu kiểm, số người hậu kiểm, tổng mẫu cần hậu kiểm và tổng mẫu đã phân bổ. Hệ thống cảnh báo nếu tổng mẫu phân bổ chưa bằng tổng mẫu cần review.

3 – Xác nhận phân công

• Nhấn Phân công & Bắt đầu review. Hệ thống gửi thông báo phân công thành công và chuyển trạng thái QC sang Đang hậu kiểm.

---

​

Xem kết quả chi tiết đợt đánh giá

Nhấn vào tên đợt đánh giá ở danh sách để vào trang Kết quả chi tiết. Trang này gồm các phần sau:

​

(1) Phần tổng quan

Hiển thị tổng hợp kết quả theo từng tiêu chí:

• Tổng thể: Số mẫu Đạt / Tổng số mẫu và tỷ lệ %.
• Độ chính xác: Số mẫu Đạt / Tổng và tỷ lệ %.
• An toàn: Số mẫu Đạt / Tổng và tỷ lệ %.
• Độ trôi chảy: Số mẫu Đạt / Tổng và tỷ lệ %.

​

(2) Tìm kiếm và lọc

• Tìm kiếm: Theo câu hỏi, câu trả lời, tên người gửi hoặc Conversation ID.
• Lọc theo loại: Tab Tất cả / QnA / Business Process.
• Lọc theo kết quả theo từng tiêu chí: Đạt / Không đạt của từng tiêu chí và tổng thể.
• Lọc theo trạng thái QC: Chờ kiểm tra / Đã kiểm tra.

​

(3) Bảng kết quả chi tiết

Hệ thống gom các cặp câu hỏi – câu trả lời hoặc các luồng quy trình nghiệp vụ theo Conversation ID. Thông tin hiển thị gồm:

​

(4) Xuất dữ liệu

Nhấn biểu tượng tải xuống (góc trên phải bảng kết quả) để xuất toàn bộ kết quả đánh giá ra file Excel về máy, phục vụ phân tích sâu hoặc lưu trữ.

---

​

Xem chi tiết và QC hậu kiểm từng mẫu đánh giá

Nhấn đúp (Double click) vào bất kỳ mẫu nào trong bảng kết quả, hệ thống hiển thị popup Chi tiết đánh giá gồm đầy đủ thông tin và cho phép QC điều chỉnh kết quả. Thông tin hiển thị trong Chi tiết đánh giá: