Hướng dẫn kiểm tra NLP trong thiết lập chatbot FPT.AI
NLP Testing là tính năng giúp người tạo bot (Quản trị bot, QC...) kiểm tra và đánh giá chất lượng nhận diện ngôn ngữ tự nhiên của chatbot qua từng giai đoạn cụ thể. Dựa trên kết quả thực tế đó, người tạo bot sẽ có những phương án phù hợp để cải thiện và phát triển chất lượng của tập dữ liệu đào tạo chatbot.
Để thiết lập tính năng NLP Testing, truy cập trang tạo bot (https://bot.fpt.ai/) và thực hiện cài đặt theo 2 phần chính:
Phần 1: Chuẩn bị dữ liệu đầu vào
Phần 2: Kiểm tra kết quả NLP
Hướng dẫn chi tiết thực hiện như sau:
1. Chuẩn bị dữ liệu đầu vào
Bước 1: Chuẩn bị các trường hợp kiểm thử (test case) và tải dữ liệu lên hệ thống
Chuẩn bị dữ liệu theo file mẫu (1)
Chọn file để tải lên (2)
Bước 2: Thực hiện kiểm tra dữ liệu
Nhấn Lưu vào danh sách test case (3) để lưu file trên hệ thống
Sau đó, hệ thống sẽ xác nhận lưu lại file và cho phép đổi tên test case.
Chọn file test case đã lưu (4), nhấn nút Thực hiện test (6)
Lưu ý:
- Nếu không cần lưu lại file test case, có thể nhấn ngay nút Thực hiện Test (6)
- Có thể chỉnh lại cấu hình độ tin cậy là điều kiện để đánh giá các case thành công/thất bại. Nếu không chọn, hệ thống mặc định hiển thị độ tin cậy đang cấu hình của hệ thống (5).
2. Kiểm tra kết quả NLP
Sau khi hệ thống thực hiện kiểm tra xong, kết quả sẽ được trả về theo batch. Batch kiểm tra mới nhất sẽ được hiển thị mặc định ở vị trí đầu tiên với độ tin cậy đã cấu hình.
Kết quả kiểm tra gồm:
- Tổng số trường hợp kiểm tra
- Tổng số trường hợp thành công: Thành công nếu cả kết quả kiểm tra ý định và thực thể đều đúng
- Tổng số trường hợp thất bại: Ít nhất một trong hai kết quả kiểm tra ý định và thực thể thất bại
Chi tiết Kết quả kiểm tra:
- Câu mẫu: Câu mẫu dùng để kiểm tra
- Ý định mong muốn của người dùng
- Ý định thực tế: Ý định Bot nhận diện được và trả về
- Độ tin cậy: Độ tin cậy bot trả về
- Thực thể mong muốn của người dùng
- Thực thể thực tế: Thực thể Bot nhận diện được và trả về
- Kết quả kiểm tra theo ý định: So sánh ý định mong muốn và Ý định thực tế kèm theo độ tin cậy đã cấu hình: Nếu giống nhau và độ tin cậy lớn hơn hoặc bằng con số đã cấu hình thì kết quả là thành công
- Kết quả kiểm tra theo thực thể: So sánh thực thể mong muốn và thực thể thực tế, nếu giống nhau thì kết quả là thành công.
Người dùng có thể tìm kiếm theo nội dung câu mẫu, Ý định mong muốn, lọc theo kết quả thành công/thất bại
Lưu ý: Có thể xuất dữ liệu về file excel để xử lý nâng cao.
---------------------------------------
Mọi thắc mắc xin liên hệ: https://fpt.ai/vi/lien-he
Hotline: 1900 638399
Email: [email protected]