Anomaly Detection là gì? Cách hoạt động, thuật toán và ứng dụng thực tế

Anomaly Detection dùng để nhận diện các dữ liệu, hành vi hoặc sự kiện khác biệt so với dữ liệu thông thường. Công nghệ Anomaly Detection được ứng dụng rộng rãi trong phát hiện gian lận, an ninh mạng, giám sát thiết bị và nhiều lĩnh vực khác. FPT.AI sẽ giúp doanh nghiệp hiểu Anomaly Detection là gì, cách hoạt động, các thuật toán phổ biến và những ứng dụng thực tế.

Anomaly Detection là gì?

Anomaly Detection (phát hiện bất thường) là quá trình xác định những điểm dữ liệu, sự kiện hoặc hành vi khác biệt đáng kể so với mẫu hoặc trạng thái được xem là bình thường. Tùy bài toán, hệ thống có thể sử dụng phương pháp thống kê, Machine Learning hoặc Deep Learning để nhận diện bất thường. Một dữ liệu bị đánh dấu là bất thường không đồng nghĩa chắc chắn với gian lận hoặc sự cố; đây thường là tín hiệu cần được xác minh thêm.

Ví dụ, một tài khoản ngân hàng thường chỉ giao dịch vài triệu đồng nhưng đột ngột thực hiện khoản chuyển tiền rất lớn từ một vị trí chưa từng xuất hiện. Hệ thống Anomaly Detection sẽ nhận diện đây là hành vi bất thường và cảnh báo để kiểm tra thêm.

Anomaly Detection gồm có những loại nào?

Xét theo bản chất của dữ liệu bất thường, anomaly thường được phân thành 3 nhóm phổ biến: 

• Point Anomaly (Bất thường điểm): Một dữ liệu riêng lẻ khác biệt rõ rệt so với phần còn lại, ví dụ tài khoản thường giao dịch vài triệu đồng nhưng bất ngờ chuyển hàng trăm triệu đồng.
• Contextual Anomaly (Bất thường theo ngữ cảnh): Dữ liệu chỉ bất thường khi xét trong một hoàn cảnh cụ thể, ví dụ nhiệt độ 35°C là bình thường ở TP.HCM mùa hè nhưng bất thường ở Hà Nội mùa đông.
• Collective Anomaly (Bất thường theo nhóm): Một nhóm dữ liệu tạo thành hành vi bất thường dù từng điểm riêng lẻ vẫn bình thường, ví dụ nhiều gói tin mạng gửi liên tục trong thời gian ngắn có thể là dấu hiệu tấn công DDoS.

Các kỹ thuật phát hiện bất thường sau

Tùy vào dữ liệu và mức độ có sẵn của nhãn, Anomaly Detection thường được triển khai theo 3 kỹ thuật chính:

• Unsupervised Anomaly Detection: Sử dụng dữ liệu chưa gán nhãn để tự học các mẫu thông thường và phát hiện điểm khác biệt.
• Supervised Anomaly Detection: Huấn luyện mô hình bằng dữ liệu đã gán nhãn gồm cả trường hợp bình thường và bất thường.
• Semi-supervised Anomaly Detection: Kết hợp một phần dữ liệu có nhãn với lượng lớn dữ liệu chưa gán nhãn để phát hiện bất thường hiệu quả hơn.

Các kỹ thuật này có thể kết hợp với những thuật toán như Isolation Forest, One-Class SVM, LOF, K-means hoặc Autoencoder tùy từng bài toán

Cách thức Anomaly Detection hoạt động như thế nào?

Một quy trình Anomaly Detection phổ biến là xác định hoặc học mẫu hành vi bình thường, sau đó đánh giá mức độ sai lệch của dữ liệu mới để phát hiện trường hợp đáng chú ý.

Quy trình Anomaly Detection thường gồm các bước sau:

• Bước 1. Thu thập và chuẩn hóa dữ liệu: Thu thập dữ liệu từ nhiều nguồn, làm sạch và chuẩn hóa để đảm bảo chất lượng đầu vào.
• Bước 2. Xác định mẫu hành vi bình thường: Hệ thống phân tích dữ liệu lịch sử để xây dựng mô hình đại diện cho các hành vi hoặc giá trị được xem là bình thường.
• Bước 3. Đánh giá mức độ sai lệch: Mỗi dữ liệu mới được đánh giá và gán một Anomaly Score (điểm bất thường), thể hiện mức độ khác biệt so với mẫu hành vi bình thường.
• Bước 4. Phát hiện và đánh dấu bất thường: Hệ thống so sánh Anomaly Score với ngưỡng đã xác định. Nếu điểm bất thường vượt ngưỡng, dữ liệu sẽ được đánh dấu và kích hoạt cảnh báo hoặc quy trình xử lý.
• Bước 5. Xác minh và phản hồi: Sau khi xác minh, tùy mức độ rủi ro và quy trình nghiệp vụ, hệ thống có thể gửi cảnh báo, yêu cầu kiểm tra thêm hoặc kích hoạt hành động xử lý đã được thiết lập trước.
• Bước 6. Giám sát và cập nhật mô hình: Theo dõi và cập nhật khi dữ liệu thay đổi để nâng cao độ chính xác và giảm cảnh báo sai. 

Các thuật toán và phương pháp Anomaly Detection phổ biến

Tùy đặc điểm dữ liệu và yêu cầu bài toán, Anomaly Detection có thể được chia thành các nhóm chính:

• Phương pháp thống kê: Phát hiện điểm bất thường dựa trên phân phối, trung bình, độ lệch chuẩn hoặc các ngưỡng thống kê.
• Distance/Density-Based: Xác định bất thường thông qua khoảng cách hoặc mật độ so với các điểm lân cận. Thuật toán tiêu biểu: LOF.
• Isolation-Based: Tách các điểm bất thường khỏi phần lớn dữ liệu dựa trên số bước phân chia cần thiết. Thuật toán phổ biến: Isolation Forest.
• One-Class Classification: Học ranh giới của dữ liệu bình thường để nhận diện các điểm nằm ngoài vùng này. Ví dụ: One-Class SVM.
• Deep Learning: Học biểu diễn của dữ liệu phức tạp và phát hiện sai lệch so với mẫu bình thường. Phương pháp tiêu biểu: Autoencoder.

Outlier Detection và Novelty Detection khác nhau như thế nào?

Anomaly Detection và Novelty Detection đều nhằm phát hiện dữ liệu khác thường, tuy nhiên, hai khái niệm Anomaly và Novelty khác nhau ở dữ liệu huấn luyện, giả định về dữ liệu bất thường và mục đích ứng dụng.

Lợi ích của Anomaly Detection đối với doanh nghiệp

Anomaly Detection giúp doanh nghiệp phát hiện sớm các dấu hiệu bất thường trong dữ liệu, từ đó giảm rủi ro và tối ưu vận hành:

• Phát hiện rủi ro sớm: Nhận diện bất thường trước khi trở thành sự cố nghiêm trọng.
• Giảm thiểu tổn thất: Hạn chế thiệt hại về tài chính, vận hành và bảo mật.
• Tối ưu vận hành: Tự động giám sát dữ liệu, giảm kiểm tra thủ công.
• Hỗ trợ ra quyết định: Cung cấp cảnh báo để doanh nghiệp xử lý kịp thời.
• Tiết kiệm thời gian và chi phí: Tự động phân tích lượng dữ liệu lớn.

Những thách thức khi triển khai Anomaly Detection

Triển khai Anomaly Detection vẫn tồn tại không ít thách thức về dữ liệu, mô hình và khả năng vận hành:

• Tỷ lệ cảnh báo giả cao: Hệ thống có thể đánh dấu nhầm dữ liệu bình thường là bất thường, gây lãng phí thời gian xử lý và giảm độ tin cậy.
• Chất lượng dữ liệu kém: Dữ liệu thiếu, nhiễu hoặc không nhất quán làm giảm độ chính xác của mô hình và tăng nguy cơ bỏ sót bất thường.
• Mô hình dữ liệu thay đổi theo thời gian: Hành vi của người dùng và hệ thống luôn biến đổi, đòi hỏi mô hình phải được cập nhật thường xuyên để duy trì hiệu quả.
• Khó xác định thế nào là bất thường: Mỗi lĩnh vực có tiêu chí đánh giá khác nhau, nên việc xây dựng ngưỡng và mô hình phù hợp không hề đơn giản.
• Yêu cầu khả năng mở rộng: Hệ thống cần xử lý lượng dữ liệu lớn trong thời gian ngắn mà vẫn đảm bảo tốc độ và độ chính xác.
• Thiếu dữ liệu gán nhãn: Nhiều bài toán không có sẵn dữ liệu bất thường để huấn luyện và đánh giá mô hình.
• Khó giải thích kết quả: Một số mô hình AI như Deep Learning, có khả năng phát hiện tốt nhưng khó giải thích lý do dữ liệu bị đánh dấu là bất thường, gây khó khăn trong việc xác minh và ra quyết định.

Anomaly Detection được ứng dụng thực tế ở đâu?

Anomaly Detection được ứng dụng trong nhiều lĩnh vực như sản xuất, y tế, tài chính,… để phát hiện sớm các dấu hiệu bất thường, giảm rủi ro và nâng cao hiệu quả vận hành:

• Sản xuất: Phát hiện bất thường từ cảm biến để cảnh báo hỏng hóc và hỗ trợ bảo trì dự đoán.
• Y tế: Đánh dấu vùng bất thường trên ảnh X-quang, CT hoặc MRI để hỗ trợ bác sĩ kiểm tra.
• Tài chính: Phát hiện giao dịch bất thường như giá trị lớn, vị trí lạ hoặc tần suất bất thường.
• An ninh mạng: Phát hiện truy cập trái phép, hành vi bất thường hoặc dấu hiệu tấn công mạng.
• Hệ thống CNTT: Cảnh báo khi CPU, bộ nhớ hoặc lưu lượng tăng đột biến.

Xu hướng phát triển trong tương lai của Anomaly Detection

Anomaly Detection đang phát triển theo hướng phát hiện theo thời gian thực, tăng khả năng giải thích kết quả và kết hợp nhiều mô hình AI để nâng cao độ chính xác.

• Real-time Anomaly Detection: Phát hiện và cảnh báo bất thường ngay khi dữ liệu phát sinh, đáp ứng các bài toán yêu cầu phản hồi tức thời như tài chính, sản xuất và an ninh mạng.
• Explainable AI (XAI): Giải thích lý do hệ thống đánh dấu một dữ liệu là bất thường, giúp người dùng dễ xác minh và tăng độ tin cậy của mô hình.
• Hybrid Models: Hybrid Models kết hợp nhiều phương pháp nhằm tận dụng ưu điểm của từng cách tiếp cận. Khả năng cải thiện hiệu quả hoặc giảm cảnh báo giả cần được kiểm chứng trên từng tập dữ liệu và bài toán cụ thể.

Giải đáp câu hỏi thường gặp về Anomaly Detection

Anomaly Detection có giống Outlier Detection không?

Không hoàn toàn. Anomaly Detection là khái niệm rộng về phát hiện dữ liệu hoặc hành vi bất thường, trong khi Outlier Detection thường tập trung vào việc tìm các điểm ngoại lai trong tập dữ liệu.

Anomaly Detection có cần dữ liệu gắn nhãn không?

Không bắt buộc. Anomaly Detection có thể sử dụng supervised learning, semi-supervised hoặc unsupervised learning tùy vào việc doanh nghiệp có dữ liệu gán nhãn và mục tiêu của bài toán hay không.

Thuật toán nào phát hiện bất thường tốt nhất?

Không có một thuật toán phát hiện bất thường nào là “tốt nhất” cho mọi trường hợp. Doanh nghiệp nên dùng Isolation Forest cho dữ liệu bảng lớn và cần tốc độ, Local Outlier Factor cho mật độ cục bộ, hoặc Autoencoder cho dữ liệu phức tạp, nhiều chiều.

Anomaly Detection có thể hoạt động theo thời gian thực không?

Có. Anomaly Detection hoàn toàn có thể hoạt động theo thời gian thực. Hệ thống xử lý dữ liệu ngay khi được tạo ra để phát hiện lỗi, gian lận hoặc sự cố lập tức mà không cần chờ đợi.

Có nên xóa toàn bộ dữ liệu bất thường không?

Không nên xóa toàn bộ dữ liệu bất thường ngay lập tức. Dữ liệu bất thường (ngoại lai) có thể là lỗi hệ thống cần loại bỏ, nhưng cũng có thể ẩn chứa các thông tin quan trọng hoặc xu hướng mới có giá trị thực tiễn cao.

Kết luận

Anomaly Detection là công nghệ giúp phát hiện các dữ liệu hoặc hành vi bất thường bằng AI, Machine Learning và các phương pháp thống kê. Giải pháp hỗ trợ doanh nghiệp nhận diện sớm rủi ro, giảm thiểu tổn thất và nâng cao hiệu quả giám sát. Nếu doanh nghiệp đang tìm kiếm giải pháp AI để phát hiện bất thường, hãy khám phá các giải pháp AI của FPT.AI như FPT AI Vision Agent và nền tảng AI/ML cho giám sát, phân tích dữ liệu thông minh.