vi
en
ja
Unsupervised Learning là một nhánh của Machine Learning, cho phép mô hình tự phân tích dữ liệu chưa gán nhãn để phát hiện mẫu ẩn, cấu trúc và mối quan hệ bên trong dữ liệu. Cùng FPT.AI tìm hiểu các phương pháp học không giám sát phổ biến như clustering, association rules, cùng ứng dụng thực tế và những thách thức khi triển khai.
Unsupervised Learning là gì?
Unsupervised Learning (học không giám sát) là một phương pháp trong lĩnh vực Trí tuệ nhân tạo (AI) và Machine Learning, trong đó thuật toán được cung cấp dữ liệu thô chưa gắn nhãn. Thay vì dựa trên kết quả định trước, mô hình tự động phân tích để khám phá các cấu trúc, mối quan hệ hoặc mẫu ẩn trong dữ liệu, chẳng hạn như phân nhóm hoặc phân cụm các tập dữ liệu tương đồng.
Khả năng khám phá các điểm tương đồng và khác biệt trong thông tin của học không giám sát làm cho nó trở thành giải pháp lý tưởng cho phân tích dữ liệu khám phá, chiến lược bán chéo, phân khúc khách hàng và nhận dạng hình ảnh.
>>> Tìm hiểu thêm: Reinforcement Learning là gì?
Unsupervised Learning hoạt động như thế nào?
Unsupervised Learning hoạt động bằng cách phân tích dữ liệu chưa được gán nhãn để tìm ra các mẫu, cấu trúc hoặc mối quan hệ tiềm ẩn giữa các điểm dữ liệu. Thay vì được cung cấp sẵn đáp án hoặc kết quả mong muốn, mô hình sẽ đánh giá mức độ tương đồng và khác biệt giữa các đối tượng để tự động phân nhóm hoặc phát hiện các quy luật trong dữ liệu. Nhờ cơ chế này, Unsupervised Learning giúp khai thác những thông tin ẩn mà con người khó nhận thấy khi xử lý dữ liệu theo cách thủ công, đồng thời giảm sự phụ thuộc vào dữ liệu được gắn nhãn.
Ví dụ, khi được cung cấp tập dữ liệu khách hàng gồm độ tuổi, tần suất mua sắm và giá trị đơn hàng, mô hình có thể tự phân nhóm những khách hàng có hành vi tương đồng. Từ kết quả này, doanh nghiệp có thể xây dựng các chiến lược marketing phù hợp, nhận diện nhóm khách hàng tiềm năng hoặc tối ưu chương trình chăm sóc khách hàng.
Các phương pháp học không giám sát phổ biến
Các mô hình học không giám sát được sử dụng cho ba tác vụ chính—phân cụm, liên kết và giảm chiều dữ liệu. Dưới đây chúng ta sẽ khám phá các thuật toán và phương pháp phổ biến để thực hiện các tác vụ này một cách hiệu quả.
Phân cụm – Clustering
Phân cụm (Clustering) là một kỹ thuật khai thác dữ liệu nhóm dữ liệu không được gán nhãn dựa trên sự tương đồng hoặc khác biệt của chúng. Các thuật toán phân cụm được sử dụng để xử lý các đối tượng dữ liệu thô, chưa được phân loại thành các nhóm được biểu thị bởi cấu trúc hoặc mẫu trong thông tin. Thuật toán phân cụm có thể được phân loại thành một vài loại, cụ thể là loại trừ, chồng chéo, phân cấp và xác suất.
Phân cụm loại trừ và phân cụm chồng chéo
Phân cụm loại trừ (Exclusive Clustering): Là một hình thức nhóm quy định một điểm dữ liệu chỉ có thể tồn tại trong một cụm. Điều này cũng có thể được gọi là phân cụm “cứng”. K-means Clustering là một ví dụ phổ biến về phương pháp phân cụm loại trừ, trong đó các điểm dữ liệu được gán vào K nhóm, với K đại diện cho số lượng cụm dựa trên khoảng cách từ tâm của mỗi nhóm.
Các điểm dữ liệu gần nhất với một tâm nhất định sẽ được phân cụm trong cùng một danh mục. Giá trị K lớn hơn sẽ chỉ ra các nhóm nhỏ hơn với nhiều chi tiết hơn, trong khi giá trị K nhỏ hơn sẽ có các nhóm lớn hơn và ít chi tiết hơn. K-means Clustering thường được sử dụng trong phân khúc thị trường, phân cụm tài liệu, phân đoạn hình ảnh và nén hình ảnh.
Ví dụ: Một công ty viễn thông có thể sử dụng K-Means để phân tích dữ liệu sử dụng của hàng triệu thuê bao và phân nhóm khách hàng theo hành vi tương đồng, chẳng hạn như nhóm sử dụng dữ liệu di động cao, nhóm thường xuyên gọi thoại hoặc nhóm có mức chi tiêu lớn. Mỗi khách hàng chỉ thuộc một nhóm phù hợp nhất tại một thời điểm.
Phân cụm chồng chéo (Overlapping Clustering): Khác với phân cụm loại trừ, Overlapping Clustering cho phép các điểm dữ liệu thuộc về nhiều cụm với các mức độ thành viên riêng biệt. Phân cụm K-means “mềm” hoặc mờ là một ví dụ về phân cụm chồng chéo.
Ví dụ: Trong thực tế, một khách hàng có thể vừa thuộc nhóm sử dụng dữ liệu cao, vừa thuộc nhóm khách hàng có mức chi tiêu lớn. Phân cụm chồng chéo cho phép khách hàng đồng thời thuộc nhiều nhóm với các mức độ liên quan khác nhau.
Phân cụm phân cấp
Phân cụm phân cấp (Hierarchical Clustering), còn được gọi là phân tích cụm phân cấp (Hierarchical Cluster Analysis – HCA), là một thuật toán phân cụm không giám sát có thể được phân loại theo hai cách: tích tụ hoặc phân chia.
Ví dụ: Một hệ thống tin tức có hàng nghìn bài viết chưa được phân loại. Thuật toán phân cụm phân cấp có thể tự động nhóm các bài viết thành những chủ đề lớn như: Kinh doanh, Công nghệ hoặc Thể thao. Trong từng nhóm lớn, thuật toán tiếp tục chia thành các chủ đề nhỏ hơn như: AI, Blockchain, Bóng đá hay Tennis, tạo thành cấu trúc phân cấp dạng cây.
Phân cụm xác suất
Mô hình xác suất (Probabilistic Model) là một kỹ thuật không giám sát giúp chúng ta giải quyết các vấn đề ước tính mật độ hoặc phân cụm “mềm”. Trong phân cụm xác suất, các điểm dữ liệu được phân cụm dựa trên khả năng chúng thuộc về một phân phối cụ thể. Gaussian Mixture Model (GMM) là một trong những phương pháp phân cụm xác suất được sử dụng phổ biến nhất.
Ví dụ: Trong phân tích khách hàng, một người dùng có thể vừa mang đặc điểm của nhóm khách hàng thường xuyên mua sắm, vừa có hành vi tương đồng với nhóm khách hàng cao cấp. Thay vì xếp khách hàng vào một nhóm duy nhất, mô hình GMM sẽ gán xác suất thuộc về từng nhóm, chẳng hạn 70% thuộc nhóm khách hàng thường xuyên và 30% thuộc nhóm khách hàng cao cấp.
Quy tắc liên kết – Association Rule Learning
Quy tắc liên kết (Association Rule) là một phương pháp dựa trên quy tắc để tìm mối quan hệ giữa các biến trong một tập dữ liệu nhất định. Các phương pháp này thường được sử dụng để phân tích giỏ hàng thị trường, cho phép các công ty hiểu rõ hơn về mối quan hệ giữa các sản phẩm khác nhau. Hiểu thói quen tiêu dùng của khách hàng cho phép doanh nghiệp phát triển chiến lược bán chéo và công cụ đề xuất tốt hơn.
Ví dụ về điều này có thể được thấy trong mục “Khách hàng đã mua mặt hàng này cũng đã mua” của Amazon hoặc danh sách phát “Discover Weekly” của Spotify. Mặc dù có một vài thuật toán khác nhau được sử dụng để tạo ra các quy tắc liên kết, thuật toán Apriori được sử dụng rộng rãi nhất.
Thuật toán Apriori được phổ biến thông qua phân tích giỏ hàng thị trường, dẫn đến các công cụ đề xuất khác nhau cho các nền tảng âm nhạc và nhà bán lẻ trực tuyến. Chúng được sử dụng trong các tập dữ liệu giao dịch để xác định các tập mục thường xuyên, hoặc bộ sưu tập các mục, để xác định khả năng tiêu thụ một sản phẩm khi đã tiêu thụ sản phẩm khác.
Ví dụ, nếu tôi phát radio của Black Sabbath trên Spotify, bắt đầu với bài hát “Orchid” của họ, một trong những bài hát khác trên kênh này có thể là bài hát của Led Zeppelin, như “Over the Hills and Far Away”. Điều này dựa trên thói quen nghe của tôi trước đây cũng như của những người khác. Thuật toán Apriori sử dụng cây băm để đếm các tập mục, điều hướng qua tập dữ liệu theo cách thức ưu tiên chiều rộng.
>>> Đọc thêm: Khai phá dữ liệu là gì? 8 Kỹ thuật Data Mining
Giảm chiều dữ liệu – Dimensionality Reduction
Mặc dù nhiều dữ liệu hơn thường mang lại kết quả chính xác hơn, nhưng nó cũng có thể ảnh hưởng đến hiệu suất của các thuật toán Machine Learning (ví dụ: quá khớp) và cũng có thể làm cho việc trực quan hóa tập dữ liệu trở nên khó khăn.
Giảm chiều dữ liệu (Dimensionality Reduction) là một kỹ thuật được sử dụng khi số lượng đặc trưng, hoặc chiều, trong một tập dữ liệu nhất định quá cao. Nó giảm số lượng đầu vào dữ liệu xuống một kích thước có thể quản lý được đồng thời vẫn bảo toàn tính toàn vẹn của tập dữ liệu nhiều nhất có thể.
Nó thường được sử dụng trong giai đoạn tiền xử lý dữ liệu, và có một vài phương pháp giảm chiều dữ liệu khác nhau có thể được sử dụng, chẳng hạn như:
Principal Component Analysis
Principal Component Analysis (PCA) là một loại thuật toán giảm chiều dữ liệu được sử dụng để giảm dư thừa và nén tập dữ liệu thông qua trích xuất đặc trưng. Phương pháp này sử dụng phép biến đổi tuyến tính để tạo ra một biểu diễn dữ liệu mới, tạo ra một tập hợp “thành phần chính”.
Ví dụ: Trước khi phân tích hành vi khách hàng, doanh nghiệp có thể thu thập hàng trăm đặc trưng về khách hàng như: tần suất mua hàng, giá trị đơn hàng, thời gian truy cập hay danh mục sản phẩm yêu thích. PCA giúp rút gọn số lượng đặc trưng cần xử lý nhưng vẫn giữ lại phần lớn thông tin quan trọng, từ đó hỗ trợ các bài toán phân nhóm khách hàng hiệu quả hơn.
Singular Value Decomposition
Singular Value Decomposition (SVD) là một phương pháp giảm chiều dữ liệu khác phân rã một ma trận, A, thành ba ma trận hạng thấp. SVD được biểu thị bằng công thức, A = USVT, trong đó U và V là các ma trận trực giao. S là một ma trận đường chéo, và các giá trị S được coi là giá trị kỳ dị của ma trận A. Tương tự như PCA, nó thường được sử dụng để giảm nhiễu và nén dữ liệu, chẳng hạn như tệp hình ảnh.
Ví dụ: Trong các nền tảng xem phim hoặc nghe nhạc trực tuyến, dữ liệu tương tác giữa người dùng và nội dung thường tạo thành các ma trận rất lớn. SVD giúp rút gọn ma trận này bằng cách giữ lại những thông tin quan trọng nhất và loại bỏ dữ liệu dư thừa hoặc nhiễu. Nhờ đó, hệ thống có thể xử lý dữ liệu hiệu quả hơn và làm nền tảng cho các tính năng gợi ý nội dung phù hợp với người dùng.
Autoencoders
Autoencoders tận dụng mạng nơ-ron (Neural Network) để nén dữ liệu và sau đó tạo lại một biểu diễn mới của đầu vào dữ liệu gốc. Nhìn vào hình ảnh dưới đây, bạn có thể thấy rằng lớp ẩn cụ thể hoạt động như một nút thắt để nén lớp đầu vào trước khi tái tạo trong lớp đầu ra. Giai đoạn từ lớp đầu vào đến lớp ẩn được gọi là “mã hóa” trong khi giai đoạn từ lớp ẩn đến lớp đầu ra được gọi là “giải mã”.
Ví dụ: Trong xử lý ảnh y tế, Autoencoders có thể nén ảnh CT hoặc MRI thành các biểu diễn dữ liệu nhỏ gọn nhưng vẫn giữ được những đặc trưng quan trọng. Các biểu diễn này sau đó được sử dụng để hỗ trợ phát hiện bất thường hoặc phân vùng ảnh chính xác hơn.
Ứng dụng nổi bật của Unsupervised Learning là gì?
Các kỹ thuật Machine Learning đã trở thành một phương pháp phổ biến để cải thiện trải nghiệm người dùng sản phẩm và kiểm tra hệ thống để đảm bảo chất lượng. Học không giám sát cung cấp một con đường khám phá để xem dữ liệu, cho phép doanh nghiệp xác định mẫu trong khối lượng dữ liệu lớn nhanh hơn so với quan sát thủ công.
Một số ứng dụng thực tế phổ biến nhất của học không giám sát là:
- Mục tin tức: Google News sử dụng học không giám sát để phân loại các bài báo về cùng một câu chuyện từ các cơ quan tin tức trực tuyến khác nhau. Ví dụ, kết quả của một cuộc bầu cử tổng thống có thể được phân loại theo nhãn của họ cho tin tức “US”.
- Thị giác máy tính (Computer Vision): Các thuật toán học không giám sát được sử dụng cho các tác vụ nhận thức thị giác, chẳng hạn như nhận dạng đối tượng.
- Hình ảnh y tế: Học máy không giám sát cung cấp các tính năng thiết yếu cho các thiết bị hình ảnh y tế, chẳng hạn như phát hiện hình ảnh, phân loại và phân đoạn, được sử dụng trong chẩn đoán X-quang và bệnh lý để chẩn đoán bệnh nhân nhanh chóng và chính xác.
- Phát hiện bất thường: Các mô hình học không giám sát có thể chải qua một lượng lớn dữ liệu và khám phá các điểm dữ liệu không điển hình trong một tập dữ liệu. Những bất thường này có thể nâng cao nhận thức về thiết bị lỗi, lỗi con người hoặc vi phạm bảo mật.
- Chân dung khách hàng: Xác định chân dung khách hàng giúp dễ dàng hiểu các đặc điểm chung và thói quen mua hàng của khách hàng doanh nghiệp. Học không giám sát cho phép doanh nghiệp xây dựng hồ sơ đại diện người mua tốt hơn, cho phép các tổ chức điều chỉnh thông điệp sản phẩm của họ phù hợp hơn.
- Công cụ đề xuất: Sử dụng dữ liệu hành vi mua hàng trong quá khứ, học không giám sát có thể giúp khám phá xu hướng dữ liệu có thể được sử dụng để phát triển chiến lược bán chéo hiệu quả hơn. Điều này được sử dụng để đưa ra các đề xuất bổ sung phù hợp cho khách hàng trong quá trình thanh toán cho các nhà bán lẻ trực tuyến.
So sánh học bán giám sát, học có giám sát và học không giám sát
Mỗi phương pháp Machine Learning được thiết kế để giải quyết những bài toán khác nhau tùy theo đặc điểm của dữ liệu và mục tiêu phân tích. Trong đó, học có giám sát, học không giám sát, học bán giám sát là 3 phương pháp phổ biến nhất. Bảng dưới đây sẽ giúp bạn dễ dàng phân biệt sự khác nhau giữa các phương pháp này.
| Tiêu chí | Học có giám sát (Supervised Learning) | Học không giám sát (Unsupervised Learning) | Học bán giám sát (Semi-Supervised Learning) |
| Loại dữ liệu | Dữ liệu đã được gán nhãn | Dữ liệu chưa được gán nhãn | Kết hợp dữ liệu đã gán nhãn và chưa gán nhãn |
| Nguyên lý hoạt động | Học từ dữ liệu có sẵn đáp án để dự đoán hoặc phân loại dữ liệu mới | Tự tìm kiếm các mẫu, cấu trúc hoặc mối quan hệ trong dữ liệu | Sử dụng một lượng nhỏ dữ liệu có nhãn để hỗ trợ học từ tập dữ liệu lớn chưa gán nhãn |
| Mục tiêu | Dự đoán kết quả hoặc phân loại đối tượng | Khám phá quy luật, phân nhóm hoặc giảm chiều dữ liệu | Cải thiện độ chính xác của mô hình khi dữ liệu gán nhãn còn hạn chế |
| Ưu điểm | Độ chính xác cao khi dữ liệu được gán nhãn đầy đủ; dễ đánh giá kết quả | Không cần dữ liệu gán nhãn; phù hợp để khám phá thông tin tiềm ẩn trong dữ liệu | Giảm chi phí và thời gian gán nhãn dữ liệu nhưng vẫn đạt hiệu quả cao hơn học không giám sát |
| Hạn chế | Tốn nhiều thời gian, chi phí và nguồn lực để gán nhãn dữ liệu | Khó đánh giá kết quả do không có đáp án chuẩn; độ chính xác phụ thuộc vào chất lượng dữ liệu và thuật toán | Hiệu quả phụ thuộc vào chất lượng của phần dữ liệu đã được gán nhãn |
| Thuật toán phổ biến | Linear Regression, Logistic Regression, Naive Bayes, KNN, Random Forest | K-Means, Hierarchical Clustering, DBSCAN, PCA, Autoencoder | Pseudo-Labeling, Label Propagation, Mean Teacher, FixMatch |
| Ví dụ ứng dụng | Phát hiện thư rác, dự đoán giá nhà, nhận diện hình ảnh | Phân nhóm khách hàng, phân tích giỏ hàng, phát hiện bất thường | Phân loại hình ảnh, nhận dạng giọng nói, chẩn đoán y khoa khi dữ liệu gán nhãn còn hạn chế |
Lưu ý: Không có phương pháp nào tốt nhất cho mọi bài toán. Việc lựa chọn học có giám sát, học không giám sát hay học bán giám sát phụ thuộc vào lượng dữ liệu được gán nhãn, mục tiêu phân tích và nguồn lực của doanh nghiệp. Trong thực tế, nhiều hệ thống AI hiện đại còn kết hợp các phương pháp này để nâng cao hiệu quả mô hình.
Thách thức của Unsupervised Learning
Mặc dù Học không giám sát (Unsupervised Learning) giúp khai thác hiệu quả dữ liệu chưa được gán nhãn, phương pháp này vẫn tồn tại một số hạn chế cần lưu ý:
- Chi phí tính toán cao: Việc xử lý các tập dữ liệu lớn hoặc dữ liệu có nhiều đặc trưng có thể tiêu tốn nhiều tài nguyên tính toán.
- Thời gian xử lý có thể kéo dài: Một số thuật toán cần nhiều thời gian để phân tích và tìm ra các mẫu hoặc cấu trúc tiềm ẩn trong dữ liệu.
- Khó đánh giá chất lượng kết quả: Do không có dữ liệu gán nhãn làm chuẩn, việc xác định kết quả phân cụm hoặc phát hiện quy luật có phù hợp hay không thường phức tạp hơn.
- Cần chuyên gia xác nhận kết quả: Sau khi mô hình hoàn thành việc phân tích, con người vẫn cần đánh giá để đảm bảo các nhóm hoặc quy luật được phát hiện có ý nghĩa trong thực tế.
- Khó giải thích kết quả: Một số thuật toán tạo ra các cụm dữ liệu nhưng không giải thích rõ cơ sở hoặc tiêu chí hình thành từng cụm, gây khó khăn trong quá trình phân tích và ra quyết định.
Khi nào nên sử dụng Unsupervised Learning?
Unsupervised Learning được ứng dụng rộng rãi trong các trường hợp sau:
- Dữ liệu lớn nhưng chưa có nhãn (Labeled Data): Khi sở hữu khối lượng dữ liệu lớn nhưng chưa được phân loại, doanh nghiệp có thể sử dụng Unsupervised Learning để tìm kiếm cấu trúc và quy luật trong dữ liệu mà không cần thực hiện quá trình gán nhãn tốn kém.
- Cần phân tích hành vi (Behavioral Analytics): Thuật toán có thể phát hiện những nhóm đối tượng có đặc điểm hoặc hành vi tương đồng, từ đó hỗ trợ phân khúc khách hàng, cá nhân hóa trải nghiệm và tối ưu hoạt động kinh doanh.
- Cần khám phá các quy luật và mẫu ẩn (Hidden Patterns): Trong những bài toán chưa xác định rõ mục tiêu phân tích, Unsupervised Learning có thể phát hiện các mối liên hệ, xu hướng hoặc nhóm dữ liệu tiềm ẩn mà các phương pháp phân tích truyền thống khó nhận biết.
Ví dụ: Trong lĩnh vực y tế, mô hình có thể phân tích dữ liệu bệnh án để phát hiện những nhóm bệnh nhân có đặc điểm lâm sàng tương đồng hoặc xác định các nhóm có nguy cơ mắc bệnh cao mà trước đó chưa được phân loại rõ ràng.
Tuy nhiên, Unsupervised Learning không phải lựa chọn tối ưu trong mọi trường hợp, đặc biệt khi:
- Cần dự đoán chính xác một kết quả cụ thể: Các bài toán như dự đoán giá nhà, tỷ lệ chuyển đổi khách hàng hoặc doanh số bán hàng tháng tới,… thường yêu cầu dữ liệu có nhãn và biến mục tiêu rõ ràng, phù hợp hơn với Supervised Learning.
- Đã có sẵn dữ liệu gán nhãn chất lượng cao: Khi dữ liệu đã được phân loại đầy đủ, các mô hình học có giám sát thường mang lại độ chính xác và khả năng kiểm soát kết quả tốt hơn so với Unsupervised Learning.
Nhìn chung, Unsupervised Learning giúp AI khám phá các mẫu, mối quan hệ và quy luật tiềm ẩn trong dữ liệu chưa được gán nhãn, mở ra nhiều cơ hội khai thác giá trị từ dữ liệu cho doanh nghiệp. Nếu đang tìm kiếm giải pháp ứng dụng AI vào phân tích dữ liệu và tự động hóa quy trình, hãy liên hệ FPT.AI để được hỗ trợ qua hotline 1900 638 399. FPT.AI hiện cung cấp các nền tảng và công nghệ giúp doanh nghiệp triển khai hiệu quả, phù hợp với nhiều bài toán thực tiễn.
