vi
en
Xử lý ngôn ngữ tự nhiên (Natural Language Processing – NLP) là nhánh mới của trí tuệ nhân tạo, kết hợp giữa khoa học máy tính và AI, giúp máy tính có khả năng hiểu sâu sắc ngôn ngữ của con người. Công nghệ này mang lại nhiều lợi ích thiết thực cho doanh nghiệp trong việc tối ưu hiệu suất vận hành và nâng cao trải nghiệp của khách hàng. Vậy xử lý ngôn ngữ tự nhiên là gì? Trong bài viết này, FPT.AI sẽ cùng bạn khám phá sâu hơn về khái niệm, cơ chế hoạt động và những ứng dụng nổi bật của NLP tiếng Việt.
Xử lý ngôn ngữ tự nhiên (NLP) là gì?
Xử lý ngôn ngữ tự nhiên (NLP) là một lĩnh vực con trong Học sâu giúp máy móc hoặc máy tính học, diễn giải, thao tác và hiểu ngôn ngữ tự nhiên của con người. Ngôn ngữ tự nhiên của con người nằm trong danh mục dữ liệu phi cấu trúc, chẳng hạn như văn bản và giọng nói. Nhìn chung, máy tính có thể hiểu được dạng dữ liệu có cấu trúc, chẳng hạn như bảng và bảng tính trong cơ sở dữ liệu, vì ngôn ngữ của con người, như văn bản và giọng nói, nằm trong danh mục dữ liệu phi cấu trúc và vì máy tính không thể hiểu được dữ liệu văn bản hoặc giọng nói phi cấu trúc, nên NLP sẽ phát huy tác dụng.
Một số ứng dụng nổi bật trong lĩnh vực này bao gồm nhận dạng tiếng nói và tổng hợp tiếng nói. Trong đó, nhận dạng tiếng nói chuyển đổi âm thanh thành văn bản, còn tổng hợp tiếng nói biến văn bản thành âm thanh. Xử lý văn bản chuyên về phân tích dữ liệu ngôn ngữ ở dạng văn bản, bao gồm truy vấn và truy xuất thông tin, dịch ngôn ngữ tự động, tóm tắt nội dung văn bản hoặc kiểm tra lỗi chính tả và ngữ pháp, các dạng âm thanh, văn bản, dữ liệu hội thoại trên các kênh truyền thông xã hội, video, email,…
Xử lý văn bản đôi khi được phân thành hai nhánh nhỏ hơn: hiểu văn bản (Natural Language Understanding – NLU) và sinh văn bản (Natural Language Generation – NLG). Hiểu văn bản tập trung vào phân tích dữ liệu trong khi sinh văn bản lại liên quan đến việc tạo ra nội dung mới, chẳng hạn như dịch ngôn ngữ hoặc tóm tắt văn bản tự động.
>>> ĐỌC THÊM: Generative AI là gì? Xu hướng công nghệ AI tạo sinh 2024
7 kỹ thuật chính của xử lý ngôn ngữ NLP
Kỹ thuật Xử lý ngôn ngữ tự nhiên (NLP) là các phương pháp và thuật toán được sử dụng để xử lý, phân tích và hiểu ngôn ngữ và dữ liệu của con người. Các kỹ thuật này cho phép các hệ thống tương tác với việc diễn giải và tạo ra văn bản ngôn ngữ tự nhiên. Sau đây là một số Kỹ thuật NLP phổ biến được đề cập bên dưới:
Nhận dạng thực thể được đặt tên (Named Entity Recognition)
Nhận dạng thực thể có tên hay NER được sử dụng để xác định các thực thể và phân loại chúng thành các danh mục được xác định trước, trong đó các thực thể bao gồm những thứ như tên người, tổ chức, địa điểm và các mục được đặt tên trong văn bản. Kỹ thuật này rất quan trọng để trích xuất thông tin và bằng cách sử dụng kỹ thuật này, bạn có thể hiểu được khối lượng lớn dữ liệu không có cấu trúc bằng cách xác định các thực thể và phân loại chúng thành các danh mục được xác định trước.
Phân tích tình cảm (Sentiment Analysis)
Đối với một phần dữ liệu nhất định như văn bản hoặc giọng nói, Phân tích tình cảm xác định tình cảm hoặc cảm xúc được thể hiện trong dữ liệu, chẳng hạn như tích cực, tiêu cực hoặc trung tính. Kỹ thuật này được sử dụng rộng rãi trong giám sát phương tiện truyền thông xã hội, phân tích phản hồi của khách hàng và nghiên cứu thị trường. Nhiều công ty công nghệ lớn sử dụng kỹ thuật này và những kết quả này cung cấp thông tin chi tiết về khách hàng và kết quả chiến lược.
Tóm tắt văn bản (Text Summarization in NLP)
Tóm tắt văn bản về cơ bản là chuyển đổi dữ liệu lớn hơn như tài liệu văn bản thành phiên bản ngắn gọn nhất trong khi vẫn giữ nguyên thông tin thiết yếu quan trọng. Kỹ thuật này giúp chúng ta dễ dàng và nhanh chóng nắm bắt các điểm chính cần thiết của các văn bản lớn hơn, dẫn đến việc truy xuất thông tin hiệu quả và quản lý nội dung lớn. Tóm tắt văn bản cũng được gọi là Tóm tắt tự động về cơ bản là cô đọng dữ liệu văn bản trong khi vẫn giữ nguyên các chi tiết của nó.
>>> XEM THÊM VỀ: Các kỹ thuật tiền xử lý văn bản (Text Preprocessing) trong xử lý ngôn ngữ tự nhiên (NLP)
Mô hình chủ đề (Topic Modeling)
Mô hình hóa chủ đề nằm trong kỹ thuật Xử lý ngôn ngữ tự nhiên (NLP) không giám sát về cơ bản sử dụng các chương trình Trí tuệ nhân tạo (AI) để gắn thẻ và phân loại các cụm văn bản có chủ đề chung. Mục đích của Mô hình hóa chủ đề là biểu diễn từng tài liệu của tập dữ liệu dưới dạng sự kết hợp của các chủ đề khác nhau, điều này sẽ giúp chúng ta hiểu rõ hơn về các chủ đề chính có trong ngữ liệu văn bản.
Phân loại văn bản (Text Classification)
Phân loại văn bản là phân loại dữ liệu văn bản phi cấu trúc lớn thành danh mục hoặc nhãn được chỉ định cho từng tài liệu. Mô hình hóa chủ đề, Phân tích tình cảm, Trích xuất từ khóa đều là các tập hợp con của phân loại văn bản. Kỹ thuật này thường liên quan đến việc thu thập thông tin từ các đánh giá của khách hàng và các hoạt động dịch vụ khách hàng.
Trích xuất từ khóa (Keyword Extraction)
Đối với một đoạn văn bản nhất định, kỹ thuật Trích xuất từ khóa xác định và truy xuất các từ hoặc cụm từ trong văn bản. Mục tiêu chính của kỹ thuật này liên quan đến việc xác định các thuật ngữ có ý nghĩa từ văn bản, biểu thị các ý tưởng hoặc thông tin quan trọng có trong tài liệu. Trích xuất từ khóa khác với phân loại văn bản và mô hình hóa chủ đề, vì phân loại văn bản chỉ định các danh mục được xác định trước cho các tài liệu và mô hình hóa chủ đề phát hiện ra các chủ đề tiềm ẩn trong một ngữ liệu văn bản, nhưng trích xuất từ khóa tập trung vào việc trích xuất các từ hoặc cụm từ cụ thể có tính thông tin cao và biểu thị thông tin quan trọng của tài liệu.
Lemmatization và Stemming
Mang tính kỹ thuật hơn so với các kỹ thuật đã thảo luận trước đó, phương pháp lemmatization và stemming về cơ bản được sử dụng để rút gọn các từ thành dạng cơ sở hoặc dạng gốc của chúng, chuyển đổi chúng thành dữ liệu dễ quản lý hơn để xử lý văn bản hoặc phân tích văn bản.
- Lemmatization là một kỹ thuật NLP nâng cao sử dụng từ điển hoặc từ vựng để chuyển đổi các từ thành dạng cơ sở hoặc từ điển của chúng được gọi là lemm. Bây giờ, từ được lemmatized là một từ hợp lệ biểu diễn nghĩa cơ sở của từ gốc. Lemmatization xem xét phần lời nói (POS) của các từ và đảm bảo rằng đầu ra là các từ thích hợp trong ngôn ngữ.
- Stemming là một kỹ thuật NLP nhanh hơn và đơn giản hơn, về cơ bản là cắt bớt các từ thành các gốc của chúng, sự lựa chọn giữa lemmatization và stemming phụ thuộc vào các yêu cầu cụ thể của dự án hoặc nhiệm vụ NLP, ngôn ngữ được sử dụng và mức độ chính xác mong muốn.
Xử lý ngôn ngữ tự nhiên (NLP) hoạt động như thế nào?
NLP sử dụng các mô hình thống kê, Deep Learning, Machine Learning và các mô hình được thiết lập dựa trên các quy tắc ngôn ngữ của con người để nắm bắt được cả cảm xúc và ý định trong các dữ liệu văn bản hoặc dữ liệu thoại. Các bước xử lý ngôn ngữ tự nhiên tiếng Việt điển hình bao gồm:
- Thu thập và chuẩn bị dữ liệu: Văn bản hoặc giọng nói phi cấu trúc từ các nguồn như kho dữ liệu đám mây, khảo sát, email hoặc các ứng dụng quy trình kinh doanh nội bộ được thu thập.
- Nhận dạng giọng nói: Đối với các dữ liệu thoại, quy trình xử lý ngôn ngữ tự nhiên sẽ phát sinh thêm 1 bước là chuyển giọng nói thành văn bản (chuyển đổi dữ liệu âm thanh thành văn bản). Thách thức chính của bước này nằm ở sự đa dạng trong cách mọi người nói, bao gồm tốc độ nói, các lỗi ngữ pháp, sự nhấn mạnh, ngữ điệu và trọng âm khác nhau.
- Tiền xử lý văn bản:
Quy trình này bắt đầu với phân đoạn (Tokenization), chia văn bản thành các đơn vị nhỏ như từ, câu hoặc cụm từ. Nếu dữ liệu được thu thập từ các trang web, xử lý tự nhiên tiếng Việt sẽ loại bỏ các thẻ HTML (HTML Tag Removal) để tránh nhiễu thông tin.
Sau đó, văn bản được chuẩn hóa về bảng mã Unicode dựng sẵn, đảm bảo tính đồng nhất về cách gõ dấu, chẳng hạn như đưa từ “hòa” và “Hoà” về cùng một kiểu thống nhất. Các từ có nhiều cách viết như “mĩ thuật” và “mỹ thuật” hay “qui chế” và “quy chế” cũng được chuẩn hóa về một dạng để giảm sai lệch khi phân tích văn bản.
Sau đó, văn bản sẽ được chuyển về chữ thường (Lowercasing). Các dấu câu và từ dừng như “bởi”, “các”, “và” sẽ được loại bỏ (Stopword Removal) nếu chúng không góp phần vào nội dung chính của văn bản. Chẳng hạn, câu “Chúng tôi đã, và đang nghiên cứu công nghệ AI để phát triển các ứng dụng mới” sẽ được đơn giản hóa thành “Chúng tôi nghiên cứu công nghệ AI phát triển ứng dụng mới”. Kết thúc quy trình này, văn bản sẽ được làm sạch, sẵn sàng để các mô hình học máy hiểu và phân tích một cách hiệu quả.
- Trích xuất đặc trưng
Trích xuất đặc trưng sử dụng các kỹ thuật như Bag of Words, TF-IDF, đại diện từ (Word Embeddings) và đại diện ngữ cảnh (Contextual Embeddings), biểu diễn từ dưới dạng vector dày đặc trong không gian liên tục để nắm bắt mối quan hệ ngữ nghĩa và tầm quan trọng của từng từ trong văn bản.
- Phân tích văn bản
Phân tích văn bản là quá trình diễn giải và trích xuất thông tin có giá trị từ dữ liệu văn bản, bao gồm nhiều tác vụ xử lý ngôn tự nhiên quan trọng như:
-
- Gắn nhãn từ loại (Part-of-speech tagging): Xác định loại từ hoặc vai trò của từ trong câu dựa trên ngữ cảnh. Ví dụ, từ “nắm” được nhận diện là một động từ trong câu “Mỗi kỹ sư cần nắm rõ chi phí liên quan đến hạ tầng,” nhưng lại được phân loại là danh từ trong câu “Trưa nay tôi ăn 2 nắm cơm.”
- Định nghĩa từ: Tác vụ này tập trung vào việc chọn nghĩa chính xác của một từ có nhiều ý nghĩa bằng cách dựa vào ngữ cảnh. Chẳng hạn, phân biệt ý nghĩa của từ “đá” trong “đá bóng” là động từ, và trong “cục đá” là danh từ.
- Nhận dạng thực thể có tên (NER): Đây là quá trình xác định các từ hoặc cụm từ đại diện cho thực thể, như nhận ra “Hà Giang” là một địa danh hoặc “Hà” là tên của một người.
- Giải quyết đồng tham chiếu: Tác vụ NLP xác định liệu hai từ hoặc cụm từ có đề cập đến cùng một thực thể hay không. Ví dụ, nó có thể nhận diện “cô ấy” là chỉ “Mai” hoặc giải mã các ẩn dụ và thành ngữ xuất hiện trong văn bản.
- Phân tích diễn ngôn: Phân tích này được thực hiện ở mức độ văn bản, xem xét các yếu tố ngôn ngữ trong mối tương quan với ngữ cảnh (context-of-use).
- Phân tích cảm xúc: Tác vụ này cố gắng phát hiện và phân tích các sắc thái chủ quan như cảm xúc, thái độ, sự mỉa mai, nghi ngờ hay bối rối trong văn bản.
- Hiểu ngôn ngữ tự nhiên (NLU): Nhận diện các từ có ý nghĩa tương tự hoặc xử lý những từ có nghĩa khác nhau.
- Sinh ngôn ngữ tự nhiên (NLG): Chuyển đổi thông tin có cấu trúc thành ngôn ngữ tự nhiên mà con người sử dụng.
>>> XEM THÊM: Dialog Management và vai trò trong việc phát triển chatbot
Các ứng dụng xử lý ngôn ngữ tự trong thực tiễn
Các ứng dụng xử lý ngôn ngữ tự nhiên nổi bật bao gồm:
- Công cụ dịch thuật: Những tiến bộ trong công nghệ xử lý ngôn ngữ tự nhiên đã giúp các công cụ dịch thuật hiện đại cải thiện đáng kể độ chính xác trong việc chuyển đổi ý nghĩa giữa nhiều ngôn ngữ khác nhau. Chẳng hạn, Google Translate có thể có thể dịch văn bản với ý nghĩa và sắc thái của ngôn ngữ gốc được giữ nguyên trong ngôn ngữ đích.
- Trợ lý ảo và chatbot: Trợ lý ảo như Siri của Apple và Alexa của Amazon và các chatbot tích hợp công nghệ xử lý ngôn ngữ tự nhiên để hiểu các lệnh và đưa ra các phản hồi phù hợp. Các hệ thống này không ngừng học hỏi từ ngữ cảnh trong yêu cầu của người dùng để đảm bảo cung cấp câu trả lời chính xác, hữu ích với ngôn từ tự nhiên và gần gũi.
- Phân tích cảm xúc trên mạng xã hội: NLP đã trở thành một công cụ đắc lực trong việc trích xuất thông tin ẩn từ các nền tảng mạng xã hội. Phân tích cảm xúc xem xét ngôn ngữ trong bài đăng, phản hồi, đánh giá, để nhận biết thái độ và cảm xúc của người dùng đối với sản phẩm, chương trình khuyến mãi hoặc sự kiện. Các doanh nghiệp sử dụng những thông tin này để phát triển sản phẩm, thiết kế chiến dịch quảng cáo và đưa ra quyết định chiến lược.
- Tóm tắt văn bản: NLP có thể xử lý lượng lớn dữ liệu văn bản để tạo ra các bản tóm tắt hữu ích, phục vụ cho việc tra cứu, nghiên cứu hoặc đọc nhanh. Những ứng dụng tiên tiến trong tóm tắt văn bản kết hợp khả năng lý luận ngữ nghĩa và sinh ngôn ngữ tự nhiên (NLG), cung cấp các bản tóm tắt có ngữ cảnh rõ ràng và kết luận chặt chẽ, tăng giá trị sử dụng.
- Phát hiện thư rác: NLP có khả năng phân loại văn bản để phân tích email và nhận diện các dấu hiệu đặc trưng của spam hoặc phishing. Công nghệ này phát hiện những mẫu ngôn ngữ như lạm dụng thuật ngữ tài chính, ngữ pháp không chuẩn, ngôn ngữ gây đe dọa, yêu cầu khẩn cấp không hợp lý hoặc tên công ty viết sai chính tả.
- Xử lý ngôn ngữ tự nhiên trên nền tảng đám mây: Sự kết hợp này mang lại nhiều lợi ích như khả năng mở rộng linh hoạt, chi phí hợp lý, truy cập toàn cầu, bảo mật cao và khả năng tận dụng các dịch vụ đám mây để tăng cường chức năng. Những ưu điểm này khiến điện toán đám mây trở thành lựa chọn hấp dẫn cho các tổ chức muốn khai thác tối đa ứng dụng NLP.
>>> XEM NGAY: Cách tạo chatbot đa kênh dễ dàng, thuận tiện bằng FPT AI Chat
Các thách thức chính trong quy trình xử lý ngôn ngữ
Xử lý ngôn ngữ tự nhiên (NLP) là một lĩnh vực khó do hai thách thức chính:
- Tri thức nền (Background Knowledge): Máy tính thiếu khả năng tiếp thu và hiểu tri thức nền như con người. Ví dụ, con người hiểu rằng lửa nóng, đèn đỏ cần dừng, đèn xanh được đi; nhưng việc lập trình để máy tính hiểu và áp dụng những tri thức này vẫn là một thách thức lớn chưa có giải pháp tối ưu.
- Tính nhập nhằng của ngôn ngữ (Ambiguity): Một từ có thể thuộc nhiều từ loại và mang ý nghĩa khác nhau tùy ngữ cảnh, ví dụ “book” có thể là động từ (đặt phòng) hoặc danh từ (quyển sách). Đồng thời, một câu có thể có nhiều cấu trúc ngữ pháp dẫn đến cách hiểu khác nhau. Ví dụ “a computer understands you like your mother does” (máy tính hiểu bạn giống mẹ bạn) hoặc “a computer understands that you like your mother” (máy tính hiểu rằng bạn thích mẹ mình).
Cả hai yếu tố này đều làm tăng độ phức tạp trong các nhiệm vụ như gán nhãn từ loại, phân tích cú pháp, và phân tích ngữ nghĩa, khiến NLP trở thành một lĩnh vực đầy thách thức.
>>> XEM THÊM: Knowledge Base là gì? Công nghệ nâng cấp hiệu quả CSKH cho ngành Bảo hiểm
Tiếp cận khách hàng hiệu quả nhờ AI Chatbot tích hợp công nghệ NLP
Được xây dựng dựa trên công nghệ xử lý ngôn ngữ tự nhiên tiên tiến, FPT AI Chat là AI chatbot dành cho các doanh nghiệp muốn nâng cao hiệu quả bán hàng, marketing, chăm sóc khách hàng toàn diện.
FPT AI Chat hỗ trợ nhiều ngôn ngữ như tiếng Việt, tiếng Anh và tiếng Nhật, có khả năng nhận diện đa dạng các dạng câu khác nhau, kể cả những câu viết tắt hoặc không dấu. Giải pháp này có thể xử lý hàng nghìn yêu cầu cùng lúc và chuyển tiếp cuộc trò chuyện đến nhân viên tư vấn khi cần, đảm bảo trải nghiệm khách hàng luôn nhất quán và liền mạch.
Trong thời điểm dịch Covid-19 hoành hành, Bộ Y tế Việt Nam đã sử dụng chatbot tích hợp công nghệ xử lý ngôn ngữ tự nhiên của FPT.AI để giúp thực hiện hàng triệu cuộc gọi khai báo y tế tự động, sàng lọc các ca nghi nhiễm và cung cấp thông tin về tình hình dịch bệnh theo thời gian thực. Nhờ đó, lượng lớn yêu cầu từ người dân đã được xử lý nhanh chóng, giảm tải áp lực cho lực lượng y tế và hỗ trợ người dân tiếp cận thông tin chính xác về phòng dịch.
Quy mô thị trường NLP ước tính đạt 31,76 tỷ USD vào năm 2024 và dự kiến sẽ đạt 92,99 tỷ USD vào năm 2029, tăng trưởng với tốc độ CAGR là 23,97% trong giai đoạn 2024-2029. Công nghệ này đang mở ra nhiều cơ hội mới, từ việc cải thiện giao tiếp giữa con người và máy tính cho đến việc hỗ trợ doanh nghiệp trong việc hiểu và phục vụ khách hàng tốt hơn.
Hãy liên hệ với FPT.AI ngay hôm nay để khám phá những giải pháp công nghệ vượt trội, tối ưu hiệu suất và nâng tầm trải nghiệm khách hàng!
>>> ĐỪNG BỎ LỠ:
- Call center là gì? Ưu điểm và 10 chỉ số đo lường hiệu suất
- AI Agents là gì? Sự khác biệt giữa AI Agents và AI Chatbot
