Bài viết

Transfer Learning là gì? Transfer learning vs Fine-tuning

Tháng Tư 9, 2025

Chia sẻ với:

Nội dung bài viết

Transfer Learning là phương pháp trong học máy giúp tận dụng kiến thức từ mô hình đã được huấn luyện trước đó để giải quyết bài toán mới. Thực chất, đây là cách mô phỏng khả năng bẩm sinh của con người trong việc chuyển giao kiến thức giữa các nhiệm vụ khác nhau. Giống như cách chúng ta vận dụng kinh nghiệm lái xe máy để học lái ô tô nhanh hơn, hoặc áp dụng kỹ năng chơi piano cổ điển để dễ dàng tiếp cận piano jazz, Transfer Learning cho phép các mô hình học máy “mượn” sự hiểu biết từ mô hình đã được đào tạo tốt và áp dụng vào nhiệm vụ mới có liên quan.

Cùng FPT.AI khám phá sâu hơn cách thức hoạt động, các loại hình, quy trình thực hiện, những ưu nhược điểm và các ứng dụng thực tế của Transfer Learning – một kỹ thuật đang ngày càng trở nên thiết yếu trong thời đại dữ liệu lớn và trí tuệ nhân tạo.

Transfer learning là gì?

Transfer Learning (học chuyển giao) là phương pháp trong học máy (machine learning) giúp tận dụng kiến thức từ mô hình đã được huấn luyện trước (pretrained models) đó để giải quyết bài toán mới. Thay vì bắt đầu từ con số không, phương pháp này “mượn” sự hiểu biết từ một mô hình đã được đào tạo tốt trên một tập dữ liệu lớn và áp dụng vào nhiệm vụ mới có liên quan. Theo định nghĩa của Goodfellow và cộng sự trong cuốn sách “Deep Learning“, đây là “tình huống mà những gì đã học được trong một bối cảnh được khai thác để cải thiện khả năng khái quát hóa trong một bối cảnh khác”.

Tune model là gì — Transfer Learning là phương pháp trong học máy giúp tận dụng kiến thức từ mô hình đã được huấn luyện trước đó để giải quyết bài toán mới

Về mặt kỹ thuật, Transfer Learning chuyển giao kiến thức từ miền nguồn (source domain) sang miền đích (target domain) và từ nhiệm vụ nguồn (source task) sang nhiệm vụ đích (target task). Điều này tạo ra sự khác biệt rõ rệt so với cách tiếp cận học máy truyền thống – vốn yêu cầu xây dựng mô hình hoàn toàn mới, cô lập cho mỗi tác vụ riêng biệt, không lưu giữ hay chuyển giao kiến thức giữa các mô hình.

transfer learning vs machine learning — So sánh Transfer Learning vs Machine Learning

Động lực chính của Transfer Learning, đặc biệt trong học sâu, xuất phát từ thực tế rằng việc có được lượng lớn dữ liệu được gán nhãn cho các mô hình có giám sát thường rất khó khăn và tốn kém. Andrew Ng, một chuyên gia hàng đầu trong lĩnh vực AI, đã nhận định rằng “Sau khi học có giám sát – Học chuyển giao sẽ là động lực tiếp theo cho thành công thương mại của ML”.

Thay vì coi mỗi bài toán là một hòn đảo riêng biệt, Transfer Learning xây dựng cầu nối giữa kiến thức cũ và mới, tận dụng các tính năng, trọng số và đặc trưng đã học được, giúp mô hình học nhanh hơn, chính xác hơn và tiết kiệm tài nguyên đáng kể – đặc biệt khi dữ liệu mới có giới hạn. Ví dụ, nếu bạn đã có mô hình phân tích cảm xúc cho bài đánh giá phim, Transfer Learning cho phép bạn tận dụng mô hình đó để phân tích cảm xúc trong bài đánh giá bài hát mà không cần huấn luyện lại từ đầu.

Phương pháp này được nhiều nhà khoa học dữ liệu và nghiên cứu tin rằng có thể thúc đẩy quá trình nhân loại tiến đến AGI – Trí tuệ nhân tạo tổng quát.

>>> XEM THÊM: Gán nhãn dữ liệu là gì? Data Labeling trong học máy và AI

Cơ chế hoạt động của Transfer Learning

Cách hoạt động của Transfer Learning giống như cách chúng ta học: khi đã biết chơi đàn guitar, việc học đàn ukulele sẽ dễ dàng hơn nhiều. Transfer Learning chuyển giao tri thức từ một tập dữ liệu lớn (thường dễ thu thập) sang một bài toán mới, giúp giảm thiểu việc phải dựng mô hình lại từ đầu, tiết kiệm tài nguyên huấn luyện.

Transfer Learning la gì — Ý tưởng hình thành Transfer Learning

Các mạng CNN trong Transfer Learning hoạt động như một bộ trích xuất đặc trưng (feature extractor), với nhiều tầng trích lọc theo các mức độ khác nhau. Các Convolutional Layers đầu tiên phát hiện đặc trưng bậc thấp, chung chung như các nét ngang, dọc và cạnh của ảnh. Các Convolutional Layers cuối cùng phát hiện đặc trưng bậc cao được tổng hợp từ đặc trưng bậc thấp, tạo nên những đặc trưng có sức mạnh phân loại tốt hơn.

Mô hình Transfer Learning thường gồm hai phần chính:

Phần nền tảng (Base Network): Được trích xuất từ pretrained-model sau khi loại bỏ các fully connected layers ở trên cùng, có tác dụng trích lọc đặc trưng.
Phần kết nối đầy đủ (Fully Connected Layers): Phần mới được thêm vào sau Base Network để giảm chiều dữ liệu và tính toán phân phối xác suất cho các lớp của bài toán mới sao cho số lượng units ở output bằng với số lượng classes.

Transfer learning workflow — Cách thức hoạt động của Transfer Learning

Khi áp dụng Transfer Learning, ba câu hỏi quan trọng cần được trả lời:

Chuyển giao cái gì? – Xác định phần kiến thức nào có thể được chuyển từ nguồn đến mục tiêu, phân biệt đâu là kiến thức đặc thù và đâu là điểm chung giữa hai miền
Khi nào nên chuyển giao? – Nhận diện tình huống khi việc chuyển giao có thể gây ra hiệu ứng tiêu cực (negative transfer), làm giảm hiệu suất thay vì cải thiện
Cách chuyển giao thế nào? – Xác định phương pháp và kỹ thuật cụ thể để thực hiện chuyển giao kiến thức giữa các miền/nhiệm vụ.

Học chuyển giao transfer learning — So sánh Transfer Learning vs Deep Learning

>>> XEM THÊM: Khai phá dữ liệu là gì? 9 công cụ và kỹ thuật Data Mining

Các bước trong quy trình Transfer Learning cơ bản

Chọn mô hình pre-trained phù hợp

Đầu tiên, bạn cần lựa chọn một mô hình đã được huấn luyện trước (pre-trained) phù hợp với bài toán của mình. Mô hình này thường đã được huấn luyện trên một tập dữ liệu lớn như ImageNet và có kiến trúc phức tạp. Việc lựa chọn phụ thuộc vào kiến trúc mô hình (cần phù hợp với loại dữ liệu của bạn như CNN cho hình ảnh), tập dữ liệu huấn luyện (nên liên quan đến bài toán của bạn), và độ phức tạp (cân nhắc tài nguyên tính toán cần thiết).

Ví dụ, trong bài thực hành phân loại chó mèo, MobileNet được chọn làm base network vì đã được pre-trained trên bộ dữ liệu ImageNet với 1000 classes khác nhau, bao gồm cả chó và mèo.

Khởi động (Warm up)

Sau khi chọn được mô hình pre-trained, bạn thực hiện “warm up” bằng cách đóng băng (freeze) các layer CNN để giữ nguyên hệ số của chúng. Mục đích là giữ nguyên các đặc trưng bậc cao (high-level features) đã được học từ pretrained-model, vì những đặc trưng này đã được huấn luyện trên bộ dữ liệu có kích thước lớn hơn và có độ chính xác cao.Trong thực hành, ta thực hiện bằng cách thiết lập layer.trainable = False cho các lớp CNN cần đóng băng.

>>> XEM THÊM: Generative AI vs Machine Learning: Những khác biệt chính

Thêm các lớp mới

Để thực hiện nhiệm vụ mới, bạn cần thêm các Fully Connected Layers (hay mạng MLP) vào cuối mô hình pre-trained. Các lớp này sẽ học các đặc trưng cụ thể cho bài toán của bạn, với số lượng units ở output layer phải tương ứng với số lượng classes của bài toán mới. Hệ số của các lớp này được khởi tạo ngẫu nhiên. Trong giai đoạn đầu, nên tập trung huấn luyện các lớp fully connected này, sử dụng đặc trưng từ base network làm đầu vào để giúp mô hình hội tụ nhanh chóng và đạt được độ chính xác khá tốt chỉ sau vài epoch đầu tiên.

Fine-tuning mô hình

Sau khi mô hình đạt ngưỡng tối ưu trên các Fully Connected Layers, thực hiện fine-tuning để cải thiện thêm độ chính xác. Quá trình này bao gồm việc phá băng (unfreeze) các layers của base network và huấn luyện lại mô hình trên toàn bộ các layers với learning rate thấp để giúp mô hình phù hợp hơn với nhiệm vụ mới và giải quyết vấn đề overfitting.

Tuy nhiên, việc fine-tuning nên áp dụng khác nhau tùy theo kích thước dữ liệu: với dữ liệu nhỏ nên chỉ train lại các fully connected layers cuối, với dữ liệu lớn cùng domain nên warm up trước khi fine tuning, và với dữ liệu lớn khác domain nên huấn luyện lại model từ đầu.

học chuyển giao là gì — Nên điều chỉnh hay đóng băng mô hình huấn luyện?

Lưu ý: Transfer Learning chỉ thực sự hiệu quả khi hai mô hình có cùng domain, khi dữ liệu huấn luyện pretrained-model lớn hơn so với mô hình cần xây dựng và khi pretrained-model có chất lượng tốt.

>>> XEM THÊM: Khám phá 5 loại Generative Models (mô hình tạo sinh) nổi bật

Các loại Transfer Learning chính

Học chuyển giao (Transfer Learning) trong học máy được chia thành ba loại chính dựa trên mối quan hệ giữa nguồn gốc, đích đến và nhiệm vụ cần thực hiện như sau:

Học chuyển giao quy nạp (Inductive Transfer Learning)

Đây là hình thức học chuyển giao áp dụng khi nhiệm vụ nguồn và đích khác nhau, chẳng hạn như sử dụng mô hình đã được huấn luyện để trích xuất đặc trưng hình ảnh để thực hiện nhiệm vụ phát hiện đối tượng cụ thể.

Inductive Transfer có hai hình thức phổ biến:

Multi-task Learning: Đồng thời học nhiều nhiệm vụ khác nhau (như phân loại và phát hiện đối tượng) trên cùng một tập dữ liệu
Self-taught Learning: Khi dữ liệu nguồn không có sẵn nhãn nhưng dữ liệu đích thì có

Phương pháp này thường chuyển giao thông qua:

Chuyển giao thể hiện (Instance-transfer)
Chuyển giao biểu diễn đặc trưng (Feature-representation-transfer)
Chuyển giao tham số (Parameter-transfer)
Chuyển giao kiến thức quan hệ (Relational-knowledge-transfer)

transfer learning là gì — Các loại Transfer Learning chính

>>> XEM THÊM: Top 6 công cụ AI phân tích dữ liệu hàng đầu hiện nay

Học chuyển giao không giám sát (Unsupervised Transfer Learning)

Trong khi Inductive Transfer được xem là học có giám sát (supervised learning), Unsupervised Transfer Learning làm việc hoàn toàn với dữ liệu không có nhãn, thường được ứng dụng khi nhiệm vụ nguồn và đích khác nhau (miền nguồn và đích thường khác nhau nhưng có liên quan).

Ứng dụng phổ biến của phương pháp này là:

Phát hiện gian lận (nhận diện hành vi bất thường bằng cách xác định các mẫu phổ biến trong tập dữ liệu giao dịch không nhãn)
Giảm chiều dữ liệu (Dimensionality Reduction)
Phân cụm (Clustering)

Unsupervised Transfer Learning tập trung vào các kỹ thuật chuyển giao biểu diễn đặc trưng và chuyển giao tham số.

Transfer learning trong học sâu là gì — So sánh sự khác biệt giữa các loại Transfer Learning

Học chuyển giao suy diễn (Transductive Transfer Learning)

Diễn ra khi nhiệm vụ nguồn và đích giống nhau, nhưng bộ dữ liệu (hoặc miền) khác nhau. Cụ thể hơn, dữ liệu nguồn thường được gán nhãn trong khi dữ liệu đích không có nhãn.

Các hình thức phổ biến bao gồm:

Domain Adaptation: Áp dụng kiến thức từ một miền dữ liệu sang miền khác cho cùng một nhiệm vụ (chẳng hạn như áp dụng mô hình phân loại văn bản được huấn luyện và kiểm thử trên đánh giá nhà hàng để phân loại đánh giá phim)
Sample Selection Bias: Xử lý vấn đề khi dữ liệu huấn luyện và dữ liệu thực tế có phân phối khác nhau
Covariate Shift: Giải quyết tình huống khi phân phối đầu vào thay đổi nhưng mối quan hệ giữa đầu vào và đầu ra vẫn giữ nguyên

Transductive Transfer Learning sử dụng chuyển giao thể hiện và chuyển giao biểu diễn đặc trưng.

Supervised learning — Minh hoạ sự khác nhau giữa các loại Transfer Learning bằng sơ đồ luồng (Flowchart)

Nhìn chung, mỗi loại Transfer Learning có những điều kiện áp dụng và phương pháp chuyển giao tri thức riêng, phù hợp với các tình huống khác nhau về tính khả dụng của dữ liệu có nhãn và mối quan hệ giữa các miền/nhiệm vụ. Việc lựa chọn đúng phương pháp là yếu tố quan trọng để đảm bảo hiệu quả của quá trình chuyển giao kiến thức giữa các mô hình.

Fine-tuning vs transfer learning — Nên ứng dụng loại Transfer Learning nào?

>>> XEM THÊM: AI tạo sinh là gì? Ví dụ về AI tạo sinh và ứng dụng thực tế

So sánh Transfer learning vs Fine-tuning

Transfer learning và finetuning đều tái sử dụng mô hình đã có, nhưng mục đích khác nhau:

Finetuning (tinh chỉnh) là huấn luyện thêm một mô hình trên dữ liệu đặc thù để cải thiện hiệu suất của chính nhiệm vụ ban đầu. Ví dụ: Tạo một mô hình phát hiện đối tượng mục đích chung bằng cách sử dụng các tập hình ảnh lớn như COCO hoặc ImageNet, sau đó đào tạo thêm mô hình kết quả trên một tập dữ liệu nhỏ hơn, có nhãn cụ thể để phát hiện ô tô. (tinh chỉnh mô hình phát hiện đối tượng để phát hiện ô tô)
Transfer Learning (học chuyển giao) là điều chỉnh mô hình để giải quyết nhiệm vụ mới có liên quan. Thay vì tiếp tục cùng một nhiệm vụ, bạn chuyển kiến thức sang bài toán khác.

Nói một cách đơn giản, Finetuning giống việc hoàn thiện kỹ năng hiện có, trong khi Transfer Learning là áp dụng kiến thức đã học vào lĩnh vực mới.

transfer learning vs fine-tuning — So sánh Transfer learning vs Fine-tuning

Ưu và nhược điểm của Transfer Learning

Ưu điểm

Giảm chi phí tính toán: Transfer Learning giúp giảm thiểu chi phí tính toán khi xây dựng mô hình cho bài toán mới. Bằng cách tận dụng lại các mô hình đã huấn luyện trước đó, phương pháp này giảm đáng kể thời gian huấn luyện, lượng dữ liệu cần thiết, và các tài nguyên tính toán khác. Ví dụ, chúng ta có thể cần ít epochs (số lần đi qua dữ liệu) hơn để đạt được tốc độ học mong muốn, từ đó đẩy nhanh và đơn giản hóa quá trình huấn luyện mô hình.
Hiệu quả với dữ liệu nhỏ: Transfer Learning đặc biệt hữu ích khi đối mặt với khó khăn về thu thập dữ liệu lớn. Các mô hình ngôn ngữ lớn (LLMs) thường đòi hỏi lượng dữ liệu huấn luyện khổng lồ để đạt hiệu suất tối ưu. Việc tạo ra đủ dữ liệu gán nhãn thủ công có thể tốn nhiều thời gian và chi phí, nhưng Transfer Learning giúp giảm đáng kể yêu cầu này.
Tăng khả năng tổng quát hóa: Transfer Learning không chỉ giúp tối ưu mô hình mà còn cải thiện khả năng tổng quát hóa. Bởi quá trình này liên quan đến việc huấn luyện lại mô hình hiện có với dữ liệu mới, mô hình sau khi huấn luyện lại sẽ tích lũy kiến thức từ nhiều tập dữ liệu. Nhờ đó, nó có thể hoạt động tốt hơn trên nhiều loại dữ liệu so với mô hình ban đầu chỉ được huấn luyện trên một loại dữ liệu, giúp giảm hiện tượng overfitting.
Cải thiện accuracy và tốc độ hội tụ: Sử dụng Transfer Learning mang lại điểm khởi đầu accuracy tốt hơn, tốc độ tăng accuracy nhanh hơn, và đường tiệm cận của độ chính xác tối ưu cao hơn. Mô hình có thể đạt được độ chính xác cao với ít epochs huấn luyện hơn so với huấn luyện từ đầu.

>>> XEM THÊM: Retrieval-Augmented Generation nâng cao chất lượng phản hồi cho LLMs

Nhược điểm

Nguy cơ chuyển giao tiêu cực (negative transfer): Transfer Learning hoạt động tốt nhất khi ba điều kiện được đáp ứng: (1) các nhiệm vụ học tập tương tự nhau, (2) phân phối dữ liệu nguồn và đích không quá khác biệt, và (3) mô hình tương tự có thể áp dụng cho cả hai nhiệm vụ. Khi các điều kiện này không được đáp ứng, Transfer Learning có thể ảnh hưởng tiêu cực đến hiệu suất mô hình, gọi là chuyển giao tiêu cực.
Thiếu tiêu chuẩn đánh giá sự tương đồng: Hiện tại không có tiêu chuẩn phổ biến để xác định độ tương đồng giữa các nhiệm vụ cho Transfer Learning. Mặc dù có một số nghiên cứu đề xuất các phương pháp đánh giá khác nhau để dự đoán sự tương đồng giữa các tập dữ liệu và nhiệm vụ học máy, nhưng vẫn chưa có tiêu chí chung được chấp nhận rộng rãi.
Giới hạn về domain: Transfer Learning chỉ nên áp dụng giữa hai mô hình có cùng domain. Nếu pretrained-model và mô hình cần huấn luyện không có chung domain về dữ liệu, các đặc trưng học được từ bộ feature extractor của mô hình gốc sẽ không thực sự hữu ích trong việc phân loại của mô hình mới.
Phụ thuộc vào chất lượng của pretrained-model: Pretrained-model phải là mô hình có chất lượng tốt và được huấn luyện trên tập dữ liệu lớn hơn tập dữ liệu của mô hình cần xây dựng. Nếu không, các đặc trưng học được từ mô hình gốc sẽ không đủ tổng quát để giúp ích cho việc phân loại dữ liệu của mô hình mới.
Không thay thế được kỹ thuật xử lý dữ liệu: Việc chuyển giao kiến thức từ một miền này sang miền khác không thể bù đắp cho tác động tiêu cực của dữ liệu chất lượng kém. Các kỹ thuật tiền xử lý và kỹ thuật đặc trưng, như tăng cường dữ liệu và trích xuất đặc trưng, vẫn cần thiết khi sử dụng Transfer Learning.

>>> XEM THÊM: Data Leakage là gì? Cách ngăn chặn rò rỉ dữ liệu khi triển khai Generative AI cho doanh nghiệp

Ứng dụng của Transfer Learning là gì?

Transfer learning được ứng dụng rộng rãi trong nhiều lĩnh vực của học máy và trí tuệ nhân tạo. Dưới đây là những ứng dụng chính của kỹ thuật này:

Xử lý ngôn ngữ tự nhiên (Natural Language Processing – NLP): Một vấn đề nổi bật ảnh hưởng đến transfer learning trong NLP là sự không khớp về đặc trưng. Các đặc trưng trong các miền khác nhau có thể mang những ý nghĩa khác nhau (ví dụ: từ “light” có thể chỉ trọng lượng nhẹ hoặc ánh sáng). Sự khác biệt này ảnh hưởng đến các tác vụ như phân loại cảm xúc và mô hình ngôn ngữ. Các mô hình dựa trên deep learning, đặc biệt là word embeddings, cho thấy tiềm năng khắc phục vấn đề này vì chúng có thể nắm bắt đầy đủ các mối quan hệ ngữ nghĩa và định hướng cho các tác vụ thích ứng miền.
Thị giác máy tính (Computer Vision): Do khó khăn trong việc thu thập đủ dữ liệu được gán nhãn thủ công cho các tác vụ thị giác máy tính đa dạng, nhiều nghiên cứu đã tập trung vào ứng dụng transfer learning với mạng nơ-ron tích chập (CNNs). Một ví dụ đáng chú ý là ResNet, một kiến trúc mô hình được huấn luyện trước, đã chứng minh hiệu suất cải thiện trong các tác vụ phân loại hình ảnh và phát hiện đối tượng. Nghiên cứu gần đây về bộ dữ liệu ImageNet nổi tiếng cho transfer learning cho thấy rằng (trái với quan niệm phổ biến trong lĩnh vực thị giác máy tính) chỉ cần các tập con nhỏ của bộ dữ liệu này là đủ để huấn luyện các mô hình có khả năng tổng quát hóa đáng tin cậy. Nhiều hướng dẫn về transfer learning cho thị giác máy tính sử dụng cả ResNet và ImageNet với thư viện keras của TensorFlow.
Dự báo độ chính xác cao hơn với ít dữ liệu: Transfer learning đặc biệt hiệu quả trong trường hợp dữ liệu có kích thước nhỏ. Trong bài toán phân loại chó và mèo, nếu huấn luyện từ đầu sẽ tốn nhiều epochs hơn để đạt độ chính xác cao. Tuy nhiên, khi tận dụng pretrained-model, sẽ cần ít epochs huấn luyện hơn để đạt độ chính xác mong muốn. Theo đồ thị so sánh hiệu suất, transfer learning mang lại ba lợi thế: điểm khởi đầu accuracy tốt hơn, tốc độ tăng accuracy nhanh hơn, và đường tiệm cận của độ chính xác tối ưu cao hơn.
Cải thiện mô hình với dữ liệu nhỏ không đại diện: Một trong những nguyên nhân khiến mô hình dự báo kém là dữ liệu có kích thước quá nhỏ không đủ đại diện. Ví dụ như bài toán phân loại chó và mèo với chỉ 100 ảnh từ Việt Nam, không thể đại diện cho toàn bộ loài chó và mèo trên thế giới. Transfer learning giúp mô hình học được các đặc trưng tổng quát từ dữ liệu lớn, từ đó cải thiện khả năng dự báo trên dữ liệu mới.

Tóm lại, với khả năng tận dụng tri thức từ các mô hình đã huấn luyện trước đó, Transfer Learning giúp tiết kiệm đáng kể thời gian và tài nguyên tính toán. Dù có nguy cơ chuyển giao tiêu cực và giới hạn về domain, Transfer Learning vẫn là chiến lược hiệu quả trong xử lý ngôn ngữ tự nhiên và thị giác máy tính. Khi AI tiếp tục phát triển, Transfer Learning sẽ càng đóng vai trò quan trọng trong việc tạo ra các giải pháp học máy hiệu quả, đặc biệt trong bối cảnh nguồn dữ liệu có nhãn còn hạn chế.

>>> XEM THÊM: