Phát triển một số phương pháp lọc thông tin cho hệ tư vấn
Phát triển một số phương pháp lọc thông tin cho hệ tư vấn
Xem bên trong

Phát triển một số phương pháp lọc thông tin cho hệ tư vấn

135 tr. + CD-ROM
Luận án TS. Khoa học máy tính — Trường Đại học Công nghệ. Đại học Quốc gia Hà Nội, 2011
Giới thiệu tổng quan về lọc thông tin, các phương pháp lọc thông tin như phương pháp lọc theo nội dung, lọc cộng tác và phương pháp lọc kết hợp. Nghiên cứu phương pháp hạn chế ảnh hưởng của vấn đề dữ liệu thưa của lọc cộng tác bằng phương pháp học đa nhiệm và phương pháp kết hợp giữa lọc cộng tác và lọc nội dung dựa trên mô hình đồ thị. Tiến hành thử nghiệm để đánh giá mức độ khả thi của các phương pháp đã đề xuất
Electronic Resources

0.00

Tải về miễn phí bản đầy đủ PDF luận văn tại Link bản đầy đủ 1

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN DUY PHƯƠNG

Phát triển một số phương pháp lọc thông tin
cho hệ tư vấn

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

HÀ NỘI, 2011

1
LỜI CAM ĐOAN
Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các kết quả
được viết chung với các tác giả khác đều được sự đồng ý của đồng tác giả trước
khi đưa vào luận án. Các kết quả nêu trong luận án là trung thực và chưa từng
được công bố trong các công trình nào khác.

Tác giả

Nguyễn Duy Phương
2
Lời cảm ơn
Thực hiện luận án tiến sĩ là một thử thách lớn, đòi hỏi sự kiên trì và tập
trung cao độ. Tôi thực sự hạnh phúc với kết quả đạt được trong đề tài nghiên
cứu của mình. Những kết quả đạt được không chỉ là nỗ lực cá nhân, mà còn có
sự hỗ trợ và giúp đỡ của tập thể giáo viên hướng dẫn, nhà trường, bộ môn, đồng
nghiệp và gia đình. Tôi muốn bày tỏ tình cảm của mình đến với họ.
Trước tiên, tôi xin bày tỏ sự biết ơn sâu sắc đến tập thể giáo viên hướng
dẫn PGS TS Từ Minh Phương và PGS TS Đinh Mạnh Tường. Được làm việc
với hai thầy là một cơ hội lớn cho tôi học hỏi phương pháp nghiên cứu. Cảm ơn
hai thầy rất nhiều vì sự hướng dẫn tận tình, nghiêm túc và khoa học.
Tôi xin trân trọng cảm ơn Bộ môn Khoa học máy tính, Khoa Công nghệ
thông tin, Phòng Đào tạo, Ban giám hiệu trường Đại học Công nghệ đã tạo điều
kiện thuận lợi cho tôi trong suốt quá trình thực hiện luận án.
Tôi xin cảm ơn tập thể Lãnh đạo Học Viện Công nghệ Bưu chính Viễn
thông, cán bộ, giảng viên khoa Công nghệ thông tin – Học Viện Công nghệ
Bưu chính Viễn thông đã cổ vũ động viên tôi trong quá trình nghiên cứu.
Tôi cảm ơn tất cả những người bạn của tôi, những người luôn chia sẻ và cổ
vũ tôi trong những lúc khó khăn và tôi luôn ghi nhớ điều đó.
Cuối cùng, tôi xin bày tỏ lòng biết ơn vô hạn đối với cha mẹ và gia đình đã
luôn bên cạnh ủng hộ, giúp đỡ tôi.
3
MỤC LỤC
PHẦN MỞ ĐẦU ……………………………………………………………………………………………
1. Tính cấp thiết của luận án ………………………………………………………………….11
2. Mục tiêu của luận án …………………………………………………………………………12
3. Các đóng góp của luận án ………………………………………………………………….13
4. Bố cục của luận án ……………………………………………………………………………15
CHƯƠNG 1. TỔNG QUAN VỀ LỌC THÔNG TIN CHO HỆ TƯ VẤN ……… 16
1.1. GIỚI THIỆU CHUNG ………………………………………………………………………16
1.1.1. Kiến trúc tổng quát của hệ thống lọc thông tin ……………………………..17
1.1.2. Lọc thông tin và truy vấn thông tin ………………………………………………18
1.1.3. Học máy và lọc thông tin …………………………………………………………….19
1.1.4. Lọc thông tin và các hệ tư vấn…………………………………………………….21
1.2. PHƯƠNG PHÁP LỌC THEO NỘI DUNG ………………………………………..24
1.2.1. Bài toán lọc theo nội dung ………………………………………………………….25
1.2.2. Các phương pháp pháp lọc theo nội dung ………………………………………25
1.2.2.1. Lọc nội dung dựa vào bộ nhớ …………………………………………………25
1.2.2.2. Lọc nội dung dựa vào mô hình ……………………………………………….28
1.2.3. Những vấn đề tồn tại ……………………………………………………………………29
1.3. PHƯƠNG PHÁP LỌC CỘNG TÁC …………………………………………………..30
1.3.1. Bài toán lọc cộng tác ……………………………………………………………………30
1.3.2. Các phương pháp lọc cộng tác……………………………………………………..32
1.3.2.1. Lọc cộng tác dựa trên bộ nhớ ………………………………………………..32
1.3.2.2. Lọc cộng tác dựa vào mô hình ………………………………………………35
1.3.3. Những vấn đề tồn tại ……………………………………………………………………38
1.4. PHƯƠNG PHÁP LỌC KẾT HỢP ………………………………………………………39
1.4.1. Bài toán lọc kết hợp …………………………………………………………………….39
1.4.2. Các phương pháp lọc kết hợp ……………………………………………………….40
1.4.3. Những vấn đề còn tồn tại ……………………………………………………………42
1.5. KẾT LUẬN ……………………………………………………………………………………..42
4
CHƯƠNG 2. LỌC CỘNG TÁC BẰNG PHƯƠNG PHÁP HỌC ĐA NHIỆM ……
2.1. ĐẶT VẤN ĐỀ ………………………………………………………………………………….44
2.1.1. Vấn đề dữ liệu thưa của lọc cộng tác ……………………………………………44
2.1.2. Ảnh hưởng của vấn đề dữ liệu thưa ……………………………………………..45
2.1.3. Các phương pháp hạn chế vấn đề dữ liệu thưa ………………………………46
2.2. LỌC CỘNG TÁC BẰNG PHÂN LOẠI …………………………………………….48
2.2.1. Phát biểu bài toán lọc cộng tác bằng phân loại ……………………………..48
2.2.2. Phân loại bằng phương pháp Boosting …………………………………………51
2.3. PHÂN LOẠI VỚI CÁC ĐẶC TRƯNG CHUNG ……………………………….56
2.3.1. Phương pháp học đa nhiệm …………………………………………………………56
2.3.2. Boosting đồng thời cho nhiều bài toán phân loại …………………………..59
2.3.2.1. Xây dựng hàm mục tiêu ………………………………………………………..59
2.3.2.2. Xây dựng bộ phân loại yếu ……………………………………………………60
2.2.2.3. Độ phức tạp thuật toán ………………………………………………………….63
2.4. THỬ NGHIỆM VÀ KẾT QUẢ …………………………………………………………65
2.4.1. Phương pháp thử nghiệm …………………………………………………………….65
2.4.2. Dữ liệu thử nghiệm …………………………………………………………………….65
2.4.3. So sánh và đánh giá dựa vào giá trị MAE …………………………………….67
2.4.4. Kết quả thử nghiệm …………………………………………………………………….67
2.4.5. Phân tích kết quả ………………………………………………………………………..69
2.5. KẾT LUẬN ……………………………………………………………………………………..72
CHƯƠNG 3. LỌC KẾT HỢP DỰA TRÊN MÔ HÌNH ĐỒ THỊ ……………………….
3.1. VẤN ĐỀ LỌC KẾT HỢP ………………………………………………………………….73
3.2. LỌC CỘNG TÁC DỰA TRÊN MÔ HÌNH ĐỒ THỊ …………………………..75
3.2.1. Phương pháp biểu diễn đồ thị ………………………………………………………75
3.2.2. Phương pháp dự đoán trên đồ thị Người dùng- Sản phẩm ……………..76
3.2.2.1. Tách đồ thị Người dùng- Sản phẩm thành các đồ thị con ……………78
3.2.2.2. Phương pháp dư ̣đoán trên đồ thi ̣ G
+
………………………………………….80
3.2.2.3. Phương pháp dư ̣đoán trên đồ thi ̣ G

………………………………………….83
5
3.2.2.4. Phương pháp dư ̣đoán theo tất cả đánh giá …………………………………85
3.3. KẾT HỢP LỌC CỘNG TÁC VÀ LỌC NỘI DUNG …………………………..88
3.3.1. Biểu diễn đồ thị kết hợp ………………………………………………………………88
3.3.2. Xây dựng liên kết người dùng và nội dung sản phẩm ……………………91
3.3.3. Phương pháp dự đoán …………………………………………………………………95
3.3.3.1. Lọc cộng tác dựa trên mô hình đồ thị kết hợp …………………………95
3.3.3.2. Lọc nội dung dựa trên mô hình đồ thị kết hợp ………………………..95
3.3.3.3. Phương pháp lọc kết hợp đơn giản …………………………………………96
3.3.3.4. Phương pháp kết hợp đề xuất ………………………………………………..96
3.3.4. Thuật toán lan truyền mạng ……………………………………………………… 102
3.4. THỬ NGHIỆM VÀ KẾT QUẢ ……………………………………………………… 103
3.4.1. Dữ liệu thử nghiệm …………………………………………………………………. 104
3.4.2. Phương pháp thử nghiệm …………………………………………………………. 105
3.4.3. So sánh và đánh giá dựa vào Precision, Recall và F-measure ……… 105
3.4.4. Phân tích kết quả …………………………………………………………………….. 107
3.4.5. Trường hợp dữ liệu thưa ………………………………………………………….. 110
3.5. KẾT LUẬN ………………………………………………………………………………….. 111
KẾT LUẬN …………………………………………………………………………………………. 113
DANH MỤC CÁC CÔNG TRÌNH CÔNG BỐ ……………………………………… 116
TÀI LIỆU THAM KHẢO (TIẾNG VIỆT):……………………………………………. 117
TÀI LIỆU THAM KHẢO (TIẾNG ANH): ……………………………………………. 117
PHỤ LỤC 1 XÂY DỰNG HỆ THỐNG TƯ VẤN LỰA CHỌN PHIM DỰA
TRÊN MÔ HÌNH ĐỒ THỊ KẾT HỢP ……………………………………………………….. 127

6
DANH MỤC CÁC CHỮ VIẾT TẮT
KÝ HIỆU DIỄN GIẢI
AM Aspect Model (Mô hình định hướng)
AU Active User (Người dùng hiện thời)
CBF Content-Based Filtering (Lọc dựa trên nội dung)
CF Collaborative Filtering (Lọc cộng tác)
DAC Data Analyser Component (Thành phần phân tích dữ liệu)
DBC Data-Based Concept (Nguyên lý dựa vào dữ liệu)
DF Degree of Freedom (Số bậc tự do)
EM Expectation Maximization (Cực đại kỳ vọng)
FC Filtering Component (Thành phần lọc)
FMM Flexible Mixture Model (Mô hình pha trộn linh hoạt)
IBL Instance-Based Learning (Học dựa trên ví dụ)
IDF Inverse Document Frequency (Tần suất xuất hiện ngược)
IE Information Extraction (Tách thông tin )
IF Information Filtering (Lọc thông tin)
IO Information Overload (Quá tải thông tin )
IR Information Retrieval (Truy vấn thông tin)
KNN K Neareast Neighbor (K người láng giềng gần nhất)
KPC
KNN Pearson Correlation (Phương pháp K người láng giềng gần
nhất dựa trên độ tương quan Pearson)
LC Learning Component (Thành phần học)
LL Lazy Learning (Học lười)
LSE Least Square Estimation (Ước lượng bình phương tối thiểu)
LSM Latent Semantic Model (Mô hình ngữ nghĩa ẩn)
MAE Mean Absolute Error (Trung bình giá trị tuyệt đối lỗi)
MBF Memory-Based Filtering (Lọc dựa vào bộ nhớ)
MC Multiclass Classification (Phân loại nhiều lớp)
MDBF Model-Based Filtering (Lọc dựa vào mô hình)
ML Machine Learning (Học máy)
MM Multinomial Model (Mô hình đa thức)
7
MMM Multinomial Mixture Model (Mô hình pha trộn đa thức)
MTL Multi Task Learning (Học đa nhiệm)
PCA Principal Components Analysis (Phân tích thành phần chính)
RS Recommender System (Hệ thống tư vấn)
SD Standard Deviation (Độ lệch chuẩn)
SDP Sparsity Data Problem (Vấn đề dữ liệu thưa)
SE Standard Error (Lỗi chuẩn)
STL Single Task Learning (Phương pháp học đơn lẻ)
SVD Singular Value Decomposition (Phân ra ̃giá trị riêng )
SVM Support Vector Machine (Máy hỗ trợ véctơ )
TF Term Frequency (Tần suất)
UMC User-Model Component (Thành phần mô hình người dùng)
URP User Rating Profile (Hồ sơ đánh giá người dùng )

8
DANH MỤC CÁC HÌNH
Hình 1.1. Kiến trúc tổng quát của hệ thống lọc thông tin. …………………………….. 17
Hình 1.2. Các thành phần của hệ thống lọc cộng tác ……………………………………. 31
Hình 2.1. Thuật toán GentleBoost. ……………………………………………………………… 52
Hình 2.2. Phương pháp STL cho bốn bài toán phân loại độc lập nhau. ………….. 58
Hình 2.3. Phương pháp học MTL cho bốn bài toán phân loại đồng thời ………… 58
Hình 2.4. Thuật toán MC-Boost cải tiến sử dụng đặc trưng chung cho nhiều bài
toán. ………………………………………………………………………………………………………….. 62
Hình 2.5. Phương pháp duyệt tập con các bài toán phân loại ………………………… 64
Hình 3.1. Đồ thị Người dùng- Sản phẩm …………………………………………………….. 76
Hình 3.2. Đồ thị G
+
biểu diễn các đánh giá thích hợp …………………………………… 79
Hình 3.3. Đồ thị G

biểu diễn các đánh giá không thích hợp. ………………………… 80
Hình 3.4. Thuật toán dự đoán trên đồ thi ̣ G
+
………………………………………………… 81
Hình 3.5. Thuật toán dự đoán trên đồ thi ̣ G

………………………………………………… 84
Hình 3.6. Thuật toán dự đoán trên tất cả đánh giá ………………………………………… 86
Hình 3.7. Đồ thị kết hợp người dùng và nội dung sản phẩm …………………………. 90
Hình 3.8. Đồ thị thiết lập liên kết giữa người dùng và đặc trưng nội dung …….. 94
Hình 3.9. Thuật toán dự đoán trên đồ thị kết hợp …………………………………………. 99
Hình 3.10. Thuật toán lan truyền mạng ……………………………………………………… 103
Hình 3.11. Giá trị F-Measure ở các mức độ thưa thớt dữ liệu. …………………….. 111

9

DANH MỤC CÁC BẢNG
Bảng 1.1. Phân loại các phương pháp tư vấn và một số nghiên cứu điển hình … 23
Bảng 1.2. Ví dụ về ma trận đánh giá của lọc cộng tác …………………………………… 31
Bảng 2.1. Ma trận đánh giá người dùng ……………………………………………………….. 45
Bảng 2.2. Ma trận đầu vào của lọc cộng tác …………………………………………………. 49
Bảng 2.3. Ma trận đầu vào bài toán phân loại theo người dùng ……………………… 50
Bảng 2.4. Ma trận đầu vào bài toán phân loại theo sản phẩm ………………………… 50
Bảng 2.5. Kết quả thử nghiệm với MovieLens …………………………………………….. 68
Bảng 2.6. Kết quả thử nghiệm với EachMovie …………………………………………….. 68
Bảng 2.7. Các tham số thống kê với K=5 đánh giá biết trước ………………………… 70
của tập dữ liệu MovieLens ………………………………………………………………………….. 70
Bảng 2.8. Các tham số thống kê với K=10 đánh giá biết trước………………………. 70
của tập dữ liệu MovieLens ………………………………………………………………………….. 70
Bảng 2.9. Các tham số thống kê với K=20 đánh giá biết trước………………………. 71
của tập dữ liệu MovieLens ………………………………………………………………………….. 71
Bảng 2.10. Các tham số thống kê với K=5 đánh giá biết trước………………………. 71
của tập dữ liệu EachMovie …………………………………………………………………………. 71
Bảng 2.11. Các tham số thống kê với K=10 đánh giá biết trước ……………………. 71
của tập dữ liệu EachMovie …………………………………………………………………………. 71
Bảng 2.12. Các tham số thống kê với K=20 đánh giá biết trước ……………………. 72
của tập dữ liệu EachMovie …………………………………………………………………………. 72
Bảng 3.1. Ma trận đánh giá R ……………………………………………………………………… 74
Bảng 3.2. Ma trận Sản phẩm – Nội dung Y ………………………………………………….. 74
Bảng 3.3. Ma trận X biểu diễn đánh đồ thị Người dùng- Sản phẩm ………………. 76
Bảng 3.4. Ma trận X
+
biểu diễn các đánh giá thích hợp …………………………………. 79
Bảng 3.5. Ma trận X

biểu diễn các đánh giá không thích hợp ………………………. 80
Bảng 3.6. Ma trận đánh giá R ……………………………………………………………………… 89
Bảng 3.7. Ma trận Người dùng- Sản phẩm X ……………………………………………….. 89
10
Bảng 3.8. Ma trận Sản phẩm- Nội dung Y …………………………………………………… 90
Bảng 3.9. Giá trị Precision, Recall, F-Measure kiểm nghiệm trên tập
MovieLens1 …………………………………………………………………………………………….. 106
Bảng 3.10. Giá trị Precision, Recall, F-Measure kiểm nghiệm trên tập
MovieLens2 …………………………………………………………………………………………….. 107
Bảng 3.11. Kết quả kiểm nghiệm paired t-test với K=10 sản phẩm cần tư vấn ……
trên tập MovileLens1 ……………………………………………………………………………….. 108
Bảng 3.12. Kết quả kiểm nghiệm paired t-test với K=20 sản phẩm cần tư vấn ……
trên tập MovileLens1 ……………………………………………………………………………….. 109
Bảng 3.13. Kết quả kiểm nghiệm paired t-test với K=50 sản phẩm cần tư vấn ……
trên tập MovieLens1…………………………………………………………………………………. 109
Bảng 3.14. Kết quả kiểm nghiệm paired t-test với K=10 sản phẩm cần tư vấn ……
trên tập MovileLens2 ……………………………………………………………………………….. 109
Bảng 3.15. Kết quả kiểm nghiệm paired t-test với K=20 sản phẩm cần tư vấn ……
trên tập MovileLens2 ……………………………………………………………………………….. 110
Bảng 3.16. Kết quả kiểm nghiệm paired t-test với K=50 sản phẩm cần tư vấn ……
trên tập MovileLens2 ……………………………………………………………………………….. 110

11
PHẦN MỞ ĐẦU
1. Tính cấp thiết của luận án
Vấn đề quá tải thông tin (Information Overload) được J.Denning nêu ra
lần đầu tiên vào năm 1982 [49]. Với những lý lẽ và bằng chứng thuyết phục,
Denning khẳng định khả năng lựa chọn thông tin hữu ích của người dùng máy
tính sẽ gặp khó khăn nghiêm trọng bởi sự gia tăng không ngừng lượng thông tin
khổng lồ đến từ hàng trăm kênh truyền hình, hàng triệu băng hình, sách, báo, tạp
chí, tài liệu thông qua các hệ thống giao dịch điện tử. Vấn đề Denning công bố
ngay lập tức được cộng đồng các nhà khoa học máy tính nhiệt tình hưởng ứng và
tập trung nghiên cứu phương pháp hạn chế ảnh hưởng của vấn đề quá tải thông tin
đối với người dùng, thúc đẩy một lĩnh vực nghiên cứu mới đó là lọc thông tin.
Lọc thông tin (Information Filtering) là lĩnh vực nghiên cứu các quá trình
lọc bỏ những thông tin không thích hợp và cung cấp thông tin t hích hợp đến với
mỗi người dùng. Lọc thông tin được xem là phương pháp hiệu quả hạn chế tình
trạng quá tải thông tin được quan tâm nhiều nhất hiện nay.
Lọc thông tin được tiếp cận theo hai xu hướng chính, đó là lọc dựa trên tri
thức và lọc dựa trên dữ liệu. Trong trường hợp dựa vào tri thức, hệ thống thực
hiện lọc thông tin bằng cách sử dụng tập luật xây dựng trước. Nhược điểm của
phương pháp này là để có được một tập luật đủ tốt đòi hỏi chi phí nhiều thời gian
và kinh nghiệm của chuyên gia; việc cập nhật các luật không thể thực hiện được
tự động vì nguồn dữ liệu vào thường không có cấu trúc và luôn trong trạng thái
biến động. Chính vì vậy, lọc dựa trên tri thức có xu hướng ít được sử dụng.
Đối với các hệ thống lọc dựa trên dữ liệu, các quy tắc lọc được xây dựng từ
dữ liệu mà hệ thống thu thập được bằng các kỹ thuật thống kê hoặc các thuật toán
học máy. Cách tiếp cận này cho phép tự động cập nhật các quy tắc lọc và không
lệ thuộc vào tri thức chuyên gia. Hệ thống lọc dựa trên dữ liệu có khả năng thích
nghi cao và tận dụng được nguồn dữ liệu. Chính vì vậy, cách tiếp cận này được
quan tâm nghiên cứu hơn so với phương pháp dựa vào tri thức.
12
Hệ tư vấn (Recommender System) là hệ thống có khả năng tự động phân
tích, phân loại, lựa chọn và cung cấp cho người dùng những thông tin, hàng hóa
hay dịch vụ mà họ quan tâm. Hệ tư vấn được xem như một biến thể điển hình có
vai trò quan trọng trong lọc thông tin. Nhiều hệ tư vấn đã được thương mại hóa và
triển khai thành công, tiêu biểu là hệ tư vấn của các hãng Amazon.com,
Netflix.com, Procter & Gamble.
Hệ tư vấn được xây dựng dựa trên hai kỹ thuật lọc thông tin chính: Lọc
theo nội dung (Content-Based Filtering) và lọc cộng tác (Collaborative Filtering).
Lọc theo nội dung khai thác những khía cạnh liên quan đến nội dung thông tin sản
phẩm người dùng đã từng sử dụng hay truy nhập trong quá khứ để tạo nên tư vấn.
Trái lại, lọc cộng tác khai thác những khía cạnh liên quan đến thói quen sử dụng
sản phẩm của cộng đồng người dùng có cùng sở thích để tạo nên tư vấn.
Trong quá trình nghiên cứu và ứng dụng, bên cạnh những vấn đề chung
của bài toán lọc thông tin thông thường, xuất hiện một số vấn đề mang tính đặc
thù đối với thông tin tư vấn như tính thưa thớt dữ liệu huấn luyện, xử lý người
dùng mới, hàng hóa mới, yêu cầu kết hợp các dạng thông tin khác nhau, làm việc
với dữ liệu kích thước lớn được cập nhật thường xuyên. Mặc dù đã có nhiều
nghiên cứu nhắm tới nội dung này, nhưng đây vẫn là những vấn đề nghiên cứu
mở, có tính thời sự và thu hút sự qua tâm của cộng đồng nghiên cứu.
Đề tài ―Phát triển một số phương pháp lọc thông tin cho hệ tư vấn‖ được
thực hiện trong khuôn khổ luận án tiến sĩ chuyên ngành khoa học máy tính nhằm
góp phần giải quyết một số vấn đề còn tồn tại của lọc thông tin cho các hệ tư vấn.
2. Mục tiêu của luận án
Mục tiêu của luận án là nghiên cứu áp dụng, cải tiến một số kỹ thuật học
máy nhằm cải thiện độ chính xác của lọc thông tin trong các hệ tư vấn. Đặc biệt,
nghiên cứu tập trung vào việc nâng cao kết quả dự đoán nhu cầu người dùng
trong trường hợp dữ liệu thưa, cũng như trong trường hợp có cả dữ liệu sở thích
người dùng và thông tin nội dung sản phẩm.

13
3. Các đóng góp của luận án
Đóng góp thứ nhất của luận án là đề xuất áp dụng một kỹ thuật Boosting
cải tiến cho nhiều bài toán phân loại vào lọc cộng tác [3, 81], bao gồm:
– Đề xuất phương pháp giải quyết bài toán lọc cộng tác bằng kỹ thuật
Boosting dựa trên biểu diễn dữ liệu phù hợp cho bài toán phân loại của
học máy;
– Áp dụng kỹ thuật Boosting cải tiến cho nhiều bài toán phân loại bằng
phương pháp học đa nhiệm dựa trên gốc quyết định (Decision Stump) cho
lọc cộng tác nhằm hạn chế ảnh hưởng của vấn đề dữ liệu thưa;
– Thử nghiệm và đánh giá kết quả phương pháp cải tiến, đặc biệt chú trọng
đánh giá kết quả dự đoán trong trường hợp dữ liệu thưa của lọc cộng tác.
Hầu hết các phương pháp học máy cho lọc cộng tác hiện nay đều thực hiện
những nhiệm vụ học đơn lẻ (Single Task Learning) với giả thiết dữ liệu huấn
luyện và dữ liệu kiểm tra được mô tả trong cùng một không gian các giá trị đặc
trưng với cùng một phân bố. Khi phân bố thay đổi, tập dữ liệu huấn luyện và dữ
liệu kiểm tra phải xây dựng lại. Trên thực tế, việc làm này không phải lúc nào
cũng thực hiện được làm cho kết quả dự đoán các phương pháp kém tin cậy.
Mặt khác, tại mỗi thời điểm, phương pháp chỉ thực hiện một nhiệm vụ đơn
lẻ, kết quả của mỗi nhiệm vụ cụ thể hoàn toàn độc lập với các nhiệm vụ khác.
Chính vì vậy, phương pháp tiếp cận này sẽ gặp khó khăn khi dữ liệu huấn luyện
thưa thớt. Để giải quyết vấn đề này, luận án đề xuất áp dụng phương pháp học đa
nhiệm (Multi-Task Learning) cho lọc cộng tác nhằm sử dụng tập thông tin chung
giữa các nhiệm vụ học đơn lẻ. Tập thông tin chung tìm được đóng vai trò chia sẻ
và bổ sung thông tin vào quá trình huấn luyện cho mỗi người dùng khác nhau,
góp phần nâng cao kết quả dự đoán và hạn chế được ảnh hưởng của tình trạng dữ
liệu thưa trong lọc cộng tác.

14
Đóng góp thứ hai của luận án là đề xuất một phương pháp lọc kết hợp dựa
trên mô hình đồ thị [2, 80], bao gồm:
– Biểu diễn mối liên hệ giữa các đối tượng tham gia hệ thống lọc (Người
dùng, sản phẩm và nội dung sản phẩm) dựa vào mô hình đồ thị;
– Xây dựng phương pháp dự đoán cho lọc cộng tác dựa trên mô hình đồ thị.
– Xây dựng phương pháp trích chọn đặc trưng nội dung sản phẩm dựa trên
thói quen sử dụng sản phẩm của người dùng;
– Cá nhân hóa ảnh hưởng của các đặc trưng nội dung đối với thói quen sử
dụng sản phẩm của người dùng;
– Áp dụng thuật toán lan truyền mạng trên đồ thị kết hợp để dự đoán, phân
bổ các sản phẩm cho mỗi người dùng;
– Thử nghiệm và đánh giá kết quả phương pháp đề xuất.
Để tận dụng lợi thế của mỗi phương pháp lọc, luận án đề xuất phương pháp
kết hợp giữa lọc cộng tác và lọc nội dung dựa trên biểu diễn đồ thị các đối tượng
tham gia quá trình lọc, bao gồm: người dùng, sản phẩm, đánh giá người dùng và
nội dung sản phẩm.
Để tránh những hạn chế của các phương pháp lọc kết hợp trước đây (phương
pháp trích chọn đặc trưng nội dung chỉ dựa vào nội dung sản phẩm), luận án đề
xuất phương pháp trích chọn đặc trưng nội dung dựa vào thói quen người dùng
đối với sản phẩm. Dựa trên phương pháp này, những đặc trưng nội dung được
xem là quan trọng với mỗi người dùng được giữ lại để phục vụ mục tiêu dự đoán.
Việc tìm ra những đặc trưng có ảnh hưởng quan trọng đến thói quen người dùng
không chỉ làm giảm chi phí tính toán của phương pháp (vì số lượng các đặc trưng
nội dung quan trọng đối với mỗi người dùng còn lại rất ít), mà còn loại bỏ được
những đặc trưng không ảnh hưởng hoặc ảnh hưởng không tốt đến thói quen sử
dụng sản phẩm của người dùng.
Phương pháp dự đoán được đưa về bài toán tìm kiếm trên đồ thị không chỉ
tận dụng được các thuật toán hiệu quả trên đồ thị mà còn tận dụng được mối liên
hệ gián tiếp giữa các đối tượng tham gia hệ thống.

Tác giả

Nguyễn Duy Phương

Nhà xuất bản

triển một số phương pháp lọc thông tin cho hệ tư vấn : Luận án TS. Công nghệ thông tin: 62 48 01 01

Năm xuất bản

2011

Người hướng dẫn

Từ Minh Phương, Đinh Mạnh Tường

Định danh

00050000412

Kiểu

text

Định dạng

text/pdf

Nhà xuất bản

Khoa công nghệ thông tin,

Trường đại học Công nghệ

Các đánh giá

Hiện chưa có đánh giá cho sản phẩm.

Hãy là người đầu tiên đánh giá “Phát triển một số phương pháp lọc thông tin cho hệ tư vấn”

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *