Phương pháp xây dựng hệ thống gợi ý sản phẩm sử dụng phản hồi tiềm ẩn

từ người dùng như minh họa trong hình 7. Huấn luyện lại mô hình gợi ý: Chúng tôi cũng xây dựng công cụ hỗ trợ admin huấn luyện lại toàn bộ mô hình gợi ý sau một thời gian sử dụng như minh họa trong Hình 8. Ngoài ra còn rất nhiều tính năng khác như quản lý khách hàng, giỏ hàng, thanh toán, tương tự như bất kỳ một hệ thống thương mại điện tử nào khác. Lưu Nguyễn Anh Thư, Nguyễn Thái Nghe Hình 5. Sơ Hình 6. Lược đồ use case của đồ cơ sở dữ liệ khách hàng u của hệ thống 607 6B p a T k 08 . Đánh giá Chúng hẩm và 637 đ . So sánh kế Kết quả hực nghiệm c ể (chỉ có 0.18 kết quả của c tôi thu thập th ánh giá (số lần t quả sử dụng kiểm tra dùn ho thấy rõ ràn 78 trong khi c Stt l Tru PHƯ ác mô hình d ông tin phản mua lớn nhấ thông tin ph g độ đo MA g rằng khi sử hỉ sử dụng mộ B ần kiểm tra 1 2 3 4 5 6 7 8 9 10 ng bình ƠNG PHÁP XÂ ự đoán hồi từ người t là 4, số lần x ản hồi tiềm ẩn E cho các mô dụng kết hợp t thông tin ph ảng 1. So sánh uir1ˆ 0.43 0.43 0.43 0.42 0.43 0.43 0.43 0.43 0.43 0.44 0.40 Hình 7. Gợi Y DỰNG HỆ TH dùng thực, tậ em sản phẩm hình ở công cả 2 thông tin ản hồi độ lỗi l tỉ lệ lỗi MAE 06 0 99 0 73 0 84 0 49 0 86 0 17 0 17 0 65 0 70 0 87 0 ý sản phẩm ch ỐNG GỢI Ý SẢ p dữ liệu thu lớn nhất là 12 thức (13), (14 phản hồi từ ần lượt là 0.40 của các mô hìn uir2ˆ .3533 .3365 .3466 .3416 .3424 .3431 .3553 .3519 .3486 .3453 .3464 o khách hàng N PHẨM SỬ D được gồm 1 .25). ), (15) được người dùng, đ 87 và 0.3464) h uirˆ 0.1848 0.1922 0.1873 0.1917 0.1942 0.1883 0.1864 0.1837 0.1829 0.1869 0.1878 ỤNG PHẢN HỒ 86 người dùn trình bày tron ộ lỗi MAE giả I TIỀM ẨN g, 174 sản g Bảng 1. m đi đáng Lb p [ li h đ tr lỗ 1 ưu Nguyễn Anh . So sánh kết Kết quả hản hồi tiềm 2][7] như min Bên cạn ệu benchmark ttp://www.rec ược thu thập ên độ đo lỗi M i thấp hơn cá Thư, Nguyễn Th quả với các g so sánh trên ẩn, tỷ lệ lỗi cũ h họa trong H Hình 9. Độ lỗi h đó, chúng t cung cấp bở syswiki.com/w dữ liệu bán hà AE và RMS c phương pháp erflow.com/q ái Nghe Hìn iải thuật nền độ đo chuẩn M ng thấp hơn ình 9. MAE của các ôi cũng so sán i cộng đồng iki/Grocery_ ng trong thán E được trình b baseline khá Hình 10. Độ lỗ uestions/250 h 8. Giao diện (baseline) khá ean Absolut các phương p giải thuật dự đo h phương phá người dùng n shopping_dat g 12 năm 20 ày trong Hìn c. i MAE và RM 14904/downlo hỗ trợ huấn luy c e Error (MAE háp nền khác án trên tập dữ p sử dụng phả ghiên cứu về asets. Chúng 00, bao gồm 1 h 10. Kết quả SE của các giải ad-link-for-ta ện lại các mô h ) cho khi sử d như: Global A liệu thu thập từ n hồi tiềm ẩn hệ thống gợi tôi sử dụng tậ 5447 users, 1 này cũng cho thuật trên tập d -feng-grocery ình ụng phương verage, User người dùng thự với các phươ ý, các tập dữ p dữ liệu Ta- 780 items, và thấy sử dụng ữ liệu Ta-Feng -dataset pháp dành ch Average, Item c của hệ thống ng pháp khác liệu này có Feng1 có tên 178216 rating phản hồi tiềm 609 o thông tin Average trên tập dữ tại địa chỉ là D12, đã s. Kết quả ẩn cho độ 610 PHƯƠNG PHÁP XÂY DỰNG HỆ THỐNG GỢI Ý SẢN PHẨM SỬ DỤNG PHẢN HỒI TIỀM ẨN c. Đánh giá hiệu quả của hệ thống gợi ý sản phẩm cho người dùng Ngoài việc đánh giá độ chính xác của các dự đoán theo độ đo lỗi như trên, chúng tôi cũng đánh giá hiệu quả của việc gợi ý xem nó có phù hợp cho mỗi người dùng hay không. Gợi ý được xem là phù hợp khi người dùng có chọn sản phẩm từ danh sách những sản phẩm đã được gợi ý cho họ, dựa theo mô tả trong tài liệu [9]. Để thực hiện điều đó, chúng tôi tiến hành kiểm tra kết quả dự đoán Top-K sản phẩm cho người dùng trên tập dữ liệu thu được. Quá trình được thực hiện theo các bước: • Tạo tập dữ liệu train và test theo từng user. Với mỗi user chọn 70% dữ liệu cho train, 30% còn lại dùng để test. • Tiến hành huấn luyện mô hình trên tập dữ liệu train đã tạo. • Dự đoán cho từng user trên tất cả các item không có trong tập train. Lấy Top-K (K=15) sản phẩm có giá trị dự đoán cao nhất để kiểm tra, so sánh các giá trị này với tập dữ liệu test. Với mỗi lần gợi ý Top-K như thế, nếu các item này có trong tập test của user tương ứng, xem như lần gợi ý đó là phù hợp. • Lặp lại cho tất cả các user được chọn thử nghiệm. Do hệ thống mới chỉ cài đặt, lượng user thực chưa nhiều nên chúng tôi chọn ngẫu nhiên 5 user để thử nghiệm, dữ liệu minh họa trong Bảng 2 sau: Bảng 2. Thống kê số lượng đánh giá của các user dùng kiểm tra độ chính xác gợi ý hệ thống User Tổng số đánh giá Số đánh giá dùng để train Số đánh giá dùng để test User 21 43 32 11 User 22 34 24 10 User 46 11 8 3 User 48 7 5 2 User 56 6 4 2 Bảng 3. Thống kê số sản phẩm dự đoán của các user trong Top-15 có xuất hiện trong tập test qua các lần dự đoán STT lần test User 21 User 22 User 46 User 48 User 56 Số sp Mã sp Số sp Mã sp Số sp Mã sp Số sp Mã sp Số sp Mã sp 1 2 134, 164 1 38 1 130 0 0 2 2 134, 144 2 38, 70 1 130 1 33 0 3 3 134,144, 164 22 38 1 30 0 0 4 2 134,164 2 35, 38 1 130 0 0 5 1 164 0 1 130 0 0 6 1 164 1 38 1 130 0 0 7 2 134, 164 1 158 2 130, 105 1 33 0 8 1 134 0 1 130 1 33 0 9 2 134, 164 1 38 1 130 0 0 10 0 1 38 1 130 0 0 TB 90% 80% 100% 30% 0% Thử nghiệm trên 10 lần chạy, với mỗi lần lấy Top-15 sản phẩm dự đoán để kiểm tra trong tập test, kết quả trình bày như trong Bảng 3. Trong bảng này, mỗi cột là một người dùng, mỗi hàng là kết quả thống kê số lượng sản phẩm gợi ý trong Top-15 có xuất hiện trong tập test với các mã sản phẩm cụ thể qua một lần chạy kiểm tra của từng người dùng. Ví dụ: ở lần kiểm tra thứ nhất, các sản phẩm được gợi ý cho user 21 có xuất hiện trong tập test là 2 sản phẩm với mã sản phẩm cụ thể 134, 164. Như vậy, trong lần gợi ý này, user 21 nhận có sản phẩm phù hợp (chính xác) với sở thích của mình. Lặp lại tương tự cho các user khác. Từ kết quả này, chúng tôi thấy rằng độ chính xác của kết quả gợi ý qua mỗi lần kiểm tra khá cao đối với các người dùng là thành viên thường xuyên của hệ thống và số lượng đánh giá sản phẩm nhiều. Trong bảng thống kê này có 5 người dùng trong đó có 3 người dùng (user 21, user 22, user 46) là khách hàng thường xuyên đến hệ thống có đăng ký tài khoản và số lượng đánh số sản phẩm nhiều nên độ chính xác cao. Có 2 người dùng (user 48, user 56) là khách hàng vãng lai được ghi nhận bằng địa chỉ IP khi truy cập, họ chỉ đến hệ thống một lần do vậy chưa đủ thông tin để mô hình cho kết quả dự đoán tốt. VI. KẾT LUẬN Bài viết này đã đề xuất một giải pháp xây dựng hệ thống gợi ý sản phẩm trong bán hàng trực tuyến dựa trên phản hồi tiềm ẩn của người dùng. Trước hết chúng tôi đề xuất phương pháp thu thập thông tin phản hồi tiềm ẩn, sau đó Lưu Nguyễn Anh Thư, Nguyễn Thái Nghe 611 đề xuất phương pháp sử dụng các thông tin này, đồng thời cài đặt các mô hình, điều chỉnh và tích hợp vào hệ thống nhằm gợi ý các sản phẩm phù hợp với sở thích của người dùng. Để đánh giá phương pháp đã được đề xuất, chúng tôi đã xây dựng hệ thống và thu thập phản hồi từ người dùng thực. Kết quả thực nghiệm cho thấy giải pháp tích hợp các thông tin phản hồi tiềm ẩn cho độ lỗi thấp hơn chỉ sử dụng một thông tin đơn lẻ như trong các hệ thống gợi ý khác, đồng thời khả năng mà hệ thống gợi ý phù hợp với sở thích của từng đối tượng người dùng là khá tốt, vì vậy giải pháp được đề xuất hoàn toàn có thể ứng dụng cho các trang web bán hàng trực tuyến hiện nay. VII. TÀI LIỆU THAM KHẢO [1] Li Chen, Guanliang Chen, and Feng Wang. 2015. Recommender systems based on user reviews: the state of the art. User Modeling and User-Adapted Interaction 25, 2 (June 2015), 99-154. DOI=10.1007/s11257-015-9155-5 [2] Ricci, F., Rokach, L., Shapira, B. & Kantor, P.B., eds. (2011). Recommender Systems Handbook. Springer. [3] Yehuda Koren. 2008. Factorization meets the neighborhood: a multifaceted collaborative filtering model. In Proceedings of the 14th ACM SIGKDD international conference on Knowledge discovery and data mining (KDD '08). ACM, New York, NY, USA, 426-434. DOI=10.1145/1401890.1401944 [4] Y. Hu, Y. Koren, and C. Volinsky. Collaborative filtering for implicit feedback datasets. In IEEE International Conference on Data Mining (ICDM 2008), pages 263-272, 2008. [5] Koren, Y., Bell, R., Volinsky, C.: Matrix factorization techniques for recommender systems. IEEE Computer Society Press, 42(8), pp 30-37, 2009. [6] Nguyễn Hùng Dũng và Nguyễn Thái Nghe. 2014. Hệ thống gợi ý sản phẩm trong bán hàng trực tuyến sử dụng kỹ thuật lọc cộng tác. Tạp chí Khoa học Trường Đại học Cần Thơ, số 31a (2014), trang 36-51. ISSN: 1859-2333. [7] Nguyen Thai-Nghe. 2013. An introduction to factorization technique for building recommendation systems. Vol. 6/2013, pp. 44-53, Journal of Science - University of Da Lat, ISSN 0866-787X [8] Thai-Nghe, N., Drumond, L., Krohn-Grimberghe, A., and Schmidt-Thieme, L.(2010a). Recommender system for predicting student performance. In Proceedings of the 1st Workshop on Recommender Systems for Technology Enhanced Learning (RecSysTEL 2010), volume 1, pages 2811–2819. Elsevier’s Procedia CS. [9] Guy Shani and Asela Gunawardana. Evaluating Recommendation Systems. November 2009. [10] Rendle, S., Freudenthaler, C., Gantner, Z., Lars, S. T.: Bpr: Bayesian personalized ranking from implicit feedback. In: Proceedings of the 25th Conference on Uncertainty in Articial Intelligence, AUAI Press (2009). [11] Takacs, G., Pilaszy, I., Nemeth, B., & Tikk, D. (2009). Scalable collaborative filtering approaches for large recommender systems (special topic on mining and learning with graphs and relations). Journal of Machine Learning Research, 10, 623-656. [12] Thomas G. Dietterich, Ensemble Methods in Machine Learning. Lecture Notes in Computer Science Volume 1857, 2000, pp 1-15. Springer. [13] Su, X. & Khoshgoftaar, T. M. A survey of collaborative filtering techniques. Advances in Artificial Intelligence, (4) 1-19, 2009. [14] Zeno Gantner, Steffen Rendle, Christoph Freudenthaler, and Lars Schmidt-Thieme. 2011. MyMediaLite: a free recommender system library. In Proceedings of the fifth ACM conference on Recommender systems (RecSys '11). ACM, New York, NY, USA, 305-308. DOI=10.1145/2043932.2043989 A METHOD FOR BUILDING A PRODUCT RECOMMENDATION SYSTEM USING IMPLICIT FEEDBACKS Lưu Nguyễn Anh Thư, Nguyễn Thái Nghe Abstract: Recommender Systems are widely used in many areas such as entertainment, education, science, especially e-commerce. Integrating recommender system techniques to online shopping systems to recommend suitable products to users is really useful and necessary. In this work, we propose an approach for building an online shopping system with integrating recommender system technique, especially using implicit feedbacks from the users. For building the system, first we propose a method to collect the users’ implicit feedbacks. Then, we propose an ensemble method which combine several extended matrix factorization models which are specialized for those implicit feedbacks. Next, we analyze, design, and implement an online system to integrate the aforementioned recommendation techniques. After having the system, we collect the feedbacks from the real users to validate the proposed approach. Results show that this approach is feasible and can be applied for the real systems. Keywords: Recommender systems, product recommendation, implicit feedback, matrix factorization