Một số giải pháp tối ưu tập luật mờ TSK trích xuất từ máy học véctơ hỗ trợ hồi quy

Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XI về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR); Hà Nội, ngày 09-10/8/2018 DOI: 10.15625/vap.2018.00045 MỘT SỐ GIẢI PHÁP TỐI ƯU TẬP LUẬT MỜ TSK TRÍCH XUẤT TỪ MÁY HỌC VÉCTƠ HỖ TRỢ HỒI QUY Nguyễn Đức Hiển, Lê Mạnh Thạnh Khoa Công nghệ thông tin, Trường Đại học Khoa học, Đại học Huế hiencit@gmail.com, lmthanh@hueuni.edu.vn TÓM TẮT: Trích xuất tập luật mờ TSK (Takagi-Sugeno-Kang) từ máy học véctơ hỗ trợ là một trong những hướng tiếp cận để xây đựng mô hình mờ cho các bài toán dự đoán, dự báo. Những nghiên cứu trước đây theo hướng tiếp cận này cho thấy mô hình mờ được huấn luyện tự động dựa trên tập dữ liệu đầu vào, dẫn đến những hạn chế chủ yếu như kích thước tập luật lớn, thiếu tính đặc trưng, thiếu tính bao phủ. Trong bài báo này, nhóm tác giả nghiên cứu đế xuất và thực nghiệm một số giải pháp nhằm rút gọn, tối ưu tập luật mờ TSK trích xuất được nhưng vẫn đảm bảo hiệu quả dự đoán, dự báo của mô mình. Từ khóa: Mô hình mờ TSK, Máy học véctơ hỗ trợ, Mô hình mờ hướng dữ liệu, Mô hình dự báo hồi quy. I. ĐẶT VẤN ĐỀ Mô hình mờ được biết đến như là một mô hình khá hiệu quả trong việc xử lý những thông tin mơ hồ và không chắc đó chắn; đồng thời nó cũng thể hiện những lợi thế rõ ràng trong việc biểu diễn và xử lý tri thức. Hoạt động của mô hình mờ phụ thuộc nhiều vào hệ thống các luật mờ và quá trình suy diễn trên tập luật mờ đó. Đã có nhiều tác giả nghiên cứu và đề xuất các phương thức để xây dựng các mô hình mờ hướng dữ liệu [3, 4, 5, 6, 7, 8, 9, 10]. Vấn đề trích xuất mô hình mờ từ máy học véctơ hỗ trợ (SVM - Support Vector Machine) được nhóm tác giả J. H Chiang và P. Y Hao nghiên cứu và công bố lần đầu tiên trong [3]. Một trong những vấn đề của máy học véctơ hỗ trợ là tính chính xác của mô hình thu được tỷ lệ thuận với số lượng support-vector (Sv) sinh ra; điều này đồng nghĩa với việc số lượng luật mờ của mô hình mờ trích xuất được sẽ tăng lên. Nói cách khác là khi tăng hiệu suất của mô hình thì đồng nghĩa với việc làm giảm tính “sáng sủa” (tính “có thể diến dịch được”) của mô hình. Như vậy, vấn đề đặt ra là làm thế nào có thể trích xuất được hệ thống mờ đảm bảo độ tin cậy của kết quả dự đoán, đồng thời hạn chế được số lượng luật mờ trong mô hình. Trong bài báo này, chúng tôi đề xuất kết hợp một số giải pháp để rút gọn tập luật mờ trích xuất được, đồng thời có thể đảm bảo được độ tin cậy của kết quả dự đoán dựa vào mô hình trích xuất được. Các phần tiếp theo của bài báo bao gồm: phần II trình bày sơ lược về sự tương đương của mô hình mờ TSK và máy học véctơ hỗ trợ làm cơ sở cho việc xây dựng thuật toán trích xuất mô hình mờ. Phần III giới thiệu thuật toán fm- SVM* cho phép trích xuất tập luật mờ rút gọn từ SVM, trong đó có tích hợp thuật toán phân cụm k-Means và một số giải pháp tối lựa chọn tham số tối ưu. Phần IV giới thiệu một mô hình thực nghiệm dự báo hồi quy, trong đó có kết hợp so sánh với một số kết quả của mô hình đề xuất trước đó. Cuối cùng, trong phần V chúng tôi nêu lên một số kết luận và định hướng nghiên cứu tiếp theo. II. TRÍCH XUẤT MÔ HÌNH MỜ TSK TỪ MÁY HỌC VÉCTƠ HỖ TRỢ Hệ thống mờ TSK bao gồm một tập các luật mờ “IF - THEN”, với phần kết luận của mỗi luật này là một hàm (không mờ) ánh xạ từ các tham số đầu vào tới tham số đầu ra của mô hình [3, 4, 5, 6, 10]. Giả sử có một hệ thống mờ TSK với m luật mờ được biểu diễn như sau: R୨: IF xଵ is Aଵ୨ and xଶ is Aଶ୨ and and x୬ is A୬୨ THEN z = g୨(xଵ, xଶ, , x୬) , với j = 1, 2, ,m (1) Trong đó x୧(i = 1, 2, . n) là các biến điều kiện; z là các biến quyết định của hệ thống mờ được xác định bởi hàm g୨(. ); A୧୨ là những thuật ngữ ngôn ngữ xác định bởi hàm thành viên tương ứng μ୅౟ౠ(x). Lưu ý, μ୅౟ౠ(x) là hàm thành viên mờ được xác định trên một véctơ nhiều chiều. Đầu ra của hệ thống mờ được tính toán như sau: f(x) = ∑ z୨ ቆμ୅ౠ (x)ቇ୫୨ୀଵ ∑ μ୅ౠ (x)୫୨ୀଵ (2) với μ୅ౠ (x) =ෑ μ୅౟ౠ(x୧) ୬ ୧ୀଵ (3) Nguyễn Đức Hiển, Lê Mạnh Thạnh 337 Trong đó, z୨ là giá trị đầu ra của hàm g୨(. ). Bên cạnh đó, với vai trò giải quyết vấn đề tối ưu hóa hồi quy, lý thuyết cơ bản của SVM có thể được vắn tắt như sau [2, 3, 6, 8]: Cho một tập dữ liệu huấn luyện ሼ(xଵ, yଵ), , (x୪, y୪)ሽ ⊂ ࣲ × ℝ, trong đó ࣲ xác định miền dữ liệu đầu vào. Với ε-Support Vector Regression, bài toán tối ưu hóa ràng buộc cần giải quyết là: min୵,ୠ,ஞ,ஞ∗ 1 2w ୘w + C෍(ξ୧ + ξ୧∗) ୪ ୧ୀଵ (4) Sao cho: (w୘.Φ(x୧) + b) − y୧ ≤ ε + ξ୧, y୧ − (w୘.Φ(x୧) + b) ≤ ε + ξ୧∗, với ξ୧, ξ୧∗ ≥ 0, và i = 1, 2, , l Trong đó, C là tham số chuẩn tắc, ε là sai số cho phép, ξ୧, ξ୧∗ là những biến lỏng, Φ(x) là hàm ánh xạ phi tuyến tính để tiền xử lý dữ liệu phí tuyến tính đầu vào bằng cách ánh xạ và không gian thuộc tính nhiều chiều ℱ. Và từ đó đưa đến việc giải bài toán Quadratic Programming: max஑,஑∗ ە ۖ ۔ ۖ ۓ−12෍൫α୧ − α୧ ∗)(α୨ − α୨∗൯(Φ(x୧)୘.Φ൫x୨൯) ௟ ௜,௝ − ε෍(α୧ + α୧∗) ୪ ୧ୀଵ − ෍y୧(α୧ + α୧∗) ୪ ୧ୀଵ (5) Sao cho: ෍(α୧ − α୧∗) ୪ ୧ୀଵ = 0, and C ≥ α୧, α୧∗ ≥ 0, i = 1, 2, , l Trong đó, α୧, α୧∗ là những nhân tử Lagrange. Véctơ w có dạng: w = ෍(α୧ − α୧∗). x୧ ୪ ୧ୀଵ (6) Và hàm quyết định là: f(x) =෍(α୧ − α୧∗) (Φ(x୧)୘.Φ൫x୨൯) ୪ ୧ୀଵ + b (7) Gọi K൫x୧, x୨൯ = Φ(x୧)୘.Φ൫x୨൯ là hàm nhân của không gian đầu vào; và hàm quyết định (7) được viết lại như sau: f(x) =෍(α୧ − α୧∗)K(x୧, x) ୪ ୧ୀଵ + b (8) Những điểm đầu vào x୧ với (α୧ − α୧∗) ≠ 0 được gọi là những véctơ hỗ trợ (SVs). Xét hàm đầu ra của mô hình mờ TSK (2) và hàm quyết định của mô hình máy học véctơ hồi quy (8). Để (2) và (8) đồng nhất với nhau, trước tiên chúng ta phải đồng nhất giữa hàm nhân trong (8) và hàm thành viên trong (2). Ở đây, để thỏa mãn điều kiện Mercer [1] hàm thành viên Gauss được chọn làm hàm nhân; đồng thời giá trị của b trong (8) phải bằng 0. Khi hàm Gauss được chọn làm hàm thành viên và hàm nhân, đồng thời số luật mờ bằng với số véctơ hỗ trợ (m = l) thì hàm quyết định (8) trở thành: f(x) = ෍(α୧ − α୧∗)expቆ− 1 2 ൬ x୧ − x σ୧ ൰ ଶ ቇ ୪ ୧ୀଵ (9) và hàm kết quả đầu ra suy luận mờ (2) trở thành: 3V c I 3 t h 3 v đ “ v th x d 38 Như cá à chúng ta ch Như vậ ó thể trích xu II. THUẬT T .1. Tối ưu hó Những oán di truyền àm thành viên .2. Lựa chọn Một tro ới mô hình m ồng nghĩa vớ tính có thể di Thực n ới tập dữ liệu Trong q ể hiện ở hình ác của kết qu iễn giá trị dữ Hình 1. Mố MỘT SỐ ch biến đổi tro ọn: z୨ = (α୧ − y, trên cơ sở t ất được mô hì OÁN TRÍCH a các tham s tham số của h (GAs). Trong theo các hàm tham số ࢿ ng những đặc áy học véctơ i số lượng lu ễn dịch được” ghiệm mô hìn huấn luyện đ uá trình xác đ 1 chúng ta t ả dự đoán cũ liệu đúng). i quan hệ giữa GIẢI PHÁP TỐ f(x) ng [8], hàm s f(x) α୧∗) hỏa mãn các nh mờ TSK từ XUẤT MÔ ố của hàm th àm thành viê trường hợp thích nghi s σ୧(t + 1) c୧(t + 1) điểm của mô hỗ trợ nếu tă ật mờ cũng tă của hệ thống h máy học vé ược xác định ܵ݅݊ܿ(ݔ) ịnh cấu trúc hấy: khi giá t ng tăng lên ( số lượng SVs v I ƯU TẬP LUẬ = ∑ z୨exp୪୨ୀଵ ∑ exp୪୨ୀଵ uy luận mờ ( = ෍z୨exp ୪ ୨ୀଵ điều kiện để máy học Vé HÌNH MỜ ành viên n có thể đượ này, để nhận au đây: = σ୧(t)δεଵ,୧ ቈ = c୧(t)δεଵ,୧ ቈ hình mờ là “ ng tính chính ng lên. Điều mờ giảm đi. ctơ hồi quy t trên đoạn [-3π = ൝ sin (ݔ) ݔ 1 SVM, chúng rị của tham s đường đậm n à tham số ε (g T MỜ TSK TR ቆ− ଵଶ ൬ ୶ౠି୶ ஢ౠ ൰ ଶ ቆ− ଵଶ ൬ ୶ౠି୶ ஢ౠ ൰ ଶ ቇ 10) có thể viế ൭−12ቆ x୨ − x σ୨ đồng nhất hàm ctơ hỗ trợ. TSK VỚI M c tối ưu hóa d được tập mờ (x − c)ଶ σଷ exp ቆ −(x − c) σଶ exp tính có thể di xác của mô h này làm cho rên hàm hồi q , 3π], cho thấ ݂݅ ݔ ≠ 0 ݂݅ ݔ = 0 tôi sử dụng th ố ε giảm đi th ét là đường d iá trị của ε tươn ÍCH XUẤT TỪ ቇ t lại như sau: ቇ ଶ ൱ đầu ra của S ỘT SỐ GIẢI ùng những th tối ưu, chúng −(x − c) ଶ 2σଶ ቇ቉ ቆ− (x − c) ଶ 2σଶ ቇ ễn dịch được” ình thì số lượ tính phức tạp ui phi tuyến y: am số ε để đi ì số lượng SV ự đoán hồi q g ứng theo thứ MÁY HỌC V VMs và hệ t PHÁP TỐI uật toán grad tôi cập nhật ቉ (intepretabil ng véctơ hỗ của hệ thống Sinc(x) được ều chỉnh số lư s cũng tăng uy, đường đá tự các hình vẽ ÉCTƠ HỖ TRỢ hống mờ TSK ƯU HÓA MÔ ient descent giá trị các th ity) [14]. Tuy trợ (SVs) cũn tăng lên và cho bởi công ợng SVs. Th lên, đồng thờ nh dấu + là đ là 0,5; 0,2; 0,1 HỒI QUY (10) (11) (12) , chúng ta HÌNH hoặc thuật am số của (13) (14) nhiên, đối g tăng lên, đặc biệt là thức (15), (15) eo kết quả i độ chính ường biểu và 0,01) Nn đ t th 3 n b tư 3 x guyễn Đức Hi Bằng c ghĩa với việc ược chọn làm ăng giá trị tha ành viên mờ .3. Rút gọn t Tập luậ gẫu nhiên của ố tương tự nh Thuật t ơng tự, từ đó .4. Thuật toá Từ nhữ uất mô hình m ển, Lê Mạnh Th ách giữ cố địn chúng ta nhậ SVs đầu ra). m số ε = 0,1 tương ứng. ập luật bằng t mờ trích xuấ dữ liệu đầu v au (Hình 2b). oán gom cụm có thể rút gọ n đề xuất ng phân tích ờ TSK từ má ạnh Hìn h giá trị tham n được 50 luậ Hình 2a thể h , thì có 6 SV cách tích hợp t từ động từ m ào làm cho c k-Means là n các tập luật Hình trên, chúng tô y học véctơ h Initia extra In Ou Tối ư Cluste Lựa chọ (a) h 2. Phân bố c số C = 10. t mờ (chú ý r iện phân bố s nhận được thuật toán áy học véctơ ác luật mờ họ một giải pháp mờ, giảm tín 3. Sơ đồ thuật i đã đề xuất t ỗ trợ gồm cá Begin lize parameters o Cen Var ct fuzzy rules fro IF End put: Training da tput: TSK fuzzy u hóa các tham s r (ߪ௜, ݏݒ௜) using n tham số ε và số k tối ưu ủa 50 và 6 hàm Khi giá trị ε ằng, trong trư của 50 hàm th tương ứng vớ gom cụm k-M hỗ trợ không c được có sự đề xuất để g h nhập nhằng toán trích xuất huật toán fm- c bước như sa f SVMs ters : ܿ௜, ݅ = 1 iances : ߪ௜, ݅ = 1 m SVM x is Gaussmf(ߪ௜, ta set model ố σ୧, c୧ k-Means phân cụm (b) thành viên mờ = 0,0, sẽ có ờng hợp này t ành viên mờ i 6 luật mờ. eans tránh khỏi sự phân bố khôn om cụm các của tập luật tr tập luật mờ TS SVM* (sơ đồ u: . . ݉ . . ݉ ݏݒ௜) THEN y is B 50 SVs nhận ất cả các các tương ứng tro Hình 3b thể h nhập nhằng g đều, có nhi luật mờ có p ích xuất được K. thuật toán ở được từ mô mẫu dữ liệu h ng trường hợ iện phân bố trong luật mờ ều luật mờ có hân bố hàm . Hình 3) cho 339 hình, đồng uấn luyện p này. Khi của 6 hàm . Chính sự hàm phân thanh viên phép trích 340 MỘT SỐ GIẢI PHÁP TỐI ƯU TẬP LUẬT MỜ TSK TRÍCH XUẤT TỪ MÁY HỌC VÉCTƠ HỖ TRỢ HỒI QUY Bước 1: huấn luyện SVMs với tập dữ liệu huấn luyện (Training) để trích xuất ra các véctơ hỗ trợ tương ứng với các giá trị ݔ௜ = ݏݒ௜, phương sai ߪ௜, và (ߙ௜ − ߙ௜∗) = ܤ. Bước 2: tối ưu hóa các tham số ߪ௜, ܿ௜, ε. Bước 3: dùng thuật toán k-Means để phân cụm các (ߪ௜, ݏݒ௜) thành k cụm. Bước 4: lựa chọn tham số ε và số phân cụm k tối ưu bằng thực nghiệm trên tập dữ liệu Validation. Bước 5: chọn các (ߪ௜, ݏݒ௜) là trung tâm của các cụm để thiết lập các hàm thành viên Gauss cho các luật mờ TSK; trong đó ݏݒ௜ là trung tâm của hàm thành viên và ߪ௜ là biên độ mờ. Tập các luật mờ TSK trích xuất được sẽ có dạng: ܫܨ ݔ௜ ݅ݏ ܩܽݑݏݏ݂݉(ߪ௜, ݏݒ௜) ܶܪܧܰ ݕ௜ ݅ݏ ܤ. IV. MÔ HÌNH THỰC NGHIỆM DỰ BÁO HỒI QUY 4.1. Mô hình thực nghiệm Trong phần này, chúng tôi đề xuất một mô hình trích xuất luật mờ dự đoán giá cổ phiếu bằng cách sử dụng thuật toán fm-SVM* đã đề xuất. Sơ đồ khối của mô hình được thể hiện trong hình 4. Hình 4. Mô hình mờ dự đoán giá cổ phiếu 4.1.1. Lựa chọn dữ liệu đầu vào Để có sự so sánh với kết quả của L. J. Cao và Francis E. H. Tay trong [12, 13], chúng tôi lựa chọn dữ liệu đầu vào là các chỉ số giá cổ phiếu hàng ngày . Các thuộc tính dữ liệu đầu vào cụ thể hiện trong bảng 1. Bảng 1. Các thuộc tính dữ liệu vào Ký hiệu Thuộc tính Công thức tính ݔଵ EMA100 ௜ܲ − ܧܯܣଵ଴଴(ଓ)തതതതതതതതതതതതതത ݔଶ RDP-5 ൫ܲ(݅) − ܲ(݅ − 5)൯/ܲ(݅ − 5) ∗ 100 ݔଷ RDP-10 ൫ܲ(݅) − ܲ(݅ − 10)൯/ܲ(݅ − 10) ∗ 100 ݔସ RDP-15 ൫ܲ(݅) − ܲ(݅ − 15)൯/ܲ(݅ − 15) ∗ 100 ݔହ RDP-20 ൫ܲ(݅) − ܲ(݅ − 20)൯/ܲ(݅ − 20) ∗ 100 ݕ RDP+5 (ܲ(ଓ + 5)തതതതതതതതതതത − ܲ(ଓ)തതതതതത)/ܲ(ଓ)തതതതതത ∗ 100 ܲ(ଓ)തതതതതത = ܧܯܣଷ(ଓ)തതതതതതതതതതത Trong đó, P(i) là chỉ số giá đóng phiên của ngày thứ i, RPD-m là tỷ lệ khác biệt trung bình m ngày (m-day relative difference in percentage of price - RDP) và EMA୫(i) là m-day exponential moving average của giá đóng phiên ngày thứ i. 4.1.2. Tiền xử lý dữ liệu vào Trong nghiên cứu này, chúng tôi sử dụng thuât toán phân cụm SOM (Self-Organizing Map) để phân dữ liệu đầu vào thành các cụm theo sự tương đương phân bố thống kê của các điểm dữ liệu. Kết quả phân cụm bởi SOM sẽ giúp giải quyết được hai vấn đề [12]: 1) Kích thước dữ liệu trong từng cụm sẽ nhỏ hơn làm tăng tốc độ học của mô hình. 2) Dữ liệu trong các cụm có sự tương đương trong phân bố thống kê, như vậy sẽ hạn chế được các trường hợp nhiễu. Nguyễn Đức Hiển, Lê Mạnh Thạnh 341 4.1.3. Trích xuất mô hình mờ bằng fm-SVM* Mỗi cụm dữ liệu vào đã được phân tách bằng SOM sẽ được đưa vào huấn luyện cho từng máy fm-SVM* tương ứng để trích xuất các luật mờ. Các tập luật mờ trích xuất được từ các máy fm-SVM* tương ứng với các cụm dữ liệu huấn luyện có thể được sử dụng để suy luận dự đoán giá cổ phiếu. Những luật mờ khai phá được từ dữ liệu đã được phân thành các cụm riêng biệt và được cải thiện tính “có thể diễn dịch được”, như vậy các chuyên gia con người có thể diễn dịch thành luật ngôn ngữ và từ đó có thể hiểu và đánh giá được các luật này. 4.2. Kết quả thực nghiệm Để đánh giá mô hình đề xuất, chúng tôi xây dựng một hệ thống thử nghiệm dựa trên bộ công cụ Matlab. Thuật toán học SVM của thư viện LIBSVM được phát triển bởi nhóm của Chih-Wei Hsu [11], được sử dụng để sản sinh ra các SVs từ dữ liệu huấn luyện, làm cơ sở để xây dựng thuật toán trích xuất các luật mờ fm-SVM*. Việc phân cụm dữ liệu đầu vào được thực hiện dựa trên bộ công cụ SOM được phát triển bởi Juha Vesanto và các đồng sự [15]. Sau cùng, chúng tôi sử dụng hàm AVALFIS trong thư viện công cụ Matlab Fuzzy Logic để suy luận dự báo giá cổ phiểu dựa vào các luật mờ sản xuất được. 4.2.1. Nguồn dữ liệu Nguồn dữ liệu thực nghiệm được chọn từ bốn mã cố phiếu của các tập đoàn và tổ chức tài chính lớn của Mỹ bao gồm: IBM Corporation stock (IBM), the Apple inc. stock (APPL), the the Standard & Poor’s stock index (S&P500), and the Down Jones Industrial Average index (DJI) (Bảng 2). Tất cả các dữ liệu trên được lấy từ nguồn sàn chứng khoán Yahoo Finance ( Bảng 2. Nguồn dữ liệu thực nghiệm Stocks Time Training Validation Testing IBM Corporation stock (IBM) 03/01/2000 - 30/06/2010 2209 200 200 Apple inc. stock (APPL) 03/01/2000 - 30/06/2010 2209 200 200 Standard & Poor’s stock index (S&P500) 03/01/2000 - 23/12/2008 2016 200 200 Down Jones Industrial Average index (DJI) 02/01/1991 - 28/03/2002 2152 200 200 4.2.2. Các kết quả thực nghiệm Các tập dữ liệu Training được sử dụng để huấn luyện cho các mô hình để tạo ra các tập luật mờ tương ứng với từng mã cổ phiếu. Các tập dữ liệu Validation được sử dụng để suy luận thử với các tập luật mờ tương ứng với từng mã cổ phiểu. Từ đó, các tham số ε và k (số phân cụm bằng k-Means) được xác định bằng cách tùy chỉnh để có được các giá trị thông số đánh giá tốt nhất, gồm NMSE (Nomalized Mean Squared Error), MAE (Mean Absolute Error), và DS (Directional Symmetry). Trong đó NMSE và MAE đo lường độ lệch giữa giá trị thực tế và giá trị dự đoán, DS đo lường tỷ lệ dự đoán đúng xu hướng của giá trị RDP+5. Giá trị tương ứng của NMSE và MAE là nhỏ và của DS là lớn chứng tỏ rằng mô hình dự đoán tốt. Mô hình kết quả đã được tối ưu hóa các tham số bằng cách tinh chỉnh trên tập dữ liệu Validation được sử dụng để dự đoán trên tập dữ liệu Testing. Bên cạnh đó, chúng tôi cũng thử nghiệm dự đoán trên cùng bộ dữ liệu Testing với các mô hình khác được đề xuất trước đó, bao gồm SVM, mô hình kết hợp SOM+SVM và SOM+f-SVM. Mô hình SOM+SVM là mô hình dựa trên sự kết hợp của SOM và SVM, được đề xuất để dự đoán xu hướng cổ phiếu trong [16]. Mô hình SOM+f-SVM là mô hình kết hợp SOM với f-SVM thuần túy (chưa tối ưu tham số ε và tích hợp kỹ thuật phân cụm k-Means). Kết quả thực nghiệm dự đoán trên 200 mẫu dữ liệu testing được thể hiện trong bảng 3. Bảng 3. Kết quả dự đoán trên 200 mẫu dữ liệu thử nghiệm Mã cổ phiếu SVM SOM+SVM SOM+f-SVM SOM+ fm-SVM* NMSE MAE DS NMSE MAE DS Số luật NMSE MAE DS Số luật NMSE MAE DS IBM 0,9278 0,0191 38,31 1,1028 0,0577 44,22 1355 1,0324 0,0554 50,75 15*6 1,0530 0,0504 50,05 APPL 1,0725 0,0110 34,33 1,1100 0,0445 52,76 1287 1,0467 0,0435 53,27 5*55 1,0466 0,0610 53,00 SP500 1,2687 0,0394 38,90 1,1081 0,1217 52,76 965 1,0836 0,1207 53,27 15*6 1,0906 0,1117 52,86 DJI 1,1015 0,0576 38,31 1,0676 0,1186 50,25 1025 1,0459 0,1181 51,76 5*35 1,0550 0,1101 51,35 So sánh giá trị các thông số MNSE và MAE trong bảng 3 ta thấy, trên cả 4 mã cổ phiếu, giá trị các thông số MNSE và MAE của mô hình SOM+f-SVM và SOM+fm-SVM* đề xuất là nhỏ hơn so với mô hình SVM, điều này chứng tỏ độ sai lệch giữa giá trị dự đoán và giá trị thực tế của mô hình đề xuất là ít hơn so với hai mô hình kia. Bên cạnh đó, ta cũng thấy giá trị thông số DS của mô hình đề xuất lớn hơn so với mô hình SVM, điều này chứng tỏ tỷ lệ dự đoán đúng xu hướng của mô hình đề xuất cao hơn. 342 MỘT SỐ GIẢI PHÁP TỐI ƯU TẬP LUẬT MỜ TSK TRÍCH XUẤT TỪ MÁY HỌC VÉCTƠ HỖ TRỢ HỒI QUY So sánh kết quả của mô hình SOM+ fm-SVM* đề xuất với mô hình SOM+SVM và SOM+ f-SVM trong bảng 3, ta thấy giá trị của những thông số của cả hai mô hình là tương đương. Điều này cũng dễ dàng lý giải được, bởi vì các thuật toán f-SVM và fm-SVM* đã rút trích ra tập luật mờ dùng cho mô hình dự đoán từ các máy SVMs, và như vậy mô hình dự đoán đề xuất kết hợp SOM với f-SVM và fm-SVM* sẽ thừa hưởng hiệu quả của mô hình SOM+SVM là điều tất yếu. Tuy nhiên, so với mô hình dự đoán SOM+SVM thì các mô hình mô hình mờ TSK có những ưu điểm sau: 1) Mô hình dự đoán SOM+SVM là một mô hình “hộp đen” đối với người dùng cuối, trong khi mô hình đề xuất cho phép trích xuất ra một tập luật mờ và quá trình suy luận sẽ được thực hiện trên tập luật này. Đối với người dùng cuối thì mô hình suy luận dựa trên một tập luật mờ sẽ dễ hiểu và sáng tỏ hơn. 2) Ngoài ra việc áp dụng SOM để phân cụm dữ liệu đầu vào thành từng tập nhỏ riêng biệt, bên cạnh hiệu quả mang lại là giảm kích thước dữ liệu vào và từ đó làm giảm thời gian thực hiện của thuật toán, tập luật sinh ra cũng sẽ được phân thành các cụm riêng biệt tương ứng, điều này cũng sẽ góp phần giúp cho chuyên gia con người dễ dàng đọc hiểu và phân tích các luật mờ học được. Điểm cải thiện của mô hình dựa trên fm-SVM* so với mô hình dựa trên f-SVM thể hiện thông qua số luật mờ trích xuất được của từng mô hình. Ví dụ, đối với mã cổ phiếu IBM, tổng số luật mờ theo mô hình SOM+f-SVM là 1355, trong theo mô hình SOM+fm-SVM chỉ là 90 luật (15*6). Như vậy, số luật mờ của mô hình đề xuất đã giảm đi rất nhiều so với mô hình SOM+f-SVM, trong khi tính chính xác của kết quả dự đoán vẫn được đảm bảo. V. KẾT LUẬN Nghiên cứu này đề xuất một số giải pháp để tối ưu hóa mô hình mờ TSK trích xuất từ máy học véctơ hỗ trợ giải quyết bài toán dự báo hồi quy. Thuật toán fm-SVM* đề xuất cho phép điều chỉnh và lựa chọn giá trị các tham số ε và k trên cơ sở sử dụng tập dữ liệu Validation. Các kết quả thực nghiệm trên dữ liệu Testing cho thấy mô hình dự đoán đề xuất thật sự mang lại hiệu quả thể hiện ở chỗ: độ chính xác của kết quả dự đoán cao hơn hoặc tương tương đương so với các mô hình khác, thể hiện qua các giá trị của các thông số NMSE, MAE và DS, trong khi đó thì số lượng luật mờ của các mô hình được rút gọn đáng kể. Như đã trình bày ở phần IV của bài báo, một trong những hiệu quả mang lại của việc rút gọn và gom cụm các luật mờ trích xuất được là sẽ giảm độ phức tạp trong quá trình suy luận, đồng thời giúp cho việc diễn dịch và phân tích các luật này dễ dàng hơn. Trong định hướng nghiên cứu tiếp theo, chúng tôi sẽ nghiên cứu các giải pháp để tích hợp luật chuyên gia với tập luật mờ hướng dữ liệu nhằm nâng cao hiệu quả dự đoán. VI. TÀI LIỆU THAM KHẢO [1] J. Shawe-Taylor and N. Cristianini. “Kernel Methods for Pattern Analysis”. Cambridge University Press, 2004. [2] Corinna Cortes and Vladimir Vapnik. “Support-Vector Networks, Machine Learning”. Machine Learning, 20, 273-297, 1995. [3] J. H Chiang, P. Y Hao. “Support vector learning mechanism for fuzzy rule-based modeling: a new approach”. IEEE Trans. On Fuzzy Systems, vol. 12, pp. 1-12, 2004. [4] J. L. Castro, L. D. Flores-Hidalgo, C. J. Mantas, J. M. Puche. “Extraction of fuzzy rules from support vector machines”. Elsevier. Fuzzy Sets and Systems, 158, 2057-2077, 2007. [5] J. S. R. Jang. “Anfis: adaptive-network-based fuzzy inference system”. IEEE Transactions on Systems, Man and Cybernetics, vol. 23, no. 3, pp. 665-685, 1993. [6] David Martens, Johan Huysmans, Rudy Setiono, Jan Vanthienen, Bart Baesens. “Rule Extraction from Support Vector Machines - An Overview of issues and application in credit scoring”. Studies in Computational Intelligence (SCI) 80: 33-63, 2008. [7] M. Azeem, M. Hanmandlu, N. Ahmad. “Generalization of adaptive neuro-fuzzy inference systems”. IEEE Transactions on Neural Networks, vol. 11, no. 6. [8] S. Chen, J. Wang, D. Wang. “Extraction of fuzzy rules by using support vector machines”. IEEE, Computer society, pp. 438-441, 2008. [9] Serge Guillaume, Luis Magdalena. “Expert guided integration of induced knowledge into a fuzzy knowledge base”. Soft Comput, Springer-Verlag 2006, 10:733-784, 2006. [10] Y. Jin, B. Sendhoff. “Extracting interpretable fuzzy rules from RBF networks”. Neural Processing Letters, vol. 17, no. 2, pp. 149-164, 2003. [11] Chih-Wei Hsu, Chih-Chung Chang, Chih-Jen lin. “A practical Guide to Support Vector Classification”. 2010. Nguyễn Đức Hiển, Lê Mạnh Thạnh 343 [12] Francis Eng Hock Tay and Li Yuan Cao. “Improved financial time series forecasting by combining Support Vector Machines with self-organizing feature map”. Intelligent Data Analysis 5, IOS press: 339-354, 2001. [13] L. J. Cao and Francis E. H. Tay. “Support vector machine with adaptive parameters in Financial time series forecasting”. IEEE trans. on neural network,vol. 14, no. 6, 2003. [14] John Yen, Reza Langari. “Fuzzy logic: Intelligence, Control, and Information”. Prentice hall, Uper dadle river, New Jersey, 1999. [15] Juha Vesanto, Johan Himberg, Esa Alhoniemi, Jaha Parhankangas. “SOM Toolbox for Matlab 5”. 2000. [16] Duc Hien Nguyen, Manh Thanh Le. “A two-stage architecture for stock price forecasting by combining SOM and fuzzy-SVM”. International Journal of Computer Science and Infor-mation Security (IJCSIS), USA, ISSN: 1947- 5500, Vol. 12 No. 8: 20-25, 2013. OPTIMAZING TSK FUZZY MODEL EXTRACTED FROM SUPPORT VECTOR MACHINES FOR REGRESSION Nguyen Duc Hien, Le Manh Thanh ABSTRACT: Extracting Takagi-Sugeno-Kang (TSK) fuzzy rule set from the vector-support learning machine is one of the approaches to construct a fuzzy model for predictive math. Previous studies of this approach showed that fuzzy model is automatically trained based on input data sets, leading to major limitations such as large rule size, lack of specificity, coverage. In this article, the authors have supposed and experimented some solutions to reduce and optimize the extracted TSK fuzzy rule set but still ensure the predictive performance of the model.