Đề tài Xác định quan hệ mờ bằng mạng nơron nhân tạo

cũng được cung cấp. (Hình 2.8) Độ lệch tín hiệu giữa đầu ra outi và véc tơ đầu ra Yi sẽ được bộ sản sinh sai số thu nhận và sản sinh ra tín hiệu sai số. Tín hiệu sai số này sẽ đi vào mạng và mạng sẽ hiệu chỉnh các trọng số của mình sao cho tín hiệu đầu ra outi sẽ gần với véc tơ đầu ra mong muốn Yi . Nếu tín hiệu ra out = Y thì lúc đó mạng nơron đã bão hoà, ta nói thủ tục học của mạng đã hội tụ. - Học tăng cường Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 24 B¸o c¸o nghiªn cøu khoa häc Véc tơ vào Tín hiệu ra out Mạng nơron Tín hiệu tăng cường Sản sinh tín hiệu tăng cường Hình 2.9. Sơ đồ học tăng cường. Học tăng cường cũng là một dạng của học có chỉ đạo vì mạng nơron vẫn nhận tín hiệu ngoài môi trường. Tuy nhiên, tín hiệu ngoài môi trường chỉ là những tín hiệu mang tính phê phán, chứ không phải là các chỉ dẫn cụ thể như trong học có chỉ đạo. Nghĩa là, tín hiệu tăng cường chỉ có thể nói cho mạng biết tín hiệu vừa sản sinh là đúng hay sai, chứ không chỉ cho mạng biết tín hiệu đúng phải như thế nào. Tín hiệu tăng cường được xử lý bởi bộ xử lý tín hiệu tăng cường (Hình 2.9), nhằm mục đích giúp mạng hiệu chỉnh các trọng số với hi vọng nhận được tín hiệu tăng cường tốt hơn trong tương lai. Các thủ tục học tăng cường thường được biết đến như các thủ tục học với nhà phê bình chứ không phải là học với thầy như các thủ tục học có chỉ đạo. - Học không chỉ đạo Véc tơ vào Tín hiệu ra out Mạng nơron Hình 2.10. Sơ đồ học không chỉ đạo. Trong thủ tục này, không có thông tin nào từ ngoài môi trường chỉ ra tín hiệu đầu ra out phải như thế nào hoặc đúng hay sai. Mạng nơron phải tự khám phá các đặc điểm, các mối quan hệ đang quan tâm như: dạng đưòng nét, có chuẩn – có bình thường hay không, các hệ số tương quan, tính cân xứng, Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 25 B¸o c¸o nghiªn cøu khoa häc tính chạy, của các mẫu học và sau đó chuyển những quan hệ tìm thấy qua đầu ra. Trong quá trình học, các trọng số của mạng sẽ thay đổi để thể hiện các đặc tính được phát hiện. Do đó các thủ tục này còn được gọi là tự tổ chức (Hình 2.10). 2.3.2 Học cấu trúc Học cấu trúc là thuật toán tìm kiếm các tham số của cấu trúc mạng để tìm ra một cấu trúc mạng hoạt động tốt nhất. Trong thực tế, việc học cấu trúc là việc tìm ra số lớp ẩn và số nơron trên lớp đó. 2.4 Thuật toán lan truyền ngược vqj wiq q= 1, 2, ..., l i= 1, 2, ..., n j = 1, 3, ..., m q = 1, 3, ..., l y%1 x1 y%2 x2 M M M M x y% m n Hình 2.11. Mạng nơron hai lớp truyền thẳng Từ một mẫu học cụ thể x(k), y(k) và các trọng số đã có của mạng. Chẳng hạn như w(k), v(k) ở mạng hai lớp, người ta xác định đầu ra thực y%(k). Sau đó trên cơ sở so sánh với mẫu học y(k), các trọng số của lớp nơron đầu ra, ví dụ w(k), được hiệu chỉnh thành w(k+ 1). Tiếp tục từ trọng số mới w(k+1) người ta lại hiệu chỉnh trọng số của các nơron thuộc lớp phía trước, ví dụ như v(k) thành v(k+ 1). Cứ như vậy cho đến trọng số của lớp nơron đầu vào. Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 26 B¸o c¸o nghiªn cøu khoa häc Để phần giải thích chi tiết thuật toán lan truyền ngược được đơn giản, sau đây ta sẽ lấy mạng hai lớp ở hình 2.11 làm ví dụ. Với sai lệch cho riêng mẫu học thứ k là v(k) - y%( k), giá trị gia tăng (k) Dwiq được xác định theo công thức cải tiến của Widnow từ (7.12) như sau da Dw(k) = sé y( k) - y%( k) ù z = sd z (2.8) iqëê i i ûú q oi q dci (k) ci Trong đó hằng số k k da d =éy( ) - y%( ) ù (2.9) oiëê i i ûú dci (k) ci (k) Có tên gọi tín hiệu sai lệch của nơron đầu ra thứ i . Rõ ràng Dwiq phụ (k) thuộc vào zq . Để tính zq ta sử dụng các trọng số cũ hiện có của mạng là v như sau: æm ö z=a c(k) = a ç v( k) x( k)÷ (2.10) q( q) çå qj j ÷ èç j= 1 ø÷ (k) (k) Cùng với Dwiq , trọng số cũ wiq được hiệu chỉnh thành (k+ 1) ( k) ( k) wiq= w iq + D w iq (2.11) (k+ 1) (k) (k) Sau khi đã có wiq , ta xác định giá trị gia tăng Dvqj cho trọng số cũ vqj của nơron thuộc lớp đầu vào nhờ công thức đã được cải biên theo tư tưởng Widnow: n ké k kda k ù d a Dv( ) = sê y( ) - y%( ) w( + 1) ú x = sd x (2.12) qjå ê( i i) iq ú j hq j i= 1 ëdci û dc q Trong đó n n ék kda k+ ù d a d a k + d=êy( ) - y%( ) w( 1) ú = d w( 1) (2.13) hqåê( i i) iq ú å oi iq i=1dci dc q(k) dc q ( k) i = 1 ë û cq c q (k) Từ Dvqj ta được Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 27 B¸o c¸o nghiªn cøu khoa häc (k+ 1) ( k) ( k) vqj= v qj + D v qj (2.14) Ví dụ: Xét mạng hai lớp như ở hình 2.12 với hai nơron ở lớp đầu vào và một nơron ở lớp đầu ra. Các nơron trong mạng là nơron Fermi. 1 da y=a ( c) = Þ =y(1 - y) 1+ e- c dc Giả sử hiện tại mạng đang có trọng số: (k) (k) vqj trong đó q=1,2; j = 1, 2 và wiq , q = 1,2 æx(k) ö (k) ç 1 ÷ (k) Khi có thêm một mẫu học mới x = ç ÷, y thì trước hết trọng số cũ ç (k)÷ èx2 ø (k) wiq ở nơron lớp ra sẽ được hiệu chỉnh thành (k+ 1) ( k) ( k) wiq= w iq + D w iq Trong đó æ2 ö Dw(k) = sd z = s d a ç v( k) x( k)÷ iq o1 q o 1 çå qj j ÷ 1444442444443èj= 1 ø zq æ2 ö d =y(k) - y%%%( k) y( k) 1 - y( k) với y%(k) = a ç w( k) z ÷ o1 ( ) ( ) çå iq q ÷ èç q= 1 ÷ ø (k+ 1) (k) Sau khi đã hiệu chỉnh xong lớp ra để có wiq , trọng số vqj của lớp đầu vào sẽ được sửa đổi thành (k+ 1) ( k) ( k) ( k) vqj= v qj + D v qj = v qj + sd hqj x (k+ 1) Trong đó: dhq=z q(1 - z q) d o1 w iq Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 28 B¸o c¸o nghiªn cøu khoa häc x1 v11 w11 v21 y% v12 w v 12 x 22 2 Hình 2.12. Minh hoạ cho ví dụ 2.5 Mạng nơron mờ Sự kết hợp trực quan đầu tiên là trực tiếp suy rộng mạng nơron bằng cách đưa các khái niệm mờ đặc biệt là tập mờ và số mờ vào mạng nơron và xem xét xem những bài toán nào, thuật toán nào còn đúng. Tác động của lớp thuật toán mới ra sao? Hoàn toàn tự nhiên người ta nghĩ ngay tới và nghiên cứu bốn loại suy rộng sau: 1) Loại 1: Tín hiệu vào là số thực, trọng số mờ. 2) Loại 2: Tín hiệu vào là tập mờ, trọng số là số thực. 3) Loại 3: Cả tín hiệu vào và trọng số đều là số mờ. 4) Loại mở rộng: Khai thác các phép toán t-chuẩn, t-đối chuẩn. III. Bài toán xác định quan hệ mờ bằng mạng nơron nhân tạo 3.1 Bài toán Cho không gian vào X không gian ra Y . Yêu cầu đặt ra là xác định quan hệ mờ R giữa không gian vào và ra. Việc xác định quan hệ mờ R được thực hiện thông qua việc tìm lời giải cho một phương trình quan hệ mờ bởi một mạng nơron mờ. Chúng ta sẽ cho r s rằng phương trình quan hệ mờ là XRYÅ = , X Î [0,1], Y Î [0,1], Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 29 B¸o c¸o nghiªn cøu khoa häc r´ s R Î [0,1] . Chúng ta sẽ chỉ giới hạn trong trường hợp Å = max-min. Chúng éi i ù ta giả sử rằng chúng ta có một tập mẫu ëêX, Y : i= 1, ..., p ûú, để tìm ra R chúng ta sẽ sử dụng một mạng nơron mờ để nhận dạng. Vấn đề đặt ra là thiết kế mạng nơron ( tôpô của nó) và thủ tục học. w11 x1 Out1 w12 w1s w21 x2 w22 Out2 w2s M M wr1 wr2 x Out r w s rs Hình 3.1Mô hình mạng nơron 3.2 Tôpô mạng Chúng ta sẽ coi như một mạng nơron mờ sẽ có tôpô như sau: Các cặp đầu vào và đầu ra là (x1, ... , xi ,... , x r ) và (Out1, ... , Outj ,... , Out s ), trong đó Outj được xác định bởi Outj = max[min(xi, w ij )], wij là phần tử của ma trận trọng số W quyết định số lượng kết nối (xem trong hình 3.1). Vì vậy, chúng ta đang xem xét một mạng nơron không có lớp ẩn, trong r s đó đầu vào là các giá trị X Î [0,1] và đầu ra Y Î [0,1] thu được bởi Y = max(min(WX, )), W là ma trận trọng số. Nếu X= ( x1, ... , xi ,... , x r ), Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 30 B¸o c¸o nghiªn cøu khoa häc Y= ( Out1, ... , Outj ,... , Out s ) và các phần tử của ma trận W là wij . đầu ra được tính như sau Out1 = max[min(x1, w 11), min(x2, w 21), , min(xr, w r1)], M Outs = max[min(x1, w 1s ), min(x2, w 2s ), , min(xr, w rs )], 3.3 Thủ tục học và thuật toán huấn luyện mạng Mục đích của việc huấn luyện mạng là điều chỉnh các trọng số sao cho khi ứng dụng đưa một tập đầu vào sẽ đem lại tập đầu ra mong muốn. Điều này được định hướng bằng cách tối thiểu bình phương của độ sai khác giữa đầu ra mong muốn Tj và đầu ra thực Oj cho tất cả các mẫu học, 1 2 ETO= - , trong đó . å ( j j ) Oj= max i( min( x i, w ij )) 2 Bước 1: Khởi tạo ma trận trọng số W , wij = 0 với mọi i=1,2,..., r ; j = 1,2,..., s. Bước 2: Xác định ma trận trọng số qua các mẫu học. Dwij = md j C, trong đó dj=TO j - j , m là bước học. C được xác định như sau: ïì ïì ï xs³ MaxMinxw(,,( i ij) ® C = x s ï ï i ¹ s ï x< w íï ï s sj ï ï ï xs< MaxMinxw(,,( i ij) ® C = x s * x s ï îï i ¹ s C = í ï ïì ï wsj³ Max( Min( x i , w ij ) ® C = 1, ï ï i ¹ s ï x³ w íï ï s sj ï ï ï wsj< MaxMinxw(,.( i ij) ® C = w sj îï îï i ¹ s Sử dụng thuật toán lan truyền ngược, sau mỗi lần học ma trận trọng số sẽ được tính lại nhằm tối thiểu bình phương của độ sai khác giữa đầu ra mong muốn Tj và đầu ra thực Oj cho tất cả các mẫu học. Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 31 B¸o c¸o nghiªn cøu khoa häc ()()míi cò wij= w ij + D w ij . 3.4 Ví dụ Với mỗi tập giá trị thích hợp X t Î [0,1], giá trị mong muốn Yt thu được bởi tổng hợp max-min Yt= X t Å R, t = 1, ..., 5 XY1=(1, 0, 0, 0, 0) ® 1 = ( 0.6, 0.5, 0.8, 0.3, 0.2) , XY2=(0, 1, 0, 0, 0) ® 2 = ( 0.4, 0.1, 0.9, 0.6, 0.4) , XY3=(0, 0, 1, 0, 0) ® 3 = ( 0.1, 0.1, 0.9, 0.8, 0.5) , XY4=(0, 0, 0, 1, 0) ® 4 = ( 0.9, 0.2, 0.9, 0.1, 0.5) , X 5 = (0, 0, 0, 0, 1) ® Y5 = ( 0.4, 0.5, 0.3, 0.8, 0.9) . Mạng với tôpô chúng ta đã biểu diễn trong phần 3.2 được huyến luyện với cặp {(Xt, Y t ) , t = 1, ..., 5} Kết quả thu được: - Với m= 0.5, số lần lặp 19. æ0.599999 0.499999 0.799999 0.299999 0.199999 ö ç ÷ ç ÷ ç0.399999 0.100000 0.899999 0.599999 0.399999÷ ç ÷ ç0.100000 0.100000 0.899999 0.799999 0.499999÷ ç ÷ ç0.899999 0.200000 0.899999 0.100000 0.499999÷ ç ÷ èç0.399999 0.499999 0.300000 0.799999 0.899999 ø÷ - Với m= 1, số lần lặp 1. æ0.600000 0.500000 0.800000 0.300000 0.200000 ö ç ÷ ç ÷ ç0.400000 0.100000 0.900000 0.600000 0.400000÷ ç ÷ ç0.100000 0.100000 0.900000 0.800000 0.500000÷ ç ÷ ç0.900000 0.200000 0.900000 0.100000 0.500000÷ ç ÷ èç0.400000 0.500000 0.300000 0.800000 0.900000 ø÷ Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 32 B¸o c¸o nghiªn cøu khoa häc 3.5 Xây dựng chương trình ứng dụng Sử dụng ngôn ngữ C# để xây dựng một chương trình minh hoạ cho thuật toán đã trình bày để giải bài toán xác định quan hệ mờ bằng mạng nơron nhân tạo. KẾT LUẬN - Bộ não của con người là một bộ máy kĩ thuật diệu kì. Các nhà khoa học đã xây dựng một mô hình tính toán mô phỏng hoạt động của bộ não người như: khả năng học rất cao, khả năng dung thứ lỗi. - Sử dụng mạng nơron nhân tạo giúp giảm độ phức tạp và thời gian tính toán, đặc biệt là với những bài toán cần xử lý với khối lượng dữ liệu lớn. Nó không chỉ xử lý được những dữ liệu đầu vào rõ mà còn xử lý được với những dữ liệu mờ. Điều này phù hợp với việc giải quyết các bài toán đặt ra trong thực tế. Tuy nhiên giải bằng mạng nơron chỉ là một phương pháp xấp xỉ, nó cho ra một kết quả phù hợp với sai số có thể chấp nhận được. Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 33 B¸o c¸o nghiªn cøu khoa häc MỤC LỤC Phần mở đầu.1 1. Tên đề tài.1 2. Lý do chọn đề tài1 I. Tổng quan lý thuyết tập mờ và quan hệ mờ..2 1.1 Khái niệm tập mờ2 1.2 Các phép toán về tập mờ.6 1.2.1 Phép hợp..6 1.2.2 Phép giao...10 1.2.3 Phép bù..13 1.3. Quan hệ mờ..14 II. Giới thiệu về mạng nơron nhân tạo.15 2.1. Mạng nơron sinh học.15 2.2. Mạng nơron nhân tạo17 2.2.1 Mô hình nơron nhân tạo..17 2.2.2 Định nghĩa và phân loại mạng nơron nhân tạo...20 2.3. Thủ tục học của mạng nơron nhân tạo...23 2.3.1 Học tham số...23 2.3.2 Học cấu trúc..26 2.4 Thuật toán lan truyền ngược.26 2.5 Mạng nơron mờ.29 III. Bài toán xác định quan hệ mờ bằng mạng nơron nhân tạo ...29 3.1 Bài toán ...29 3.2 Tôpô mạng...30 3.3 Thủ tục học và thuật toán huấn luyện mạng31 3.4 Ví dụ34 Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 34 B¸o c¸o nghiªn cøu khoa häc 3.5 Xây dựng chương trình ứng dụng...33 Kết luận..33 Tài liệu tham khảo35 TÀI LIỆU THAM KHẢO [1] Neural Networks by Christos Stergiou and Dimitrios Siganos. [2] Introduction to Neural Networks – by Genevieve Orr &Willamette University, prepared by Genevieve Orr, Nici Schraudolph, Fred Cummins. [3] Lý thuyết điều khiển mờ - Phan Xuân Minh & Nguyễn Doãn Phước. Và một số website của ANN và hệ mờ. Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 35