Giớithiệu Giớithiệu
•Cácmạng nơronđơngiản dùng cho phân loạimẫu
• Kếthợpmẫu • Kếthợpmẫu
•Cácmạng cạnh tranh
• Lýthuyếtcộnghưởngthíchnghi • Lýthuyếtcộnghưởngthíchnghi
•Mạng lan truyềnngược
Lô í h ờ à ơ lô í h ờ • Lôgíchmờvàmạng nơronlôgíchmờ
•Mộtsốứng dụng trong xửlý tín hiệu
36 trang |
Chia sẻ: Mr Hưng | Lượt xem: 649 | Lượt tải: 0
Bạn đang xem trước 20 trang nội dung tài liệu Mạng nơron và ứng dụng trong xử lý tín hiệu - Kết hợp mẫu, để xem tài liệu hoàn chỉnh bạn click vào nút DOWNLOAD ở trên
Nguyễn Công Phương
Mạng nơron
và ứng dụng trong xử lý tín hiệu
Kết hợp mẫu
Nội dung
• Giới thiệu
• Các mạng nơron đơn giản dùng cho phân loại mẫu
• Kết hợp mẫu
• Các mạng cạnh tranh
• Lý thuyết cộng hưởng thích nghi
• Mạng lan truyền ngược
Lô í h ờ à ơ lô í h ờ• g c m v mạng n ron g c m
• Một số ứng dụng trong xử lý tín hiệu
2Kết hợp mẫu
Nội dung
• Giới thiệu
• Các thuật toán huấn luyện
• Mạng ký ức dị kết
• Mạng ký ức tự kết
• Mạng tự kết lặp
• Mạng ký ức kết hợp lưỡng hướng
3Kết hợp mẫu
Giới thiệu
• Học: thiết lập sự kết hợp giữa các mẫu có liên quan
• VD: nhận ra một người
• Mạng ký ức: mạng một lớp có khả năng ghi nhớ sự kết
hợp của các mẫu
• Đồng kết: véctơ được kết hợp giống với véctơ mục đích
• Dị kết: véctơ được kết hợp khác với véctơ mục đích
• Khả năng ghi nhớ của mạng
Kết hợp mẫu 4
Nội dung
• Giới thiệu
• Các thuật toán huấn luyện
• Mạng ký ức dị kết
• Mạng ký ức tự kết
• Mạng tự kết lặp
• Mạng ký ức kết hợp lưỡng hướng
5Kết hợp mẫu
ấCác thuật toán hu n luyện (1)
Bước 1 Khởi tạo tất cả các trọng số
wi = 0 (i = 1 tới n)
Bước 2 Đặt giá trị cho các nơron đầu vào
xi = si
Bước 3 Đặt giá trị cho nơron đầu ra
yj = tj
Bước 4 Chỉnh trọng số
wi(mới) = wi(cũ) + xiyj (i = 1 tới n)
Bước 5 Lặp lại các bước 2, 3, 4 cho tất cả cặp đầu vào & đầu ra của bộ huấn luyện
( ) ( )
P
ij i jw s p t p ( ) ( )P T p p W s t
Kết hợp mẫu 6
1p 1p
ấCác thuật toán hu n luyện (2)
j ij i
i
y w x
( ) ( ) ( )míi còw w t y x ij ij j j i
( )ij j j iw t y x
Kết hợp mẫu 7
ấCác thuật toán hu n luyện (3)
1
( _ ); _
n
J J J iJ i
i
y f y vao y vao w x
2( )
m
j je t y
1j
_2( ) 2( ) '( )JJ J J J I J
e y vaot y t y x f y vao _
IJ IJw w
( ) '( )IJ J J I Jw t y x f y vao
Kết hợp mẫu 8
_
Nội dung
• Giới thiệu
• Các thuật toán huấn luyện
• Mạng ký ức dị kết
• Mạng ký ức tự kết
• Mạng tự kết lặp
• Mạng ký ức kết hợp lưỡng hướng
9Kết hợp mẫu
ếMạng ký ức dị k t (2)
X1
w1j
Y1w11
w 1
1 _ 0
0 0
nÕu
nÕu
jy vao
y y vao
X
Y
i wn1
w
_
1 _ 0
nÕu
j j
jy vao
i
j
w1m
ij
w
1 _ 0nÕu jy vaoy
Xn Ym
im
wnm
0 _ 0nÕu j jy vao
Kết hợp mẫu 10
ếMạng ký ức dị k t (3)
s1 s2 s3 s4 t1 t2
VD1
4
y vao w x X1
w11
w12
1 0 0 0 1 0
1 1 0 0 1 0
0 0 0 1 0 1
1
_ j ij i
i
X2 Y1w21
w22
0 0 1 1 0 1
(1,0,0,0) : (1,0)
X3 Y2
w
w31
w32
1 21; 0y y
11 11 1 1( ) ( ) 0 1 1míi còw w x y
(1 1 0 0) (1 0)
X4
41
w42
1 0nÕu jy vao
, , , : ,
1 21; 0y y
11 11 1 1( ) ( ) 1 1 2míi còw w x y
Kết hợp mẫu 11
_
0 _ 0nÕu j j
y
y vao
21 21 2 1( ) ( ) 0 1 1míi còw w x y
ếMạng ký ức dị k t (4)
s1 s2 s3 s4 t1 t2
VD1
2 0
Cách 1
1 0 0 0 1 0
1 1 0 0 1 0
0 0 0 1 0 1
1 0
0 1
0 2
w
0 0 1 1 0 1
(1,0,0,0) : (1,0) (0,0,0,1) : (0,1)
1 21; 0y y
11 11 1 1( ) ( ) 0 1 1míi còw w x y
(1 1 0 0) (1 0)
1 20; 1y y
42 42 4 2( ) ( ) 0 1 1míi còw w x y
(0 0 1 1) : (0 1), , , : ,
1 21; 0y y
11 11 1 1( ) ( ) 1 1 2míi còw w x y
, , , ,
1 20; 1y y
32 32 3 2( ) ( ) 0 1 1míi còw w x y
Kết hợp mẫu 12
21 21 2 1( ) ( ) 0 1 1míi còw w x y 42 42 4 2( ) ( ) 1 1 2míi còw w x y
ếMạng ký ức dị k t (5)
s1 s2 s3 s4 t1 t2
VD1
4
y vao w x X1
w11
w12
1 0 0 0 1 0
1 1 0 0 1 0
0 0 0 1 0 1
1
_ j ij i
i
X2 Y1w21
w22
0 0 1 1 0 1
2 0
X3 Y2
w
w31
w32
1 0
0 1
0 2
w
X4
41
w42
1 0nÕu jy vao
1 1 2_ 2
2
y vao x x
Kết hợp mẫu 13
_
0 _ 0nÕu j j
y
y vao
2 3 4
_y vao x x
ếMạng ký ức dị k t (6)
s1 s2 s3 s4 t1 t2
VD1 Cách 2
1 0 1 0 0 0 0 0 2 0 1 0 0 0 1 0
1 1 0 0 1 0
0 0 0 1 0 1
0 0 1 0 0 0 0 0 1 0
0 0 0 0 0 0 0 1 0 1
w
0 0 1 1 0 1
(1,0,0,0) : (1,0) 1 1 0 (0,0,0,1) : (0,1)
0 0 0
0 0 0 0 0 1 0 1 0 2
(1) 0 0 01 0
0 0 0
0 0 0
w
(1 1 0 0) (1 0)
(3) 0 0 00 1
0 0 0
1 0 1
w
(0 0 1 1) : (0 1), , , : ,
(2)
1 1 0
1 1 0
1 0
w
, , , ,
(4)
0 0 0
0 0 0
0 1
w
Kết hợp mẫu 14
0 0 0
0 0 0
1 0 1
1 0 1
ếMạng ký ức dị k t (7)
s1 s2 s3 s4 t1 t2
VD1
X1
w11
w12
1 0 0 0 1 0
1 1 0 0 1 0
0 0 0 1 0 1
X2 Y1w21
w22
0 0 1 1 0 1
2 0
X3 Y2
w
w31
w32
1 0
0 1
0 2
w
X4
41
w42
1 0nÕu jy vao 1 2 1 2 3 4
2 0
1 0
y vao y vao x x x x
Kết hợp mẫu 15
_
0 _ 0nÕu j j
y
y vao
_ _
0 1
0 2
ếMạng ký ức dị k t (8)
s1 s2 s3 s4 t1 t2
VD2
4 4 1 –1 –1 –1 1 –1
1 1 –1 –1 1 –1
–1 –1 –1 1 –1 1
2 2
2 2
w
–1 –1 1 1 –1 1
(1, 1, 1, 1) : (1, 1) 1 1 1 ( 1, 1, 1,1) : ( 1,1)
1 1 1
4 4
(1) 1 1 11 1
1 1 1
1 1 1
w
(1 1 1 1) (1 1)
(3) 1 1 11 1
1 1 1
1 1 1
w
( 1 1 1 1) : ( 1 1), , , : ,
(2)
1 1 1
1 1 1
1 1
w
, , , ,
(4)
1 1 1
1 1 1
1 1
w
Kết hợp mẫu 16
1 1 1
1 1 1
1 1 1
1 1 1
ếMạng ký ức dị k t (9)
s1 s2 s3 s4 t1 t2
VD3
2 0 y vao x w1 0 0 0 1 0
1 1 0 0 1 0
0 0 0 1 0 1
1 0
0 1
0 2
w 1 _ 0
0 _ 0
nÕu
nÕu
j
j
j
y vao
y
y vao
_ .
0 0 1 1 0 1
Kiểm tra: x1 = (0,1,0,0) & x2 = (0,1,1,0)?
1
2 0
1 0
0 1 0 0 1 0
y vao 2
2 0
1 0
0 1 1 0 1 1
y vao0 1
0 2
_
0 1
0 2
_
Kết hợp mẫu 17
1 1 0 y 2 1 1 y
ếMạng ký ức dị k t (10)VD4
4 4 s1 s2 s3 s4 t1 t2 y vao x w
2 2
2 2
4 4
w
1 –1 –1 –1 1 –1
1 1 –1 –1 1 –1
–1 –1 –1 1 –1 1
1 _ 0
1 _ 0
nÕu
nÕu
j
j
j
y vao
y
y vao
_ .
Kiểm tra x = (0,1,0,–1)?
–1 –1 1 1 –1 1
4 4 2 20 1 0 1 6 6
2 2
4 4
y_vao 1 1 y
Kết hợp mẫu 18
Nội dung
• Giới thiệu
• Các thuật toán huấn luyện
• Mạng ký ức dị kết
• Mạng ký ức tự kết
• Mạng tự kết lặp
• Mạng ký ức kết hợp lưỡng hướng
19Kết hợp mẫu
ếMạng ký ức tự k t (2)
X1
w1j
Y1w11
w 1
X
Y
i wn1
w
1 _ 0nÕu j
j
y vao
y
i
j
w1n
ij
w
1 _ 0nÕu jy vao
Xn Yn
in
wnn
Kết hợp mẫu 20
ếMạng ký ức tự k t (3)
Bước 1 Khởi tạo tất cả các trọng số
wi = 0 (i = 1 tới n)
B ớ 2 Đặt iá t ị h á đầ àư c g r c o c c nơron u v o
xi = si
Bước 3 Đặt giá trị cho nơron đầu ra
yj = tj
Bước 4 Chỉnh trọng số
wi(mới) = wi(cũ) + xiyj (i = 1 tới n)
Bước 5 Lặp lại các bước 2, 3, 4 cho tất cả cặp đầu vào & đầu ra của bộ huấn luyện
( ) ( )
P
T i i w s s
Kết hợp mẫu 21
1i
ếMạng ký ức tự k t (4)VD1
Xây dựng mạng nơron lưu trữ x1 = (1,1,1,–1)?
P
1
( ) ( )T
i
i i
w s s
1
1 1 1 1 1
1 1 1 1 1
1 1 1 1
w 1 1 1 1 1
1 1 1 1 1
Kết hợp mẫu 22
ếMạng ký ức tự k t (5)VD2
1 1 1 1 1 (1,1,1, 1) x
1 1 1 1
1 1 1 1
w
2
3
4
( 1,1,1, 1)
(1, 1,1, 1)
(1,1, 1, 1)
x
x
x
Cho ; tính:
1 1 1 1
5 (1,1,1,1)x
1 1 1 1
1 1 1 1 1 11 1 1 1 4 4 4 41 1 1 1
y_vao x w
1 1 1 1
1 1 1 1
Kết hợp mẫu 23
1 y
ếMạng ký ức tự k t (6)VD2
1 1 1 1 1 (1,1,1, 1) x
1 1 1 1
1 1 1 1
w
2
3
4
( 1,1,1, 1)
(1, 1,1, 1)
(1,1, 1, 1)
x
x
x
Cho ; tính:
1 1 1 1
5 (1,1,1,1)x
4 4 4 4 1 1 1 1 y vao x w y
2 2 22 2 2 2 1 1 1 1 y_vao x w y
1 1 1_
3 3 32 2 2 2 1 1 1 1 y_vao x w y
4 4 42 2 2 2 1 1 1 1 y_vao x w y
Kết hợp mẫu 24
5 5 52 2 2 2 1 1 1 1 y_vao x w y
ếMạng ký ức tự k t (7)VD3
1 1 1 1 1 (1,1,1, 1) x
1 1 1 1
1 1 1 1
w
2
3
4
(0,1,1, 1)
(1,0,1, 1)
(1,1,0, 1)
x
x
x
Cho ; tính:
1 1 1 1
5 (1,1,1,0)x
4 4 4 4 1 1 1 1 y vao x w y
2 2 23 3 3 3 1 1 1 1 y_vao x w y
1 1 1_
3 3 33 3 3 3 1 1 1 1 y_vao x w y
4 4 43 3 3 3 1 1 1 1 y_vao x w y
Kết hợp mẫu 25
5 5 53 3 3 3 1 1 1 1 y_vao x w y
ếMạng ký ức tự k t (8)VD4
1 1 1 1
1 1 1 1
1 1 1 1
w 1
2
(1,1,1, 1)
( 1, 1,1, 1)
x
x
Cho ; tính:
1 1 1 1
4 4 4 4 1 1 1 1 y vao x w y
2 2 0 0 0 0 y_vao x w
1 1 1_
Kết hợp mẫu 26
ếMạng ký ức tự k t (9)VD5
1 1 1 1 0 1 1 1 1
(1,1,1, 1) x
0
1 1 1 1 1 0 1 1
;
1 1 1 1 1 1 0 1
1 1 1 1 1 1 1 0
w w 2
3
(0,0,1, 1)
(0,1,0, 1)
(0 1 1 0)
x
x
x
Cho ; tính:
4 4 4 4 1 1 1 1 y vao x w y
4
5
6
, , ,
(1,0,0, 1)
(1,0,1,0)
x
x
1 1 0 13 3 3 3 1 1 1 1 y_vao x w y
1 1 1_
7 (1,1,0,0)x
2 2 0 22 2 1 1 1 1 1 1 y_vao x w y
3 3 0 32 1 2 1 1 1 1 1 y_vao x w y
Kết hợp mẫu 27
4 4 0 42 1 1 2 1 1 1 1 y_vao x w y
ếMạng ký ức tự k t (10)
a) Xây dựng mạng nơron lưu trữ x1 = (1,1,–1,–1)
b) Xây dựng mạng nơron lưu trữ x = ( 1 1 1 1)
VD6
2 – , , ,–
1 1 1 2 2 2
1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1
;
1 1 1 1 1 1 1 1
T T
w x x w x x
1 1 1 1 1 1 1 1
Hoặc
10 20
0 1 1 1 0 1 1 1
1 0 1 1 1 0 1 1
;
1 1 0 1 1 1 0 1
w w
Kết hợp mẫu 28
1 1 1 0 1 1 1 0
ếMạng ký ức tự k t (11)
Xây dựng mạng nơron lưu trữ x1 = (1,1,–1,–1) & x2 = (–1,1,1,–1)
VD7
1 1 1 2 2 2
1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1
;
1 1 1 1 1 1 1 1
T T
w x x w x x
1 1 1 1 1 1 1 1
2 0 2 0
0 2 0 2
1 1 4 4 4 4 y_vao x w
1 2 2 0 2 0
0 2 0 2
w w w 1 1 1 1 1 y
1 1 0 2 2 2 2 y_vao x w
Hoặc 0
0 0 2 0
0 0 0 2
2 0 0 0
w
1 1 1 1 1 y
2 2 0 2 2 2 2 y vao x w
Kết hợp mẫu 29
0 2 0 0
2 1 1 1 1
_
y
ếMạng ký ức tự k t (12)
Xây dựng mạng nơron lưu trữ x1 = (1,–1,–1, 1) & x2 = (1,1,–1,1)
VD8
1 2
0 1 1 1 0 1 1 1
1 0 1 1 1 0 1 1
;
1 1 0 1 1 1 0 1
w w
1 1 1 0 1 1 1 0
0 0 2 2
0 0 0 0
1 2 2 0 0 2
2 0 2 0
w w w
1 1 0 4 0 4 4 y_vao x w
Kết hợp mẫu 30
2 2 0 4 0 4 4 y_vao x w
ếMạng ký ức tự k t (13)
Xây dựng mạng nơron lưu trữ x1 = (1,1,–1,–1), x2 = (–1,1,1,–1), & x3 = (–1,1,–1,1)
VD9
10 20 30
0 1 1 1 0 1 1 1 0 1 1 1
1 0 1 1 1 0 1 1 1 0 1 1
;
1 1 0 1 1 1 0 1 1 1 0 1
w w w
1 1 1 0 1 1 1 0 1 1 1 0
0 1 1 1
1 0 1 1
0 10 20 30 1 1 0 1
1 1 1 0
w w w w
1 1 0 11 1 1 1 1 1 1 1 y_vao x w y
2 2 0 21 1 1 1 1 1 1 1 y_vao x w y
Kết hợp mẫu 31
3 3 0 31 1 1 1 1 1 1 1 y_vao x w y
ếMạng ký ức tự k t (14)
Xây dựng mạng nơron lưu trữ x1 = (1,1,–1,–1), x2 = (–1,1,1,–1), x3 = (–1,1,–1,1), &
x = (1 1 1 1)
VD10
4 , , , .
0 1 1 1 0 1 1 1 0 1 1 1
10 20 30
1 0 1 1 1 0 1 1 1 0 1 1
;
1 1 0 1 1 1 0 1 1 1 0 1
1 1 1 0 1 1 1 0 1 1 1 0
w w w
0 1 1 1
1 0 1 1
0 0 0 0
0 0 0 0
40 1 1 0 1
1 1 1 0
w 0 10 20 30 40 0 0 0 0
0 0 0 0
w w w w w
Kết hợp mẫu 32
ếMạng ký ức tự k t (15)
n – 1 véctơ phân cực (mỗi véctơ có n phần tử) trực giao
lẫ h l ô l l i đ t ột t kếtn n au u n ưu ạ ược rong m mạng ự
Kết hợp mẫu 33
Nội dung
• Giới thiệu
• Các thuật toán huấn luyện
• Mạng ký ức dị kết
• Mạng ký ức tự kết
• Mạng tự kết lặp
• Mạng ký ức kết hợp lưỡng hướng
34Kết hợp mẫu
ếMạng tự k t lặp (1)VD1
0 1 1 1
1 0 1 1
1 1 0 1
w 1
2
(1,1,1, 1)
(1,0,0,0)
x
x
Cho ; tính:
1 1 1 0
(1)2 2 0 1 1 1 y_vao x w
(2) (1)2 2 3 2 2 2 y_vao y_vao w
1 1 1 1 y
Kết hợp mẫu 35
ếMạng tự k t lặp (2)
Bước 1 Khởi tạo tất cả các trọng số & các hệ số học
Bước 2 Đặt giá trị kích hoạt
yi = xi
Bước 3 Tính các đầu vào
Bước 4 Tính các đầu ra
_ i i j ji
j
y vao y y w
1 _ 1
_ 1 _ 1
1 1
nÕu
nÕu
nÕu
i
i i i
i
y vao
y y vao y vao
y vao
Bước 4 Chỉnh trọng số
wij(mới) = wij(cũ) + βyiyj
Bước 5 Lặp lại các bước 2, 3, 4 cho tất cả cặp đầu vào & đầu ra của bộ huấn luyện
_
Kết hợp mẫu 36
Các file đính kèm theo tài liệu này:
- mnn_ket_hop_mau_2012b_mk_2491.pdf