Mạng nơron và ứng dụng trong xử lý tín hiệu

Nguyễn Công Phương Mạng nơron và ứng dụng trong xử lý tín hiệu Giới thiệu Nội dung • Giới thiệu • Các mạng nơron đơn giản dùng cho phân loại mẫu • Kết hợp mẫu • Các mạng cạnh tranh • Lý thuyết cộng hưởng thích nghi • Mạng lan truyền ngược Lô í h ờ à ơ lô í h ờ• g c m v mạng n ron g c m • Một số ứng dụng trong xử lý tín hiệu 2Giới thiệu Tài liệu tham khảo • L. Fausett. Fundamentals of Neural Networks – Architectures, Algorithms, and Applications. Prentice Hall,1994 • J. Freeman, D. Skapura. Neural Networks – Algorithms, Applications, and Programming Techniques. Addison- Wesley, 1991 • A. Galushkin. Neural Network Theory. Springer, 2007 • N. Kasabov. Foundations of Neural Networks, Fuzzy Systems, and Knowledge Engineering. MIT Press, 1998 • https://sites.google.com/site/ncpdhbkhn/ Giới thiệu 3 Nội dung • Giới thiệu • Phân loại mạng nơron • Thiết lập trọng số • Hàm kích hoạt • Nơron MCP 4Giới thiệu Giới thiệu (1) • Mạng nơron nhân tạo (MNN): hệ thống xử lý thông tin có một số tính chất giống với mạng nơron sinh học • Tính chất: ầ– Thông tin được xử lý ở các ph n tử đơn giản gọi là nơron – Tín hiệu lan truyền giữa các nơron thông qua các kết nối – Mỗi kết nối có một trọng số (được nhân với tín hiệu lan truyền) – Mỗi nơron có một hàm kích hoạt (thường là phi tuyến) tác động lên đầu vào để tạo thành đầu ra • Đặc trưng: – Kiểu kết nối giữa các nơron (gọi là cấu trúc) – Phương pháp xác định các trọng số (gọi là thuật toán học/huấn luyện) – Hàm kích hoạt Giới thiệu 5 Giới thiệu (2) X1 w1 Z1 v1 YX2 w2 w v2 X3 3 Z2 Lớp ẩn ( )f   Đầu vào Đầu ra Giới thiệu 6 1 1 2 2 3 3y w x w x w x Giới thiệu (3) • Các ứng dụng chính: – Xử lý tín hiệu – Điều khiển – Nhận dạng mẫu – Y học – Tổng hợp tiếng nói – Nhận dạng tiếng nói Ki h d h– n oan Giới thiệu 7 Nội dung • Giới thiệu • Phân loại mạng nơron – Mạng một lớp – Mạng nhiều lớp – Mạng cạnh tranh • Thiết lập trọng số • Hàm kích hoạt • Nơron MCP 8Giới thiệu Mạng một lớp X1 w1j Y1w11 w 1 X  Y i wn1 wi  j w1m ij w Xn Ym im wnm Giới thiệu 9 ềMạng nhi u lớp X1 w1j Z1w11 w 1 Y1 w1j w11 wi1 X  Z i wn1 w Y wn1 wi  j w1m ij w i w1m ij w Xn Zp im wnm Ym im wnm Giới thiệu 10 Mạng cạnh tranh A1 A 1 1 m     A1 A11 1 Giới thiệu 11 Nội dung • Giới thiệu • Phân loại mạng nơron • Thiết lập trọng số – Huấn luyện có giám sát – Huấn luyện không giám sát – Trọng số cố định • Hàm kích hoạt • Nơron MCP 12Giới thiệu ấHu n luyện có giám sát • Véctơ huấn luyện (mẫu) được kèm theo véctơ mục tiêu • Các trọng số được điều chỉnh theo một thuật toán huấn luyện • Thường dùng cho các bài toán phân loại • VD: mạng lan truyền ngược Giới thiệu 13 ấHu n luyện không giám sát • Mạng tự tổ chức • Nhóm các véctơ đầu vào với nhau, không cần biết đặc điểm của (mỗi) nhóm • Không có véctơ mục tiêu • Mạng tự tạo ra véctơ đặc trưng của từng nhóm • VD: mạng Kohonen Giới thiệu 14 ố ốTrọng s c định • Dùng khi khó huấn luyện • VD: mạng Boltzmann, mạng Hopfield liên tục Giới thiệu 15 Nội dung • Giới thiệu • Phân loại mạng nơron • Thiết lập trọng số • Hàm kích hoạt – Đồng nhất – Bước nhị phân – Sigmoid nhị phân – Sigmoid lưỡng cực • Nơron MCP 16Giới thiệu ồ ấHàm đ ng nh t ( )f x x ( )f Giới thiệu 17 x x Hàm bước nhị phân ( )f x 1 x 1 ( ) 0 nÕu nÕu      x f x x Giới thiệu 18 Hàm sigmoid nhị phân ( )f x 1 3  1  x0 1( ) 1    xf x e Giới thiệu 19 '( ) ( )[1 ( )] f x f x f x Hàm sigmoid lưỡng cực ( )f x 1 1  x0 1 2 1( ) 2 ( ) 1 1 1 1              x x x eg x f x e e Giới thiệu 20 '( ) [1 ( )][1 ( )] 2   g x g x f x Nội dung • Giới thiệu • Phân loại mạng nơron • Thiết lập trọng số • Hàm kích hoạt • Nơron MCP 21Giới thiệu Nơron McCulloch – Pitts (1) X1 YX 2 22 –1 X3 Giới thiệu 22 Nơron McCulloch – Pitts (2) X1 w Y Xn w Xn+1  –p p Xn+m – 1 _ ( _ ) 0 _ nÕu nÕu      y vao f y vao y vao Giới thiệu 23 Nơron McCulloch – Pitts (3) X1 Y 1 2 1 X2 Giới thiệu 24 Nơron McCulloch – Pitts (4) X1 Y 2 2 2 X2 Giới thiệu 25 Nơron McCulloch – Pitts (5) X1 Y 2 2 –1 X2 Giới thiệu 26 Nơron McCulloch – Pitts (6) Z1X1 2 Y 2–1 2  2 –1 –1 Z2X2 2 2  Giới thiệu 27