Mạng thần kinh nhân tạo truy hồi thời gian trễ và ứng dụng dựbáo nhiệt độtối thấp cho khu vực đồng bằng phía Bắc Việt Nam

Tạp chí Khoa học Đại học Quốc gia Hà Nội, Khoa học Tự nhiên và Công nghệ  25, Số 1S (2009) 28‐34 28 _______ Mạng thần kinh nhân tạo truy hồi thời gian trễ và ứng dụng dự báo nhiệt độ tối thấp cho khu vực đồng bằng phía Bắc Việt Nam Nguyễn Hướng Điền1,*, Hoàng Thanh Vân1, Hoàng Phúc Lâm2 1Khoa Khí tượng Thủy văn và Hải dương học, Trường Đại học Khoa học Tự nhiên, ĐHQGHN 2Trung tâm Dự báo Khí tượng Thuỷ văn Trung ương Ngày nhận 02 tháng 01 năm 2009 Tóm tắt. Cùng với những nghiên cứu trước đây sử dụng mạng thần kinh nhân tạo (TKNT) dự báo nhiệt độ tối cao, chúng tôi đã thử nghiệm dự báo nhiệt độ tối thấp cho khu vực nghiên cứu bằng việc sử dụng một loại mạng TKNT nữa - mạng truy hồi thời gian trễ. Kết quả đạt được với bài toán dự báo là khả quan, hệ số tương quan rất lớn (luôn >0,93) và sai số nằm trong ngưỡng cho phép của dự báo nghiệp vụ (RMSE trong khoảng từ 1,490C đến 1,590C và MAE xấp xỉ 1,10C). Tuy nhiên chất lượng dự báo nhiệt độ tối thấp của mô hình mạng TKNT trong mùa đông và mùa xuân chưa được cao lắm. 1. Giới thiệu về mạng thần kinh nhân tạo truy hồi thời gian trễ∗ Nhận thức đa lớp là thuật toán mạng phổ biến nhất, nhưng nó chỉ có thể giải quyết các thông tin đồng thời, do trong hệ thống của nó không có bộ nhớ và chỉ thực hiện lan truyền tiến. Trong khoa học, kỹ thuật, việc xử lý các tín hiệu, các giá trị đại lượng tại các thời điểm khác nhau có liên hệ với nhau, đòi hỏi các hệ thống phải có bộ nhớ. Điều này đặc biệt có ý nghĩa trong khí tượng, khi các đại lượng khí tượng đều có quán tính, có tính thống nhất theo thời gian. Một động lực nữa đòi hỏi phải sử dụng bộ nhớ đó là hồi tiếp (Feedback), hay đơn giản là sử dụng có hiệu quả các thông tin sẵn có. Đó cũng chính là lý do cho sự ra đời của mạng truy hồi. Nhưng các mạng TKNT truy hồi đầy đủ rất khó luyện để đạt tới trạng thái ổn định. Việc xây dựng một thuật toán khác (không phải thuật toán truy hồi), dựa trên mạng nhận thức đa lớp nhưng có thêm một hệ thống con để chứa các thông tin trong quá khứ là cần thiết và thích hợp hơn. Những hệ thống con này được gọi là các cấu trúc bộ nhớ ngắn hạn (Short-term memory structures) [Jose C. Principe, 2000]. Sự kết hợp của mạng nhận thức đa lớp và các cấu trúc bộ nhớ ngắn hạn được gọi là mạng thời gian trễ (Time-Lagged Network), các cấu trúc bộ nhớ thậm chí có thể là truy hồi, nhưng chỉ là hồi tiếp địa phương (để tính ổn định dễ đảm bảo hơn). Khi kết hợp mạng truy hồi với các cấu trúc bộ nhớ thì ta có mạng truy hồi thời gian trễ (Time-Lagged Recurrent Network). Thông thường, với một mạng thời gian trễ tổng quát nhất, bộ nhớ sẽ được đặt ở tất cả các thành phần của mạng, điều ∗ Tác giả liên hệ. ĐT: 84-4-38584943. E-mail: diennh@yahoo.com N.H. Điền và nnk. / Tạp chí Khoa học ĐHQGHN, Khoa học Tự Nhiên và Công nghệ 25, Số 1S (2009) 28‐34 29 đó sẽ tăng khả năng của mạng rất nhiều nhưng cũng sẽ mất rất nhiều thời gian để luyện và số liệu cũng cần nhiều để đảm bảo tính đặc trưng của mạng. Một trong những thuật toán giúp đơn giản hoá vấn đề này là thuật toán tập trung (Focused), trong đó bộ nhớ ngắn hạn chỉ được đặt ở lớp nhập. Chức năng của bộ nhớ ngắn hạn trong mạng thời gian trễ tập trung là chứa các thông tin, tín hiệu trong quá khứ của lớp nhập, trong khi các phần tử hoạt động phi tuyến cung cấp các ánh xạ tương tự như ở mạng nhận thức đa lớp. Trong bài báo này, mạng truy hồi thời gian trễ là lựa chọn số một cho bài toán phân tích chuỗi thời gian dự báo nhiệt độ tối thấp. Hình 1. Mạng thời gian trễ với thuật toán tập trung. Cấu trúc bộ nhớ đơn giản nhất được xây dựng từ chuỗi trì hoãn (delay line) hay bộ nhớ trễ. Bộ nhớ trễ là một hệ thống nhập đơn - xuất đa, có duy nhất một tham số là kích thước bộ nhớ K. Loại bộ nhớ này được sử dụng rất hiệu quả cùng với mạng thời gian trễ (Time-delay Neural Network) trong việc nhận dạng giọng nói và xác định hệ thống. (Kung, 1993) (hình 2). Một cơ chế khác cho bộ nhớ tuyến tính đó là hồi tiếp (hình 3). Hồi tiếp cho phép hệ thống nhớ các sự kiện trong quá khứ. Không giống như bộ nhớ trì hoãn, bộ nhớ hồi tiếp còn cung cấp cho hệ thống luyện tham số µ, giúp chỉnh độ dài của bộ nhớ. Bộ nhớ hồi tiếp được sử dụng cùng với mạng Elman và Jordan [Haykin, 1994]. Hình 2. Bộ nhớ trễ. Hình 3. Bộ nhớ hồi tiếp. N.H. Điền và nnk. / Tạp chí Khoa học ĐHQGHN, Khoa học Tự Nhiên và Công nghệ 25, Số 1S (2009) 28‐34 30 Ta có thể kết hợp ưu điểm của bộ nhớ hồi tiếp và bộ nhớ trễ trong các hệ thống tuyến tính, được gọi là chuỗi khuếch tán trễ (Dispersive Delay Lines). Bộ nhớ được dùng nhiều nhất thuộc loại này là bộ nhớ gamma (hình 4). Bộ nhớ gamma có một tham số tự do là µ, dùng để điều khiển độ dài bộ nhớ (là khoảng thời gian giữa thời điểm xung trả lời đầu tiên và thời điểm tác động cuối cùng K: D = K/µ) dựa trên độ phân giải của bộ nhớ (số kết xuất trong một đơn vị thời gian: R=µ). Tham số µ có thể được điều chỉnh để đạt được sai số nhỏ nhất. Đây chính là ưu điểm của bộ nhớ gamma so với bộ nhớ hồi tiếp. Hình 4. Bộ nhớ gamma. Ưu điểm của thuật toán tập trung là các trọng số mạng nhận thức đa lớp vẫn có thể được điều chỉnh bằng thuật toán lan truyền ngược. Lớp bộ nhớ giúp mang thêm thông tin trong quá khứ, làm tăng giá trị của ánh xạ. Khi sử dụng bộ nhớ trễ, sự lan truyền ngược cũng có thể được sử dụng vì khi này chỉ có các trọng số của mạng nhận thức đa lớp là các thông số được điều chỉnh. Khi sử dụng bộ nhớ gamma, thông số lặp được điều chỉnh trong một hệ thống thích ứng toàn phần. Phương trình dùng để thích ứng các thông số cho các loại bộ nhớ được cho trong hình vẽ tương ứng ở trên. Trong bài báo này, nhóm nghiên cứu sử dụng mạng truy hồi thời gian trễ với 1 lớp nhập, 1 lớp ẩn và 1 lớp xuất để dự báo nhiệt độ tối thấp. Số liệu đầu vào là chuỗi số liệu quan trắc nhiệt độ tối thấp liên tục trong 9 năm từ 1981 đến 1989 của 4 trạm là Láng (Hà Nội), Phủ Liễn (Hải Phòng), Thanh Hóa và Vinh; số liệu năm 1990 được sử dụng để đánh giá chất lượng mạng. Qua quá trình thử nghiệm và đánh giá cho các loại mạng khác nhau với số lượng nút ẩn khác nhau: lần lượt là 3, 5 và 10 nút ẩn. Kết quả cho thấy mạng có một lớp ẩn với 5 nút ẩn cho chất lượng tốt nhất. 2. Kết quả dự báo nhiệt độ tối thấp và nhận xét Kết quả đánh giá cho 4 trạm tiêu biểu nêu trên với mạng TKNT có một lớp ẩn và 5 nút ẩn được trình bày trong các bảng và hình vẽ dưới đây: N.H. Điền và nnk. / Tạp chí Khoa học ĐHQGHN, Khoa học Tự Nhiên và Công nghệ 25, Số 1S (2009) 28‐34 31 Bảng 1. Các chỉ số đánh giá dự báo nhiệt độ tối thấp Láng Phủ Liễn Thanh Hóa Vinh MAE (0C) 1.14 1.10 1.10 1.07 RMSE (0C) 1.59 1.55 1.49 1.56 E-max (0C) -3.07 -3.86 -3.05 -4.00 E+max (0C) 8.07 7.56 7.30 8.07 NE<2 309 314 311 317 DP 9 17 11 16 AC 0.94 0.94 0.94 0.93 N 365 365 365 365 Ghi chú: MAE: Sai số tuyệt đối trung bình, RMSE: Sai số quân phương, E-max: Sai số dự báo hụt nhiều nhất, E+max: Sai số dự báo vượt nhiều nhất, NE<2: Số dự báo có sai số tuyệt đối nhỏ hơn 20C, DP: Số cặp quan trắc - Dự báo trùng khớp (sai số nhỏ hơn 0.050C), AC: Hệ số tương quan, N: Số quan trắc. Kết quả đánh giá dự báo độc lập cho thấy chất lượng của mạng TKNT rất khả quan, RMSE chỉ dao động trong khoảng 1,490C (trạm Thanh Hóa) đến 1,590C (trạm Láng), đồng thời MAE đều xấp xỉ 1,10C. Hệ số tương quan luôn đạt ở mức cao (0.93 và 0,94), số dự báo có sai số tuyệt đối nhỏ hơn 20C dao động trong khoảng từ 84,7% (Láng) tới 86,8% (Vinh). Tuy nhiên đôi khi mạng TKNT cũng cho kết quả không thực sự tốt, sai số dự báo vượt cực đại lên tới 7 - 80C còn sai số dự báo hụt lớn nhất cũng từ 3 đến 40C. Để có đánh giá chi tiết hơn, ta chia nhỏ giai đoạn đánh giá ra thành từng mùa ba tháng một. Bảng 2. Các chỉ số đánh giá dự báo nhiệt độ tối thấp theo 3 tháng Láng Phủ Liễn Chỉ số/Tháng 1-2-3 4-5-6 7-8-9 10-11-12 1-2-3 4-5-6 7-8-9 10-11-12 ME (0C) 0.06 -0.12 -0.20 0.16 0.09 -0.02 -0.26 0.07 RMSE (0C) 1.57 1.98 1.14 1.55 1.47 1.89 1.41 1.37 E-max (0C) -3.07 -2.88 -2.15 -2.63 -3.69 -2.75 -3.86 -3.36 E+max (0C) 6.17 8.07 3.08 7.74 6.46 7.56 4.47 7.38 Thanh Hóa Vinh Chỉ số/Tháng 1-2-3 4-5-6 7-8-9 10-11-12 1-2-3 4-5-6 7-8-9 10-11-12 ME (0C) 0.08 -0.15 -0.13 0.12 0.07 -0.11 -0.11 0.12 RMSE (0C) 1.42 1.86 1.07 1.49 1.54 1.83 1.07 1.69 E-max (0C) -2.57 -2.82 -3.05 -2.89 -3.16 -3.26 -2.04 -4.00 E+max (0C) 6.89 5.70 2.01 7.30 7.01 6.61 3.67 8.07 Bảng 2 cho ta thấy xu thế khá thú vị của các mô hình mạng TKNT cho tất cả các trạm, đó là các mô hình mạng TKNT thường có xu hướng dự báo nhiệt độ tối thấp lớn hơn thực tế trong các tháng mùa đông và mùa xuân (từ tháng 10 năm trước đến tháng 3 năm sau) và dự báo thấp hơn N.H. Điền và nnk. / Tạp chí Khoa học ĐHQGHN, Khoa học Tự Nhiên và Công nghệ 25, Số 1S (2009) 28‐34 32 thực tế trong các tháng mùa hè và thu. 3 tháng 7, 8 và 9 cũng thường cho kết quả dự báo tốt nhất (RMSE trong 3 tháng này nhỏ nhất, trừ trạm Phủ Liễn đạt cực tiểu trong 3 tháng 10, 11 và 12). 5.0 10.0 15.0 20.0 25.0 30.0 35.0 5.0 10.0 15.0 20.0 25.0 30.0 35.0 Quan trắc (độ C) D ự b áo (đ ộ C ) Láng Hình 5. Kết quả đánh giá trạm Láng. 5.0 10.0 15.0 20.0 25.0 30.0 35.0 5.0 10.0 15.0 20.0 25.0 30.0 35.0 Quan trắc (độ C) D ự b áo (đ ộ C ) Phủ Liễn Hình 6. Kết quả đánh giá trạm Phủ Liễn. N.H. Điền và nnk. / Tạp chí Khoa học ĐHQGHN, Khoa học Tự Nhiên và Công nghệ 25, Số 1S (2009) 28‐34 33 5.0 10.0 15.0 20.0 25.0 30.0 35.0 5.0 10.0 15.0 20.0 25.0 30.0 35.0 Quan trắc (độ C) D ự b áo (đ ộ C ) Thanh Hóa Hình 7. Kết quả đánh giá trạm Thanh Hóa. 5.0 10.0 15.0 20.0 25.0 30.0 35.0 5.0 10.0 15.0 20.0 25.0 30.0 35.0 Quan trắc (độ C) D ự b áo (đ ộ C ) Vinh Hình 8. Kết quả đánh giá trạm Vinh. 3. Kết luận Cùng với những nghiên cứu trước đây [Nguyễn Hướng Điền, Hoàng Phúc Lâm, 2006, 2007, 2008], mạng TKNT đã cho thấy khả năng ứng dụng cao trong các bài toán từ phức tạp đến đơn giản. Đây là những kết quả thử nghiệm với một loại mạng TKNT nữa - mạng truy hồi thời gian trễ. Kết quả đạt được với bài toán dự báo nhiệt độ tối thấp là khả quan, hệ số tương quan N.H. Điền và nnk. / Tạp chí Khoa học ĐHQGHN, Khoa học Tự Nhiên và Công nghệ 25, Số 1S (2009) 28‐34 34 rất lớn và sai số nằm trong ngưỡng cho phép của dự báo nghiệp vụ. Tuy nhiên vẫn còn những tồn tại cần tiếp tục nghiên cứu giải quyết, đó là chất lượng dự báo nhiệt độ tối thấp của mô hình mạng TKNT trong mùa đông và mùa xuân chưa được cao lắm. Bài báo là một phần kết quả của đề tài NCCB mã số 705306. Tài liệu tham khảo [1] J.C. Principe, Artificial Neural Network, CRC Press LLC, 2000. [2] S. Haykin, Neural Networks: A Comprehensive Foundation, New York, 1994. [3] Nguyễn Hướng Điền, Hoàng Phúc Lâm, Dự báo tổng lượng bứcc xạ ngày cho khu vực đồng bằng phía Bắc Việt Nam bằng phương pháp sử dụng mạng thần kinh nhân tạo, Tạp chí Khoa học Đại học Quốc gia Hà Nội, Chuyên san Khoa học Tự nhiên và Công nghệ, tập 22, số 2B PT (2006) 9. [4] Hoàng Phúc Lâm, Nghiên cứu ứng dụng mạng TKNT dự báo một số yếu tố khí tượng cho các tỉnh đồng bằng phía Bắc Việt Nam, Luận văn cao học, 2007. [5] Hoàng Phúc Lâm, Nguyễn Hướng Điền, Dự báo nhiệt độ tối cao cho khu vực đồng bằng phía Bắc Việt Nam bằng mạng thần kinh nhân tạo, Tạp chí Khí tượng Thuỷ văn, số 571 (2008) 20. [6] Nguyễn Đình Thúc, Hoàng Đức Hải, Mạng nơron: Quy tắc và ứng dụng, NXB Giáo dục, 2000. Time-lagged recurrent neural network and application in minimum temperature forecasting for Northern Vietnam flat area Nguyen Huong Dien1, Hoang Thanh Van1, Hoang Phuc Lam2 1Faculty of Hydro-Meteorology & Oceanography, College of Science, VNU 2National Centre for Hydrometeorological Forecasting After success in using neural network in radiation and maximum temperature, we try to use another type of neural network: time-lagged recurrent network to make the time-series analysis of minimum temperature for northern Vietnam flat area. By training and evaluating the results, 1 hidden layer with 5 nodes time-lagged network was chosen as the best one for this problem. RMSE ranges from 1.49 to 1.59 degree while MAE around 1.1, especially the correlations are always greater than 0.93. However, when we access the maximum over and under-estimated forecast, the model is still not really good, the former one is about 7 - 8 degree and the later is around 3 - 4 degree. In order to get more detail assessment, the test data set was divided into 4 parts and the season from July to September often got the best verification results. These results support for the conclusions in the previous papers that the neural network with suitable configuration always gives a reasonable assessment.