Bài giảng Lý thuyết thông tin - Chương 1: Các khái niệm căn bản (Phần 2)

Chương 1: Các khái niệm căn bản 1.2 Đo thông tin 06/03/11Huỳnh Văn Kha 2 ðộ không chắc chắn có ñiều kiện và là hai biến ngẫu nhiên • ðộ không chắc chắn của với ñiều kiện • ðộ không chắc chắn của với ñiều kiện là trung bình theo trọng lượng của , nghĩa là: 06/03/11Huỳnh Văn Kha 3 ðịnh lý 1.4 Chứng minh: Do nên ta có ñiều cần chứng minh 06/03/11Huỳnh Văn Kha 4 ðịnh lý 1.5 Dấu bằng xảy ra khi và chỉ khi và ñộc lập Chứng minh: Theo ñịnh lý 1.4 thì: Theo ñịnh lý 1.3 thì: Dấu bằng xảy ra khi và chỉ khi , ñộc lập Từ hai ñiều này ta suy ra ñiều cần chứng minh ðo thông tin • Có 2 đồng xu, một đồng cân bằng, một đồng có 2 mặt đều xấp. • Chọn ngẫu nhiên một đồng, tung hai lần. 06/03/11Huỳnh Văn Kha 5 • Nếu biết tổng sốmặt xấp của hai lần tung thì ta biết gì về đồng xu được chọn? • Nếu sốmặt xấp ít hơn 2 thì đồng xu được chọn là đồng xu cân bằng ngược lại thì không chắc chắn • Kết quảmột sự kiện có thể cho ta biết một số thông tin về các sự kiện khác ðo thông tin • Biết trước kết quả biến ngẫu nhiên Y, đại lượng nào sẽ đo lượng thông tin có thể biết được của biến ngẫu nhiên X? • Gọi X là biến ngẫu nhiên nhận giá trị 0 nếu đồng 06/03/11Huỳnh Văn Kha 6 xu cân bằng được chọn, nhận giá 1 nếu đồng xu còn lại được chọn, Y là tổng sốmặt xấp 0 1 0 1 2 1/4 1/4 1/2 1 X Y ðo thông tin • Khi chọn ngẫu nhiên 1 đồng xu thì độ không chắc chắn cần xác định là H(X) • Sau khi biết được tổng sốmặt xấp thì độ không chắc chắn cần xác định chỉ còn là H(X|Y) 06/03/11Huỳnh Văn Kha 7 • Do đó người ta định nghĩa lượng thông tin thu được về biến X khi biết Y là: I(X|Y) = H(X) – H(X|Y) • I(X|Y) được sử dụng nhiều trong việc truyền tải thông tin qua kênh bị nhiễu, mà ta sẽ xét kỹ trong chương 3 06/03/11Huỳnh Văn Kha 8 Một số tính chất của • Do ñịnh lý 1.5, ta thấy , dấu bằng xảy ra khi và chỉ khi , ñộc lập • Theo ñịnh lý 1.4: Do ñó: Nhưng: Vậy: • Tính I(X|Y) trong ví dụ trên? • Tính I(Y|X) trong ví dụ trên? • Chú ý: 06/03/11Huỳnh Văn Kha 9 Nếu ta biết trước các xác xuất thì nên tính theo công thức