Toán học - Bài 7b: Hồi quy bội

BÀI 7B: HỒI QUY BỘIMô hình :Mô hình hồi qui tuyến tính k biến (PRF) :E(Y/X2i,,Xki) = 1+ 2X2i ++ kXki Yi = 1+ 2X2i + + kXki + UiTrong đó : Y - biến phụ thuộc X2,,Xk - các biến độc lập1 là hệ số tự doj là các hệ số hồi qui riêng, j cho biết khi Xj tăng 1 đvị thì trung bình của Y sẽ thay đổi j đvị trong trường hợp các yếu tố khác không đổi (j=2,,k).Khi k = 3 thì ta có mô hình hồi qui tuyến tính ba biến : E(Y/X2, X3) = 1+ 2X2 + 3X3 (PRF) Yi = 1+ 2X2i + 3X3i + Ui2. Các giả thiết của mô hìnhGiả thiết 1: Các biến độc lập phi ngẫu nhiên, giá trị được xác định trước.Giả thiết 2 : E(Ui) = 0 iGiả thiết 3 : Var(Ui) =2 iGiả thiết 4 : Cov(Ui, Uj) = 0 i jGiả thiết 5 : Cov(Xi, Ui) = 0 iGiả thiết 6 : Ui ~ N (0, 2) iGiả thiết 7 : Không có hiện tượng cộng tuyến giữa các biến độc lập.3. Ước lượng các tham sốa. Mô hình hồi qui ba biến : Yi = 1+ 2X2i + 3X3i + Ui (PRF)Hàm hồi qui mẫu :Giả sử có một mẫu gồm n quan sát các giá trị (Yi, X2i, X3i). Theo phương pháp OLS, (j= 1,2,3) phải thoả mãn :Tức là :DoGiải hệ ta có :* Phương sai của các hệ số ước lượngTrong đó : 2 = Var(Ui)2 chưa biết nên dùng ước lượng của nó là :Với :b. Mô hình hồi qui tuyến tính k biến Yi = 1+ 2X2i + + kXki+ Ui (PRF) (i = 1,, n)Hàm hồi qui mẫu :Theo phương pháp OLS, (j= 1,2,,k) phải thoả mãn :Tức là :Viết hệ dưới dạng ma trận :4. Hệ số xác định* Chú ý : Khi tăng số biến độc lập trong mô hình thì R2 cũng tăng cho dù các biến độc lập thêm vào có ảnh hưởng mô hình hay không . Do đó không thể dùng R2 để quyết định có hay không nên thêmHay:Tính chất của : Khi k > 1, có thể âm, trong trường hợp âm, ta coi giá trị của nó bằng 0. biến vào mô hình mà thay vào đó có thể sử dụng hệ số xác định được hiệu chỉnh :* Cách sử dụng để quyết định đưa thêm biến vào mô hình :Mô hình hai biếnMô hình ba biến tức là không cần đưa thêm biến X3 vào mô hình. Ngược lại, ta chọn mô hình (2).- Nếuthì chọn mô hình (1) ,So sánh hai giá trị R2 :Nguyên tắc so sánh : - Cùng cỡ mẫu n . - Cùng các biến độc lập. - Biến phụ thuộc phải ở dạng giống nhau. Biến độc lập có thể ở bất cứ dạng nào.Ví dụ :5. Ma trận tương quanGọi rtj là hệ số tương quan tuyến tính giữa biến thứ t và thứ j. Trong đó Y được xem là biến thứ 1.Ma trận tương quan tuyến tính có dạng :Xét mô hình :6. Ma trận hiệp phương saiĐể tính ma trận hiệp phương sai của các hệ số, áp dụng công thức :vớiTrong đó, k là số tham số trong mô hình.7. Khoảng tin cậy của các hệ số hồi quiKhoảng tin cậy của j (j =1,2, , k) là :Trong đó, k là số tham số trong mô hình.8. Kiểm định giả thiếtKiểm định H0 : j = a (=const) ( j = 1, 2, , k)Phần này hoàn toàn tương tự như ở mô hình hồi qui hai biến, khác duy nhất ở chỗ bậc tự do của thống kê t là (n-k). Nếu p(F* > F)   Nếu F > F(k-1, n-k) b. Kiểm định giả thiết đồng thời : H0 : 2 = 3 == k = 0  H0 : R2 = 0 H1:  j  0 (2  j  k)  H1 : R2  0Cách kiểm định :Tính bác bỏ H0, Tức là các hệ số hồi qui không đồng thời bằng 0 hay hàm hồi qui phù hợp.c. Kiểm định WaldXét mô hình (U) sau đây :Yi = 1+ 2X2i + 3X3i+ 4X4i+ 5X5i+ Ui (U) được xem là mô hình không hạn chế.Ví dụ 1 : Với mô hình (U), cần kiểm định H0 : 3= 5= 0 Áp đặt giả thiết H0 lên mô hình (U), ta có mô hình hạn chế (R) như sau : Yi = 1+ 2X2i + 4X4i+ Ui (R)Để kiểm định H0, ta dùng kiểm định Wald.Các bước kiểm định Wald :Hồi qui mô hình (U)  thu được RSSU.Hồi qui mô hình (R)  thu được RSSR.Tính - Nếu p (F* > F)   Nếu F > F(dfR- dfU, dfU)  bác bỏ H0, dfU : bậc tự do của (U)dfR : bậc tự do của (R)Ví dụ 2 : VớI mô hình (U), kiểm định H0 : 2= 3= 4Áp đặt H0 lên (U), ta có mô hình (R): Yi = 1+ 2X2i + 2X3i+ 2X4i+ 5X5i+ Uihay Yi = 1+ 2(X2i+X3i+X4i) + 5X5i+ UiĐến đây, áp dụng các bước kiểm định Wald cho giả thiết H0. Ví dụ 3 : VớI mô hình (U), kiểm định H0 : 2+ 3= 1Thực hiện tương tự như các ví dụ trên, bằng các áp đặt H0 lên (U), ta có mô hình hạn chế (R) :Yi= 1+ 2X2i+(1- 2)X3i+ 4X4i+ 5X5i+Ui(Yi - X3i) = 1+ 2(X2i -X3i)+ 4X4i+ 5X5i+Ui* Chú ý : Trong Eviews, thủ tục kiểm định Wald được viết sẵn, bạn chỉ cần gõ vào giả thiết bạn muốn kiểm định rồi đọc kết quả.9. Dự báo :Dự báo giá trị trung bìnhCho X20, X30, , Xk0. Dự báo E(Y). Dự báo điểm của E(Y) là : Dự báo khoảng của E(Y) :Trong đó : Var( ) = X0T(XTX)-1X0 2b. Dự báo giá trị cá biệt của Y khi X=X0.Trong đó :I. Bản chất của đa cộng tuyếnĐa cộng tuyến là tồn tại mối quan hệ tuyến tính giữa một số hoặc tất cả các biến độc lập trong mô hình.Xét hàm hồi qui k biến : Yi = 1+ 2X2i + + kXki + Ui- Nếu tồn tại các số 2, 3,,k không đồng thời bằng 0 sao cho :Đa cộng tuyến 2X2i + 3X3i ++ kXki + a = 0 (a : hằng số)Thì giữa các biến độc lập xảy ra hiện tượng đa cộng tuyến hoàn hảo.- Nếu tồn tại các số 2, 3,,k không đồng thời bằng 0 sao cho : 2X2i + 3X3i ++ kXki + Vi = 0 (Vi : sai số ngẫu nhiên)Thì giữa các biến độc lập xảy ra hiện tượng đa cộng tuyến không hoàn hảo.Ta có : X3i = 5X2i có hiện tượng cộng tuyến hoàn hảo giữa X2 và X3 và r23 =1 X4i = 5X2i + Vi  có hiện tượng cộng tuyến không hoàn hảo giữa X2 và X3 , có thể tính được r24 = 0.9959.X21015182430X3507590120150X4527597129152Ví dụ : Yi = 1+2X2i+3X3i+ 4X4i + UiVới số liệu của các biến độc lập : Hậu quả của đa cộng tuyến1. Phương sai và hiệp phương sai của các ước lượng OLS lớn.2. Khoảng tin cậy rộng hơn3. Thống kê t nhỏ nên tăng khả năng các hệ số ước lượng không có ý nghĩa4. R2 cao nhưng thống kê t nhỏ.5. Dấu của các ước lượng có thể sai.6. Các ước lượng OLS và sai số chuẩn của chúng trở nên rất nhạy với những thay đổi nhỏ trong dữ liệu.7. Thêm vào hay bớt đi các biến cộng tuyến với các biến khác, mô hình sẽ thay đổi về dấu hoặc độ lớn của các ước lượng.Dấu hiệu nhận dạng đa cộng tuyến1. Hệ số R2 lớn nhưng thống kê t nhỏ.2. Tương quan cặp giữa các biến giải thích (độc lập) cao. Tuy nhiên điều ngược lại không đúng, nếu các r nhỏ thì chưa biết có đa cộng tuyến hay không.3. Sử dụng mô hình hồi qui phụ (hồi quy từng cặp biến độc lập)4. Sử dụng nhân tử phóng đại phương sai là hệ số xác định của mô hình hồi qui phụ Xj theo các biến độc lập khác. Nếu có đa cộng tuyến thì VIF lớn. VIFj > 5 thì Xj có đa cộng tuyến cao với các biến khác.* Với mô hình 3 biến thì Phương sai thay đổiPhương sai có điều kiện của Ui không giống nhau ở mọi quan sát. Var (Ui) = Nguyên nhân :- Do bản chất của các mối quan hệ trong kinh tế chứa đựng hiện tượng này.(i=1,2,,n)Do kỹ thuật thu thập số liệu được cải tiến, sai lầm phạm phải càng ít hơn. Do con người học được hành vi trong quá khứ.Do trong mẫu có các giá trị bất thường (hoặc rất lớn hoặc rất nhỏ so với các giá trị khác).Hiện tượng phương sai không đồng đều thường gặp đối với số liệu chéo.Hậu quả của phương sai thay đổiCác ước lượng OLS vẫn là các ước lượng tuyến tính, không chệch nhưng không còn hiệu quả nữa.2. Ước lượng phương sai của các ước lượng OLS bị chệch nên các kiểm định t và F không còn đáng tin cậy nữa.3. Kết quả dự báo không hiệu quả khi sử dụng các ước lượng OLS.Dấu hiệu nhận dạng phương sai thay đổiPhương pháp đồ thịXét mô hình : Yi = 1+ 2Xi +Ui (1)- Hồi qui (1)  thu được các phần dư ei.- Vẽ đồ thị phân tán của e theo X.- Nếu độ rộng của biểu đồ rải tăng hoặc giảm khi X tăng thì mô hình (1) có thể có hiện tượng phương sai thay đổi.Chú ý : Với mô hình hồi qui bội, cần vẽ đồ thị phần dư theo từng biến độc lập hoặc theo 2. Kiểm định Park3. Kiểm định Glejser4. Kiểm định WhiteTự tương quanTự tương quan: Là sự tương quan giữa các thành phần của chuỗi các quan sát theo thời gian hay không gian.Nếu có tự tương quan giữa các sai số ngẫu nhiên thì : Cov(Ui, Uj)  0 (i  j)Hậu quả của việc sử dụng phương pháp OLS khi có tự tương quan1. Các ước lượng OLS vẫn là các ước lượng tuyến tính, không chệch nhưng không còn hiệu quả nữa.2. Ước lượng của các phương sai bị chệch (thường thấp hơn giá trị thực) nên các kiểm định t và F không còn hiệu lực nữa.3. Thường R2 được ước lượng quá cao so với giá trị thực.4. Sai số chuẩn của các giá trị dự báo không còn tin cậy nữa.Dấu hiệu nhận dạng tự tương quan1. Phương pháp đồ thịHồi qui mô hình gốc  thu phần dư et.Vẽ đồ thị phần dư et theo thời gian. Nếu phần dư phân bố ngẫu nhiên xung quanh trung bình của chúng, không biểu thị một kiểu mẫu nào khi thời gian tăng  mô hình gốc không có tự tương quan.2. Kiểm định d của Durbin-Watson3. Kiểm định Breusch-Godfrey (BG)Hồi qui với biến giả (xét mô hình hồi qui có biến định lượng và biến định tính)Ví dụ : Lập mô hình quan hệ giữa chi tiêu cá nhân với thu nhập và giới tính của cá nhân đó. Yi = 1+ Xi + 3Zi + Ui (1) Y – chi tiêu (triệu/tháng) X – thu nhập (triệu/tháng) Zi = 1 : nam giới 0 : nữ giới.Mở rộng mô hình : Với mô hình trên, khi thu nhập cá nhân tăng 1 triệu đồng thì chi tiêu tăng  triệu đồng bất kể là nam hay nữ. Nhưng với giả thiết cho rằng nếu thu nhập tăng 1 triệu đồng thì mức chi tiêu tăng thêm của nam và nữ khác nhau thì  phải là  = 2+ 4ZiLúc này mô hình (1) được viết : Yi = 1+ (2+ 4Zi)Xi + 3Zi + UiHay : Yi = 1+ 2 Xi + 3Zi + 4XiZi + Ui (2)Trong đó : XiZi được gọi là biến tương tác giữa X và Z.- Khi Zi =1 : Yi = (1 +3) + (2+ 4)Xi +Ui Đây là hồi qui chi tiêu-thu nhập của nam.- Khi Zi =0 : Yi = 1+ 2 Xi +Ui Đây là hồi qui chi tiêu-thu nhập của nữ.Ý nghĩa của các hệ số :1: Khi không có thu nhập thì chi tiêu trung bình của một người nữ là 1 triệu.2: Khi thu nhập của một người nữ tăng 1 triệu đồng thì chi tiêu của họ tăng 2 triệu đồng.3: Khi không có thu nhập thì chi tiêu trung bình của một người nam chênh lệch so với của một người nữ là 3 triệu (hay chênh lệch về hệ số tung độ gốc giữa hàm hồi qui cho nam và hàm hồi qui cho nữ).4: Khi thu nhập của một người nam tăng 1 triệu đồng thì chi tiêu của họ tăng nhiều hơn của nữ 4 triệu đồng (nếu 4 > 0) hay tăng ít hơn của nữ 4 triệu đồng (nếu 4 0) hay tăng ít hơn của nữ 4 triệu đồng (nếu 4< 0) (Hay chênh lệch về hệ số độ dốc giữa hàm hồi qui cho nam và hàm hồi qui cho nữ).Chọn mô hình và kiểm định việc chọn mô hìnhI. Các thuộc tính của một mô hình tốtTính tiết kiệmTính đồng nhấtTính thích hợpTính bền vững về mặt lý thuyếtCó khả năng dự báo tốt Các sai lầm thường gặp khi chọn mô hìnhBỏ sót biến thích hợp2. Đưa vào mô hình các biến không  thích hợp (mô hình thừa biến)3. Chọn dạng hàm không đúngPhát hiện những sai lầmPhát hiện sự có mặt của biến không cần thiết:Nếu lý thuyết cho rằng tất cả biến độc lập trên đều quyết định Y thì phải giữ chúng trong mô hình dù hệ số của chúng không có ý nghĩa thống kê.Kiểm định các biến bị bỏ sótKiểm định phân phối chuẩn của U