Vận dụng cách đánh giá Pisa vào nhà trường phổ thông năm 2013

PGS. TS Nguyễn Lộc PVT. Viện KHGD Việt Nam – Giám Đốc điều phối quốc gia TẬP HUẤN Mục đích của tập huấn: - Tuân thủ các yêu cầu kỹ thuật của tổ chức OECD, các quốc gia tham gia PISA 2012 phải tổ chức khảo sát PISA thử nghiệm. - Đợt tập huấn này sẽ trang bị cho Điều phối viên cấp trường, các cán bộ quản lý giáo dục các yêu cầu kỹ thuật tổ chức khảo sát thử nghiệm PISA tại trường. 2 Nội dung tập huấn: Tập huấn các yêu cầu kỹ thuật tổ chức triển khai khảo sát thử nghiệm PISA với các nội dung chủ yếu sau: - Giới thiệu tổng quan về PISA và mục đích của đợt khảo sát thử nghiệm; mục đích của đợt tập huấn. - Giới thiệu các yêu cầu kỹ thuật của các bộ đề kiểm tra và các bộ phiếu hỏi. - Giới thiệu toàn bộ các yêu cầu kỹ thuật cần triển khai thực hiện khảo sát tại trường. - Thảo luận, trao đổi các giải pháp để đảm bảo chính xác, khách quan kết quả làm bài của học sinh khi tham gia PISA. 3 4GiỚI THIỆU TỔNG QUAN VỀ PISA PGS. TS Nguyễn Lộc PVT. Viện KHGD Việt Nam – NPM GIỚI THIỆU CHUNG VỀ PISA  PISA là viết tắt của "Programme for International Student Assessment - Chương trình đánh giá học sinh quốc tế" do Tổ chức hợp tác và phát triển kinh tế (OECD) khởi xướng và chỉ đạo.  Đến 2015, hơn 70 quốc gia tham gia PISA để theo dõi tiến bộ của mình nhằm phấn đấu đạt được các mục tiêu giáo dục cơ bản. PGS. TS Nguyễn Lộc PVT. Viện KHGD Việt Nam – NPM ĐẶC ĐIỂM CỦA PISA  PISA nổi bật nhờ quy mô toàn cầu và tính chu kỳ.  PISA là khảo sát giáo dục duy nhất đánh giá kiến thức và kỹ năng của học sinh ở độ tuổi 15, độ tuổi kết thúc giáo dục bắt buộc ở hầu hết các quốc gia.  PISA đánh giá mức độ học sinh được chuẩn bị để bước vào cuộc sống khi trưởng thành; MỤC ĐÍCH CỦA PISA  Mục tiêu của Chương trình PISA là đánh giá năng lực của học sinh ở độ tuổi 15 kết thúc phần giáo dục bắt buộc đã được chuẩn bị để đáp ứng những thách thức của cuộc sống sau này.  PISA thu thập và cung cấp cho các quốc gia các dữ liệu có thể so sánh được ở tầm quốc tế cũng như sự tiến bộ về khả năng đọc hiểu, toán học và khoa học của học sinh độ tuổi 15 ở các quốc gia tham gia PISA. Khảo sát của PISA PISA được thực hiện theo chu kì 3 năm/lần. Đối tượng đánh giá là học sinh trung học trong độ tuổi 15. Việc đánh giá được thực hiện ở 03 lĩnh vực kiến thức chính là đọc hiểu, toán học và khoa học; đồng thời học sinh và nhà trường sẽ trả lời 01 phiếu hỏi về điều kiện, hoàn cảnh. Mỗi kì đánh giá sẽ có một lĩnh vực kiến thức được lựa chọn để đánh giá sâu hơn. PISA đo lường năng lực của học sinh về các lĩnh vực Toán học, Khoa học và Đọc hiểu. Tầm quan trọng của PISA Việc tổ chức kỳ khảo sát PISA là một hoạt động quan trọng vì chúng ta có thể sử dụng kết quả của kỳ đánh giá này để: Thể hiện cách thức học sinh được chuẩn bị học tập tốt như thế nào tại Việt Nam và các quốc gia tham gia PISA khi tốt nghiệp chương trình giáo dục cơ sở/ chương trình giáo dục bắt buộc; Các trường, các hệ thống giáo dục và chính phủ có thể xác định những lĩnh vực cần được cải thiện; Cho phép so sánh việc học tập và môi trường học tập cho học sinh giữa các nước. Để biết thêm chi tiết về PISA, hãy tham khảo trang web: 9 Các nội dung đánh giá của PISA qua các kỳ Năm 2000 Năm 2003 Năm 2006 Năm 2009 Năm 2012 Năm 2015 Đọc hiểu Toán học Khoa học Đọc hiểu Toán học Khoa học Giải quyết vấn đề Đọc hiểu Toán học Khoa học Đọc hiểu Toán học Khoa học Đọc hiểu Toán học Khoa học Giải quyết vấn đề Bài thi trên máy tính Bài thi đánh giá năng lực tài chính Đọc hiểu Toán học Khoa học Ghi chú: Phần được gạch chân là nội dung trọng tâm trong mỗi kỳ đánh giá MẪU KHẢO SÁT PISA Trong mỗi chu kỳ đánh giá, mỗi quốc gia có khoảng từ 4.500 đến 50.000 học sinh được chọn để tham gia đánh giá theo cách chọn mẫu ngẫu nhiên. Việc lấy mẫu được tiến hành theo phương pháp phân tầng 2 cấp (chọn trường ở cấp quốc gia và chọn học sinh ở cấp trường) dựa trên các bằng chứng chính xác về tuổi và nơi đang học. Điều này đòi hỏi các quốc gia tham gia PISA phải có một hệ thống dữ liệu chính xác và đầy đủ về học sinh và nhà trường của mình. Khảo sát của PISA  Tính đến năm 2006, tất cả học sinh đều sử dụng bút chì và giấy khi làm bài trắc nghiệm. Tuy nhiên, từ 2009 sẽ có thêm bài thi trắc nghiệm trên máy tính.  Hiện nay, mỗi kỳ PISA được tiến hành theo 2 đợt:  Đợt 1: PISA chính thức dành cho các nước thành viên OECD.  Đợt 2 (thông thường sau 1 năm): PISA bổ sung (PISA Plus hay PISA+) dành cho các nước không phải là thành viên OECD. VIỆT NAM THAM GIA PISA  Ngày 27/10/2008 Phó thủ tướng, Bộ trưởng Nguyễn Thiện Nhân có văn bản giao Bộ GD-ĐT tiến hành khẩn trương để đăng ký Việt Nam tham gia Chương trình quốc tế đánh giá học sinh (Programme for International Student Assessment - PISA)  Ngày 22/10/2009 Phó thủ tướng, Bộ trưởng Nguyễn Thiện Nhân có thư gửi ông Angel Gurria, Tổng Thư ký OECD đề nghị chấp nhận Việt Nam tham gia PISA 2012.  Ngày 11/11/2009: OECD có thư chính thức gửi Phó thủ tướng, Bộ trưởng Nguyễn Thiện Nhân về việc đồng ý đề Việt Nam tham gia PISA.  Thực hiện khảo sát thử nghiệm 2011 và chính thức năm 2012.  So với các nước tham gia PISA 2012: + Xếp thứ 69/70 về GDP bình quân đầu người (thu nhập bình quân đầu người đạt khoảng 1.540 USD/người/năm + Xếp thứ 70/70 về chỉ số HDI (Chỉ số phát triển con người (Human Development Index - HDI), Đây là chỉ số so sánh, định lượng về mức thu nhập, tỷ lệ biết chữ, tuổi thọ và một số nhân tố khác Các giai đoạn hoạt động chính của PISA 2015  Chuẩn bị đề thi và phiếu hỏi  Năm 2013  Triển khai thử nghiệm  Năm 2014  Kỳ thi chính thức  Năm 2015 14 9 tỉnh, thành phố đã khảo sát 2013: - Miền Nam: Tây Ninh, Bà Rịa - Vũng Tàu, Hồ Chí Minh. - Tây Nguyên: Gia Lai, Kon Tum, - Miền Bắc: Ninh Bình, Thái Bình, Hưng Yên, Nam Định. 15 Xây dựng các câu hỏi thi cho PISA 2015 - Các quốc gia xây dựng câu hỏi đóng góp cho OECD, nộp trước tháng 12/2012. - OECD tập trung các câu hỏi, sàng lọc và tập hợp thành các tập câu hỏi chuyển cho các quốc gia. - Đánh giá câu hỏi vào năm 2013 - Dịch các câu hỏi thi (2013) - Xây dựng thành các bộ đề thi theo yêu cầu kỹ thuật của OECD (2014) 16 Mẫu khảo sát  Khảo sát thử nghiệm: Cỡ mẫu được xác định sao cho có thể lấy được 200 học sinh trả lời mỗi câu hỏi. Mỗi quốc gia chọn 40 trường x 35 HS/trường = 1.400 HS.  Khảo sát chính thức: 150 trường x 35 HS = 5.250 HS. 17 Chuẩn bị tài liệu kiểm tra  Thu thập thông tin của học sinh (tên, mã số học sinh, số cuốn đề thi/ bảng hỏi) để in & dán nhãn thay vì viết tay lên cuốn đề thi. In nhãn tên như vậy sẽ hạn chế sai sót trong quá trình phát cuốn đề thi cho học sinh. Đồng thời cũng tăng độ chính xác và hiệu quả của việc nhập dữ liệu và làm sạch dữ liệu 18 CẤU TRÚC ĐỀ THI Mỗi đề thi gồm nhiều bài, mỗi bài từ 3 đến 6 câu hỏi. Các bài thường đưa ra các tình huống thực tiễn, sau đó là các câu hỏi. Các câu hỏi được chia theo 3 nhóm: 19 Thuật ngữ cấu trúc đề thi  Một cluster là một phần thi 30 phút. Nó là một chuỗi của các unit.  Một unit là một bộ các item chỉ liên quan đến một bối cảnh .  Một item là một câu hỏi riêng lẻ/một nhiệm vụ được mã hoá riêng lẻ. It e m S u b m is s io n s Các dạng câu hỏi  Trong bài thi PISA có một số các dạng câu hỏi chưa quen với học sinh Việt Nam. Sau đây là các dạng câu hỏi thường gặp trong kỳ thi PISA và các lưu ý cho học sinh khi làm bài  Câu hỏi trắc nghiệm khách quan nhiều lựa chọn kiểu đơn giản  Câu hỏi Đúng/Sai (Có/Không) phức hợp  Câu hỏi mở đòi hỏi trả lời ngắn  Câu hỏi mở đòi hỏi trả lời dài 21 22 Câu hỏi trắc nghiệm khách quan nhiều lựa chọn kiểu đơn giản 23 Câu hỏi dạng phức hợp 24 Câu hỏi mở đòi hỏi trả lời ngắn 25 Câu hỏi mở đòi hỏi trả lời dài QUY TRÌNH ĐÁNH GIÁ TRÊN DIỆN RỘNG 26 27 Xác định mục đích cần đánh giá Xác định đối tượng đánh giá và chọn mẫu học sinh để đánh giá Chuẩn bị về tổ chức thực hiện Xác định nội dung, phương pháp đánh giá Tiến hành đánh giá Thu thập dữ liệu và xử lý dữ liệu Viết báo cáo kết quả Thông báo kết quả tới các đối tượng có liên quan và đề xuất các giải pháp cải tiến Xây dựng công cụ đánh giá Xây dựng ma trận của các bộ công cụ Viết các câu hỏi Thử nghiệm các bộ công cụ đánh giá Phân tích, đánh giá các câu hỏi Sửa chữa, hoàn thiện các bộ công cụ sử dụng cho khảo sát chính thức Tổng kết đợt đánh giá và lựa chọn các câu hỏi tốt đưa vào ngân hàng câu hỏi. QUY TRÌNH ĐÁNH GIÁ PISA 28 29 Thang đánh giá BLOOM (Các cấp độ nhận thức) Ma trận đề kiểm tra theo thang BLOOM TT Nội dung kiến thức Mức độ nhận thức Nhận biết Thông hiểu Vận dụng Phân tích Tổng hợp Đánh giá 1 2 3 4 Tổng Thang đánh giá Các cấp độ tư duy (Thinking Levels) Cấp độ tư duy Mô tả Nhận biết Học sinh nhớ các khái niệm cơ bản, có thể nêu lên hoặc nhận ra chúng khi được yêu cầu Thông hiểu Học sinh hiểu các khái niệm cơ bản và có thể vận dụng chúng khi chúng được thể hiện theo các cách tương tự như cách giáo viên đó giảng hoặc như các ví dụ tiêu biểu về chúng trên lớp học. Vận dụng (ở cấp độ thấp) Học sinh có thể hiểu được khái niệm ở một cấp độ cao hơn “thông hiểu”, tạo ra được sự liên kết logic giữa các khái niệm cơ bản và có thể vận dụng chúng để tổ chức lại các thông tin đó được trình bày giống với bài giảng của giáo viên hoặc trong sách giáo khoa. Vận dụng (ở cấp độ cao) Học sinh có thể sử dụng các khái niệm về môn học - chủ đề để giải quyết các vấn đề mới, không giống với những điều đó được học hoặc trình bày trong sách giáo khoa nhưng phù hợp khi được giải quyết với kỹ năng và kiến thức được giảng dạy ở mức độ nhận thức này. Đây là những vấn đề giống với các tình huống học sinh sẽ gặp phải ngoài xã hội. Biểu đồ hình chuông 33 50% 30% Tùy mục đích đề thi, linh hoạt tỉ lệ % So sánh thang đánh giá BLOOM và Các cấp độ tư duy Các cấp độ tư duy (Thinking Levels) Thang Bloom 4 mức : Nhận biết, Thông hiểu, Vận dụng mức độ thấp, Vận dụng mức độ cao 6 mức độ : Nhận biết, thông hiểu, Áp dụng, Phân tích, Tổng hợp và Đánh giá. Gắn với lý thuyết về tâm lý hiện nay Dựa trên lý thuyết tâm lý của những năm 1940, 1950 Là công trình NC của GS đánh giá người Ba Lan Boleslaw Niemierko Là công trình NC của GS Benjamin Bloom và các cộng sự Dễ áp dụng trong công tác đánh giá KQHT của HS thường xuyên trong thực tế Việc áp dụng khá phức tạp, đặc biệt đối với các mức phân tích, tổng hợp, đánh giá Gần với hoạt động đánh giá HS trên lớp Khó áp dụng cho việc đánh giá HS trên lớp Thang đánh giá PISA: Lĩnh vực năng lực đọc hiểu (reading literacy) được đánh giá ở 3 nhóm/cấp độ: Tiến trình/ Lĩnh vực (cấp độ 1) Thu thập thông tin (cấp độ 2) Phân tích, lí giải văn bản (cấp độ 3) Phản hồi và đánh giá TỔNG Nội dung 1 Nội dung 2 TỔNG SỐ Tiến trình/ Lĩnh vực (cấp độ 1) Tái hiện (Lặp lại) (cấp độ 2) Kết nối và tích hợp (cấp độ 3) Giải quyết vấn đề (Tư duy toán học, khái quát hóa, GQVĐ thực tiễn) TỔNG Nội dung 1 Nội dung 2 TỔNG SỐ Thang đánh giá PISA: Lĩnh vực năng lực toán học (mathematic literacy) Thang đánh giá PISA: Lĩnh vực năng lực khoa học (science literacy) Tiến trình/ Lĩnh vực (cấp độ 1) Nhận biết các vấn đề khoa học (cấp độ 2) Giải thích hiện tượng một cách khoa học (cấp độ 3) Giải quyết vấn đề (Sử dụng các chứng cứ khoa học, lí giải các chứng cứ để rút ra KL) TỔNG Nội dung 1 Nội dung 2 TỔNG SỐ Cơ cấu tổ chức của PISA ở Việt Nam + Ban chỉ đạo đánh giá trong nước và quốc tế học sinh phổ thông Trưởng ban: TS. Nguyễn Vinh Hiển, Thứ trưởng Bộ Giáo dục và Đào tạo. + Ban Dịch thuật các tài liệu PISA kỳ khảo sát + Ban Đề thi PISA + Ban tổ chức kỳ khảo sát + Ban chấm thi, chọn mẫu và xử lý số liệu, viết báo cáo kỳ khảo sát + Văn phòng PISA Việt Nam. Cơ cấu tổ chức PISA tại Việt Nam: Ban Dịch thuật các tài liệu PISA Ban Đề thi PISA Ban tổ chức khảo sát Ban chấm thi, chọn mẫu và xử lý số liệu, viết báo cáo Văn phòng PISA Việt Nam Ban chỉ đạo đánh giá trong nước và quốc tế Ban chỉ đạo cấp tỉnh Điều phối viên cấp trường Kế hoạch triển khai PISA tại Việt Nam- Những mốc quan trọng  Khảo sát thử nghiệm 4/2014  Chuẩn bị dữ liệu mẫu thi PISA chính thức 2015 và chọn mẫu học sinh thi chính thức.  Khảo sát chính thức 4/2015 40  pisavietnam@gmail.com ĐT: 04.36231513 TS. Lê Thị Mỹ Hà Giám đốc trung tâm đánh giá chất lượng giáo dục – Cục Khảo thí và kiểm định chất lượng giáo dục; Giám đốc quốc gia PISA Việt Nam (NPM) 41