Đổi mới việc viết câu hỏi và xây dựng đề kiểm tra

c của đề kiểm tra. Hình dưới đây biểu diễn đường cong đặc trưng của một đề kiểm tra, cũng gọi là đường cong điểm thực, có tiệm cận phải bằng điểm tối đa của toàn bộ đề. Đường cong cho phép xác định điểm kỳ vọng mà một sinh viên có năng lực θ nào đó đạt được khi làm đề kiểm tra đang xét. 2.2 Hàm thông tin của đề kiểm tra Mỗi một câu hỏi trắc nghiệm cung cấp một lượng thông tin nào đó về năng lực cần đo của các sinh viên. Ở đây chúng ta sử dụng hàm “hàm thông tin của câu hỏi” (Item Information Function) theo định nghĩa của Birnbaum A. Đối với một đề kiểm tra, “hàm thông tin của đề kiểm tra” (Test information Function) là tổng các hàm thông tin của các câu hỏi có trong đề. Từ định nghĩa hàm thông tin cũng cho thấy đề kiểm tra càng có nhiều câu hỏi thì giá trị của hàm thông tin càng cao, tức là đề kiểm tra có nhiều câu hỏi thường đánh giá năng lực sinh viên tốt hơn đề có ít câu hỏi. Tùy theo tính chất của các câu hỏi tạo nên đề trắc nghiệm mà hàm thông tin có giá trị lớn (tức đo chính xác) ở khoảng năng lực nào đó và có giá trị bé (tức đo thiếu chính xác) ở khoảng năng lực khác. Do những đặc điểm trên, hàm thông tin là một công cụ vô cùng quan trọng của lý thuyết IRT, nó giúp thiết kế các đề kiểm tra cho phép đo đạc năng lực theo các mục tiêu xác định. Kỷ yếu công trình khoa học 2014 – Phần I Trường Đại học Thăng Long 47 2.3 Đánh giá đề kiểm tra bằng so sánh năng lực sinh viên với độ khó câu hỏi Biểu đồ dựa trên mô hình RASCH, biểu diễn đồng thời học sinh theo năng lực và câu hỏi theo độ khó trên cùng thang đo với đơn vị lo-git. Thang đo nằm bên trái nhất của biểu đồ. Học sinh được biểu thị bởi dấu “xxxxx” được xếp theo năng lực từ thấp đến cao. Nó cho thấy “phân phối” của số học sinh trả lời câu hỏi. Bên phải đường phân cách là câu hỏi (biểu thị bởi số thứ tự của nó) được xếp theo “độ khó” của nó. Nếu năng lực của học sinh “bằng” độ khó của câu hỏi (trên biểu đồ xếp ở vị trí ngang nhau) thì cơ hội trả lời đúng là 50/50. Nếu một học sinh ở vị trí tương đối cao hơn so với câu hỏi thì nhiều khả năng học sinh trả lời đúng câu hỏi đó. Ngược lại một học sinh ở vị trí thấp hơn so với câu hỏi thì nhiều khả năng học sinh trả lời sai câu hỏi. Kỷ yếu công trình khoa học 2014 – Phần I Trường Đại học Thăng Long 48 VC_SC1 nam 2013-2014 Wed Aug 20 10:17 2014 MAP OF LATENT DISTRIBUTIONS AND RESPONSE MODEL PARAMETER ESTIMATES --------------------------------------------------------------------------------------- 3 |1 | | | | | | | | | | | | | XX| | X| | XX|2 | 2 XX| | XX| | XXX| | XXX|14 15 | XXXXXXXX|17 34 | XXXXX| | XXXXXX|30 | XXXXXX|25 | XXXXXXXXXXX|18 | XXXXXXXXXXXX|10 | 1 XXXXXXXXXXXXXXXXX|60 | XXXXXXXXXXXXXXXXXXX|23 24 39 | XXXXXXXXXXXXXXXXXXXXXX|3 52 | XXXXXXXXXXXXXXXXXXXXXX| | XXXXXXXXXXXXXXXXXXXXXX|4 | XXXXXXXXXXXXXXXXXXXXXXXXXXX|32 42 | XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX|33 | XXXXXXXXXXXXXXXXXXXXXXXXXXX|16 | XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX| | XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX|9 22 | XXXXXXXXXXXXXXXXXXXXXX|5 21 38 41 | 0 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX|20 28 40 45 47 | XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX|19 | XXXXXXXXXXXXXXXXXXXXXXX|27 35 50 | XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX|26 29 31 46 | XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX|51 | XXXXXXXXXXXXXXXXXXXXXXXXXXX|49 | XXXXXXXXXXXXXXXXX|7 8 37 54 | XXXXXXXXXXXXXXXXXXXXXX|36 57 | XXXXXXXXXXXXXXXXXXXXXXXXX| | XXXXXXXXX| | -1 XXXXXXXXX|13 48 | XXXXXXXXX|53 55 58 | XXXXXXXXX|43 | XXXX| | XXX| | XX|6 | XXX|12 56 | | | | | X| | -2 | | |44 | |59 | | | |11 | | | | | | | ======================================================================================= Each 'X' represents 0.5 cases ======================================================================================= 2.4 Độ tin cậy của bài trắc nghiệm (Reliability) Độ tin cậy là một khái niệm cho biết bài trắc nghiệm đo năng lực thí sinh với một sự ổn định có thể. Độ tin cậy của bài trắc nghiệm thể hiện ở sự ổn định của kết quả đo qua các lần đo khác nhau, nghĩa là, kết quả ở các lần đo không khác nhau hoặc sự thay đổi nếu có là rất ít. Ở giáo dục thường sử dụng phương pháp Alpha-Cronbach hoặc Kuder-Richardson 21. Cả hai cách tính trên đều có giá trị từ 0.00 đến 1.00 trong đó giá trị càng lớn thì độ tin cậy càng cao. Mặc dù không có các giới hạn tuyệt đối cho các hệ số tin cậy “có thể chấp nhận được” (do độ tin cậy thường bị ảnh hưởng bởi rất nhiều các yếu tố khác nhau), nhưng “kinh nghiệm” chỉ ra rằng: Nếu bài kiểm tra chỉ được sử dụng để xếp loại học sinh thì hệ số tin cậy thấp nhất phải là .08, còn nếu bài kiểm tra được sử dụng cùng với các hình thức đánh giá khác hệ số tin cậy đó là giá trị từ 0.60 đến 0.70. 2.5 Độ giá trị (Validity) Độ giá trị của bài trắc nghiệm là thông số nhằm xác định xem bài trắc nghiệmcó đo đúng đối tượng đo hay không. Độ giá trị của câu hỏi trắc nghiệm dùng đánh giá kết quả học tập cần quan tâm đến các tiêu chí giá trị cơ bản: mục tiêu, nội dung, giá trị tiên đoán, trình độ,... Về giá trị mục tiêu: đề kiểm tra trắc nghiệm phải bám sát mục tiêu đào tạo, đồng thời phải xác định mục tiêu chúng ta cần đo là gì, mức độ nhận thức đến đâu. Đề kiểm tra trắc nghiệm đạt được mục tiêu đề ra là đề kiểm tra có giá trị. Kỷ yếu công trình khoa học 2014 – Phần I Trường Đại học Thăng Long 49 Về giá trị nội dung: một đề kiểm tra trắc nghiệm được coi là có giá trị nội dung khi các câu hỏi trong bài là một mẫu tiêu biểu của tổng thể các kiến thức, kỹ năng,mục tiêu dạy học. Mức độ khái quát của nội dung đề thi so với nội dung chươngtrình dạy học là căn cứ để xác định giá trị nội của đề kiểm tra. Về giá trị tiên đoán: thể hiện mối quan hệ giữa điểm số của bài trắc nghiệm vớimột số tiêu chí khác phản ánh năng lực, hay thành quả ở tương lai. 3. Đề kiểm tra tương đương Trong kỳ thi phải dùng nhiều đề kiểm tra khác nhau (để chống quay cóp hoặc do thời điểm kiểm tra khác nhau ), để đảm bảo tính công bằng thì yêu cầu các đề kiểm tra này cần phải tương đương. Giả thiết rằng các câu hỏi trong các đề kiểm tra này đều đã được định cỡ, tức là đã biết các tham số (độ khó, độ phân biệt ). Dựa vào lý thuyết IRT, người ta có thể xác định được đường cong đặc trưng và hàm thông tin của các đề kiểm tra này mà không cần dựa vào kết quả bài thi của sinh viên. - Phương pháp dựa vào lý thuyết trắc nghiệm cổ điển: Để xét 2 đề kiểm tra có tương đương hay không người ta chỉ chú ý đến tiêu chí sự phân bố của các câu hỏi có cùng độ khó, độ phân biệt theo ma trận đề. Tuy nhiên các tham số của câu hỏi theo lý thuyết trắc nghiệm cổ điển không phải là bất biến đối với tổng thể thí sinh mà chúng ta muốn xác định năng lực, do đó mức độ “tương đương” của 2 đề kiểm tra không thể khẳng định được. - Phương pháp dựa vào lý thuyết trắc nghiệm hiện đại: Ngoài tiêu chí sự phân bố của các câu hỏi theo ma trận đề người ta còn dùng thống kê để đo mức độ “tương đương” của 2 đề, do đó chính xác hơn phương pháp dựa vào lý thuyết trắc nghiệm cổ điển nhiều. * Sử dụng hàm thông tin Nếu như ta quan tâm đến các đặc điểm thông tin của đề thì nên so sánh 2 hàm thông tin có tương tự nhau không. Sau đây là thí dụ 2 hàm thông tin của 2 đề tương đương: Kỷ yếu công trình khoa học 2014 – Phần I Trường Đại học Thăng Long 50 * Sử dụng đường cong điểm thực Nếu như ta quan tâm đến điểm số của đề thì nên so sánh 2 dường cong điểm thực có tương tự nhau không. Sau đây là thí dụ 2 đường cong điểm thực của 2 đề tương đương: C. Kết luận Những năm gần đây, trường Đại học Thăng Long đã có nhiều đổi mới về nội dung dạy và phương pháp dạy học như: cấu trúc lại chương trình một số môn, cập nhật kiến thức mới, đưa nhiều môn học tự chọn, môn học các kỹ năng mềm Đặc biệt về phương tiện dạy học, nhà trường đã trang bị các phòng học đa phương tiện, nhiều phần mềm, thư viện điện tử Tuy nhiên việc kiểm tra, đánh giá hoạt động học tập của sinh viên chưa có sự thay đổi tương xứng, đặc biệt chưa cập nhật được lý thuyết đo lường hiện đại vào kiểm tra đánh giá. Vì vậy, việc đề xuất các giải pháp đổi mới kiểm tra, đánh giá hoạt động học tập của sinh viên trong Kỷ yếu công trình khoa học 2014 – Phần I Trường Đại học Thăng Long 51 trường Đại học Thăng Long trên cơ sở lý thuyết trắc nghiệm cổ điển và hiện đại là rất bổ ích. Câu hỏi TNKQ sử dụng để đánh giá một khối lượng kiến thức lớn, phân tán và phủ kín cả mục tiêu dạy học, còn câu hỏi Tự luận lại được dùng để đánh giá trình độ suy luận của sinh viên. Khi viết câu hỏi TNKQ cần lưu ý “Đáp án” là sự lựa chọn chính xác hoặc tốt nhất cho câu hỏi hoặc vấn đề mà bạn đưa ra, “Phương án nhiễu” là câu trả lời hợp lý (nhưng không chính xác) đối với câu hỏi hoặc vấn đề được nêu ra trong câu dẫn; còn đối với câu hỏi Tự luận chú ý cách đặt câu hỏi ở các mức độ tư duy. Khi viết xong câu hỏi cần đánh giá chất lượng câu hỏi trước khi đưa vào sử dụng. Đánh giá câu hỏi nên phối hợp cả hai phương pháp là đánh giá theo tiêu chí và đánh giá dựa vào thống kê. Đề kiểm tra là phương tiện đánh giá kết quả học tập của sinh viên sau khi học xong một chủ đề, một chương hay toàn bộ chương trình lớp học, cấp học. Xây dựng đề kiểm tra nên phối hợp cả hai phương pháp trắc nghiệm cổ điển và hiện đại, đặc biệt đánh giá đề kiểm tra cần dựa trên lý thuyết IRT. Bài viết cũng đề cập đến một số đề kiểm tra cho các loại hình đánh giá như đề kiểm tra đánh giá đầu vào, đánh giá quá trình và đánh giá tổng kết, đặc biệt có vai trò của Ngân hàng câu hỏi trong việc xây dựng đề kiểm tra. Tài liệu tham khảo [1]. Bộ Giáo dục và Đào tạo (2009), Sự phát triển của hệ thống giáo dục đại học, các giải pháp đảm bảo và nâng cao chất lượng đào tạo, Báo cáo số 760/BC-BGDĐT ngày 29/10/2009, Hà Nội. [2]. “VIETNAM READING AND MATHEMATICS ASSESSMENT STUDY”, World Bank inVietnam June 2004. [3]. Lâm Quang Thiệp (2010), “Đo lường trong giáo dục. Lý thuyết và ứng dụng”, trường Đại học Quốc gia Hà Nội. [4]. Lâm Quang Thiệp (2012) “Đo lường và đánh giá hoạt động học tập trong nhà trường”, NXB ĐH Sư phạm. [5]. ACER ConQuest Generalised Item Response Modelling Software 2007 THE INNOVATION WRITING ITEMS AND DEVELOPING TESTS Abstract: Modern teaching theory has shown that Educational Assessment of Student is an important component of the teaching process. Currently the world as well as in the country has researchs of Educational Assessment of Student, but the purpose of that documents is more theory than applies. Therefore, this article focuses on technical issues, using classical test theory and item response theory, propose some innovative solutions two most important stage of the process of Educational Assessment of Student, which are written items and elaborate test. Multiple-choise item sused to evaluatea large area of knowledge, dispersing and covering all their objectives, and essay items to be used to evaluate students' reasoning. When writing multiple-choise items, note"Correct answer" is the correct choice or best for item or issues that you brought up, "Distractors” area reason able answer (but not exactly) to with questions; also for essay items pay attention questions at levels of thinking. When written items to verify the quality of questions before.