Xây dựng ngân hàng câu hỏi dựa trên lý thuyết trắc nghiệm hiện đại IRT và ứng dụng

Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XII về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR); Huế, ngày 07-08/6/2019 DOI: 10.15625/vap.2019.00072 D A TRÊN LÍ THUYẾT TRẮC NGHIỆM HIỆ ĐẠI IRT VÀ ỨNG DỤNG ĐH Thăng Long Email:ntichlang@yahoo.com TÓM TẮT: Ngân hàng câu hỏi là công cụ đắc lực để thực hiện kiểm tra sinh viên, đảm bảo tính khách quan, công bằng, khoa học trong việc đánh giá kết quả học tập. o đ trên thế giới cũng như ở Việt am, g n h ng c u hỏi được sử dụng ngày càng nhiều. Tuy nhiên ở Việt Nam hiện nay ngư i ta dựng đề kiểm tra bằng cách trích xuất ngẫu nhiên một số câu hỏi từ Ngân hàng, trộn câu, trộn phương án, tổ chức thi, chấm điểm m chưa đưa các c u hỏi về cùng một thang đo bằng cách phân tích câu hỏi theo lý thuyết trắc nghiệm hiện đại, chưa đánh giá đề kiểm tra trước khi cho th sinh thi, trong đ c việc xây dựng các đề kiểm tra tương đương Trong bài báo này, chúng tôi trình bày cách xây dựng các ngân hàng câu hỏi dựa trên phương pháp trắc nghiệm cổ điển v đặc biệt sử dụng lí thuyết trắc nghiệm hiện đại IRT với các công cụ như: H m thông tin đề thi (Test Information Fuction), Đư ng cong đặc trưng đề thi (Test Characteristic Curve), Phương pháp Sinh (Generation). Chúng tôi minh chứng việc sử dụng lí thuyết trắc nghiệm hiện đại IRT kết hợp với phương pháp cổ điển cho kết quả sát với thực tế v hiệu quả. Chúng tôi đã áp dụng cách làm này vào việc xây dựng “Ngân hàng câu hỏi Tiếng Anh” tại trư ng Đại học Thăng Long. I. MỞ ĐẦU Ngân hàng câu hỏi (NHCH) là một tập hợp các câu hỏi đã được đánh giá, đưa về một thang đo chung và phần mềm quản trị NHCH. Trong lịch sử phát triển của kiểm tra đánh giá, NHCH xuất hiện t sớm và c vai tr rất quan trọng. NHCH có chức năng soạn thảo câu hỏi và khả năng lưu trữ một dung lượng lớn câu hỏi cùng với âm thanh, hình ảnh. Đề kiểm tra “thích ứng với năng lực” cho phép chọn câu hỏi “hoàn toàn thông minh” phù hợp với trình độ của mỗi em học sinh. Hình thức thi dựa vào máy tính đã loại bỏ cả hai loại giấy là đề thi và phiếu thi... Có thể nói, NHCH là công cụ đắc lực để thực hiện các giai đoạn của phát triển kiểm tra: lưu trữ câu hỏi, chọn câu hỏi xây dựng đề kiểm tra và phân phát đề. Ngoài ra, đối với cấp quản lý và giảng viên, NHCH còn góp phần giảm bớt một số công việc trong quy trình xây dựng đề kiểm tra, đảm bảo tính khách quan, công bằng, khoa học trong việc đánh giá kết quả học tập của sinh viên, chuẩn hóa công tác kiểm tra đánh giá, nâng cao chất lượng dạy và học của giảng viên và sinh viên... Chính vì vậy, NHCH được sử dụng ngày càng nhiều trên thế giới cũng như ở Việt Nam. Trên thế giới, đặc biệt ở các nước phát triển, người ta đã nghiên cứu và xây dựng rất nhiều NHCH [1, 2, 3, 4]. Ở Việt Nam một số trường đại học đã xây dựng NHCH như Đại học Quốc gia Hà Nội, Đại học Vinh, Trường Đại học Y Hà Nội, Trường Đại học Khoa học Huế, Trường Đại học Hàng hải [5]. Tuy nhiên, phần lớn NHCH ở Việt Nam hiện nay chỉ chú trọng đến việc xây dựng đề kiểm tra bằng cách trích xuất ngẫu nhiên một số câu hỏi t Ngân hàng, trộn câu hỏi, trộn phương án, tổ chức thi, chấm điểm, lập áo cáo mà chưa đưa các câu hỏi về cùng một thang đo, chưa đánh giá đề kiểm tra trước khi cho thí sinh thi, chưa xây dựng được các đề kiểm tra tương đương Nhận thức được tầm quan trọng của NHCH đối với đổi mới công tác kiểm tra đánh giá, năm 2016 Trung tâm Đảm bảo chất lượng và Khảo thí, Bộ môn Ngôn ngữ Anh và Phòng Công nghệ thông tin của Trường Đại học Thăng Long đã thực hiện Đề tài “Xây dựng Ngân hàng câu hỏi tiếng Anh”. Đề tài này đã được đánh giá tốt trong quá trình ứng dụng vào thực tiễn của trường. II. KẾ QUẢ Trong phần này, chúng tôi trình bày các kết quả nghiên cứu và xây dựng các ngân hàng câu hỏi dựa trên phương pháp trắc nghiệm cổ điển và đặc biệt sử dụng lí thuyết trắc nghiệm hiện đại IRT với các công cụ như: H m thông tin đề thi (Test Information Fuction), Đư ng cong đặc trưng đề thi (Test Characteristic Curve), Phương pháp Sinh (Generation). Chúng tôi đã áp dụng cách làm này vào việc xây dựng “ Ngân hàng câu hỏi tiếng Anh” tại Trường Đại học Thăng Long. Về thực chất, cách làm này được thể hiện trên quy trình xây dựng ngân hàng câu hỏi. uy trình này được mô tả ằng Hình 1 dưới đây: 1: Xác định ục tiêu dạy học, Chuẩn đầu ra, Nội dung chương trình, hương pháp kiểm tra đánh giá, a trận môn học. Ma trận môn học là một bảng 2 chiều với một cột chứa đựng các phạm vi nội dung của môn học c thể được liệt kê theo chủ đề, theo chương; cột thứ hai là sự phân loại về mức độ mà sinh viên nắm vững nội dung, c thể theo thang Bloom. Thêm nữa, mỗi ô trong bảng ghi lại “trọng số” tương ứng mà giảng viên sẽ cho đối với mỗi nội dung. 562 D N N N H N C H D A TRÊN LÍ THUYẾT TRẮC NGHIỆM HIỆN ĐẠI IRT VÀ ỨNG DỤNG : Để xây dựng NHCH, n i chung cần 2 loại phần mềm: - hần mềm quản trị Ngân hàng câu hỏi: C thể do trường tự viết hoặc dùng phần mềm c s n Ch ng hạn Moodle, FastTEST, Mathematics Item Bank Project ...). - hần mềm l thuyết trắc nghiệm hiện đại T Conquest, PARSCALE, MULTILOG ..). : Câu hỏi của Đề tài c 2 loại: Trắc nghiệm khách quan và tự luận. : Sau khi tác giả viết xong câu hỏi, Đề tài sẽ thẩm định lại câu hỏi bằng phương pháp chuyên gia và tiến hành sửa chữa cho hoàn thiện. Hình 1. uy trình xây dựng NHCH Mục tiêu, Chuẩn đầu ra Nội dung Chương trình a trận môn học Phần mềm quản trị NHCH Phần mềm phân tích CH Viết câu hỏi Chuyên gia thẩm định CH (chuyên giá) Thử nghiệm câu hỏi Đánh giá và hân tích CH Đá á Định dạng và cập nhật CH Nhập các tham số CH Tìm kiếm thông tin Chọn câu hỏi Xây dựng đề kiểm tra Đá á Tổ chức thi Báo cáo kết quả điểm số và số liệu) Nguyễn Tích Lăng 563 Bước tiếp theo là kiểm tra thử nghiệm câu hỏi. Mục đích của việc thử nghiệm là: - Đánh giá câu hỏi theo lý thuyết trắc nghiệm cổ điển và IRT nhằm phát hiện ra những thiếu sót của câu hỏi, góp để tác giả sửa chữa nếu được hoặc loại bỏ; - Phân tích câu hỏi để xác định các tham số độ kh , độ phân biệt, tham số đoán m và một số đặc tính khác; - Quan sát và ghi chép về quá trình làm bài của sinh viên để giúp cho Ban điều hành đề án cũng như các tác giả điều chỉnh quy trình kiểm tra và hoàn thiện các câu hỏi. Sau khi thử nghiệm kết thúc, kết quả trả lời câu hỏi của t ng thí sinh được nhập vào máy tính và được đem phân tích. . Ph n t ch c u hỏi Cần tiến hành phân tích riêng cho t ng đề thử nghiệm theo cả lý thuyết trắc nghiệm cổ điển và IRT. Phân tích cổ điển câu hỏi Hình 2 là thí dụ về phân tích một câu hỏi theo lý thuyết trắc nghiệm cổ điển bằng phần mềm CONQUEST ver4.0. Dựa trên thông tin này, các chuyên gia đã nhận xét t ng câu hỏi, chỉ ra những sai s t như nhầm đáp án, yêu cầu không rõ ràng... để giúp các tác giả sửa chữa, hoàn chỉnh. Hình 2. hân tích cổ điển câu hỏi Phân tích IRT câu hỏi Tiếp theo, kết quả trả lời câu hỏi của thí sinh sẽ được phân tích theo mô hình 3 tham số (3PLM) để xác định độ phân biệt a (slope), độ khó b (location) và tham số đoán mò c (guessing) ằng phần mềm PARSCALE ver4.0. Hình 3 trích số liệu phân tích 3 L : De22.PSL – A TEST WITH 75 MULTIPLE CHOICE ITEMS THREE–PARAMETER LOGISTIC AND GENERALIZED PARTIAL CREDIT MODEL GROUP 01 BLOCK 20054 0.97791 0.41060 0.95180 13.42533 0.19965 0.08717 0.00000 0.00000 0.00000 0.00000 BLOCK 20055 0.99725 0.46810 –2.93107 12.78632 0.19800 0.08230 0.00000 0.00000 0.00000 0.00000 BLOCK 20056 0.99886 0.47936 1.95564 6.47162 0.19880 0.08945 0.00000 0.00000 0.00000 0.00000 Hình 3. hân tích T câu hỏi ============================================================================================================== De79 Wed Oct 11 10:20 2017 GENERALISED ITEM ANALYSIS Group All Students ============================================================================================================== Item 1 Cases for this item 318 Item-Rest Cor. 0.21 Item-Total Cor. 0.36 Item Threshold(s): -0.94 Weighted MNSQ 1.00 Item Delta(s): -0.94 Label Score Count % of tot Pt Bis t sig PV1Avg:1 PV1 SD:1 1 1 211 66.35 0.21 3.8 0.000 0.050 0.722 2 0 60 18.87 -0.09 -1.61 0.109 -0.364 0.673 3 0 47 14.78 -0.18 -3.23 0.001 -0.558 0.605 item:1 (1) Tham số a Tham số b Tham số c 564 D N N N H N C H D A TRÊN LÍ THUYẾT TRẮC NGHIỆM HIỆN ĐẠI IRT VÀ ỨNG DỤNG 4.2 So bằng câu hỏi Bởi vì các đề kiểm tra thử nghiệm n i trên được tiến hành trên các nhóm thí sinh dự thi lấy mẫu t các đối tượng khác nhau và các tham số câu hỏi của các đề được ước tính một cách riêng biệt, do đ các tham số ước tính cho các đề nói chung sẽ ở trên các thang đo T khác nhau. Vì vậy việc đưa các tham số của câu hỏi của các đề về cùng một thang đo – hay còn gọi là so bằng câu hỏi (Equating) – là việc làm cần thiết. Giả sử c 2 thang đo, J và ; gọi và là năng lực của thí sinh trong thang đo J và thang đo . Các giá trị này trên 2 thang đo c liên quan như sau: = A + B, trong đ A và B là các hằng số của hàm tuyến tính, được gọi là các hệ số liên kết. Các hằng số A và B này được xác định dựa vào số liệu thu được của 2 đề thử nghiệm. Ở đây, chúng tôi giới hạn 2 đề thử nghiệm c câu hỏi neo (hay câu hỏi cầu) - non–equivalent groups anchor test NEAT - và tập trung vào phương pháp so bằng dựa trên IRT. Bốn phương pháp so ằng T thường được sử dụng là: trung bình/trung bình, trung bình/sigma, Stocking–Lord và Haebara. Hình 4 là so ằng câu hỏi 2 đề thử nghiệm dùng phần mềm IRTEQATING Hình 4. o ằng câu hỏi 2 đề thử nghiệm : Về phần mềm quản trị Ngân hàng câu hỏi, nhiều trường dùng phần mềm tự viết, cũng c nơi mua phần mềm trên thị trường ch ng hạn FastTEST, Mathematics Item Bank Project .... Đề tài của chúng tôi chọn phần mềm Moodle vì Moodle là phần mềm mã nguồn mở và đáp ứng được đẩy đủ các tính năng của một hệ thống quản l Ngân hàng câu hỏi cho nên Moodle là lựa chọn hàng đầu trong danh sách các phần mềm tương tự. Moodle được xây dựng theo phân đoạn và nó dễ dàng được mở rộng bằng cách thêm các thành phần phụ. Cấu trúc cơ ản của Moodle hỗ trợ các thành phần phụ sau: Các hoạt động; Các nguồn tài nguyên; Các kiểu câu hỏi; Các trường dữ liệu; Giao diện đồ họa; hương thức chứng thực; hương thức ghi danh. Moodle cho phép quản lý NHCH dựa trên Ma trận môn học của môn học. Moodle hỗ trợ 2 cách nhập câu hỏi vào hệ thống: nhập trực tiếp hoặc nhập ằng tệp văn ản. Với quyền được cấp phép, người dùng có thể thực hiện các thao tác liên quan đến việc quản lý câu hỏi t Ngân hàng như: xem, sửa, xóa câu hỏi; chuyển câu hỏi t chủ đề này sang chủ đề khác trong Ngân hàng. Moodle có thể quản lý NHCH theo đúng yêu cầu tối thiểu của lý thuyết trắc nghiệm hiện đại. Tuy nhiên cũng như một số phần mềm quản lý khác, Moodle cũng chưa thực hiện được một số yêu cầu nâng cao, ví dụ như việc đưa các câu hỏi về cùng một thang đo, việc chưa đánh giá được đề kiểm tra trước khi cho thí sinh thi cũng như việc xây dựng các đề kiểm tra tương đương. Để khắc phục những thiếu sót của Moodle, nhóm phụ trách phần mềm của đề tài đã thực hiện phát triển thêm những mô đun tích hợp vào hệ thống, cho phép người quản lý có thể thực hiện được những thao tác nhằm đem lại kết quả như mong đợi. Nguyễn Tích Lăng 565 Hình 5. Màn hình phần mềm Moodle 6: Khi xây dựng đề kiểm tra, trước hết phải căn cứ vào mục tiêu dạy học, chuẩn đầu ra, nội dung dạy học, loại hình đánh giá, phương pháp đánh giá và ma trận đề kiểm tra. Ngoài ra các điều kiện khác cũng cần được lưu ; thí dụ, độ dài bài kiểm tra và phân phối câu hỏi liên quan đến kiểu của câu hỏi... N i chung các phần mềm quản trị NHCH cho phép tìm kiếm câu hỏi theo các trường trong bản ghi, thí dụ biến định danh ID, t khóa, mô tả câu hỏi, độ phân biệt, độ khó, tham số đoán m ... hay kết hợp giữa các dạng tìm kiếm này. Người ta c n sử dụng “H m thông tin đề thi” ra đề kiểm tra: Nếu đề kiểm tra thuộc loại đánh giá đầu vào/chẩn đoán, đề kiểm tra này để sàng lọc, phải có khả năng phân tách rõ rệt giữa các thí sinh c năng lực thấp hơn một mức nào đ và các thí sinh c năng lực cao hơn mức đ . Điểm phân cách ấy là một điểm cắt (cut–off–score) của hàm thông tin của đề kiểm tra. Cần đặt điểm nằm giữa thang điểm thực của đường cong đặc trưng đề kiểm tra với mức năng lực của điểm cắt đ . Các câu hỏi của đề kiểm tra nên có độ khó b nằm lân cận với điểm cắt nói trên. ột thí dụ khác là sử dụng “Đư ng cong đặc trưng đề thi”: Nếu đề kiểm tra thuộc loại đánh giá trong tiến trình và đánh giá tổng kết, đề kiểm tra này để đo năng lực của thí sinh trên một dải rộng của thang năng lực. Cần đặt điểm nằm giữa thang điểm thực của đường cong đặc trưng đề kiểm tra với điểm giữa của dải năng lực cần đo. ột phương pháp rất tốt nữa là sử dụng l thuyết “Đề kiểm tra thích ứng nh máy tính” (Computerized Adaptive Tests–CAT). Trong CAT, các câu hỏi được lựa chọn theo tuần tự, dựa theo trả lời của thí sinh cho các câu hỏi trước đ . ột tiêu chuẩn lựa chọn câu hỏi phổ biến trong CAT là tối đa của hàm thông tin đề kiểm tra tại mỗi mức năng lực ước tính. Ngoài ra còn một số tiêu chuẩn chọn câu hỏi khác như phân tầng theo tham số a, chọn phù hợp nhất với tham số b ... : Đá á Trước khi cho thí sinh thi, việc đánh giá đề kiểm tra xem có phù hợp với mục đích yêu cầu đặt ra không là rất cần thiết. Một số công cụ thường được sử dụng để đánh giá đề kiểm tra là: Hàm thông tin của đề thi (Test Information Fuction), Đư ng cong đặc trưng của đề thi (Test Characteristic Curve), Phương pháp Sinh (Generation). Ở Phương pháp Sinh (Generation), người ta dùng thuật toán“sinh ra” một nh m thí sinh c năng lực giống như đối tượng dự thi,“làm” đề kiểm tra đ và cho kết quả“điểm thô” gần đúng với thực tế. Hình là thí dụ cho 10000 thí sinh năng lực c phân phối Chuẩn)“làm” đề kiểm tra và ên phải là kết quả ài làm kết quả 0 1). 566 D N N N H N C H D A TRÊN LÍ THUYẾT TRẮC NGHIỆM HIỆN ĐẠI IRT VÀ ỨNG DỤNG Hình 6. hương pháp inh eneration) đánh giá đề kiểm tra Đ ki ơ ơ : Người ta sử dụng kỹ thuật đánh giá đề kiểm tra ở trên vào kiểm tra sự tương đương của 2 (hay nhiều) đề thi. Hình 7. Đánh giá tương đương của 2 đề kiểm tra ằng hương pháp inh : – á á Các chức năng của oodle hoàn toàn c thể thực hiện được đầy đủ việc tổ chức thi trực tuyến, chấm điểm và áo cáo kết quả. : KẾT LUẬN Năm 2017, đề tài “Xây dựng Ngân hàng câu hỏi Tiếng Anh” đã được nghiệm thu với kết quả “ uất sắc” tại trường Đại học Thăng Long. Đề tài đã đạt được những kết quả sau đây: - Nâng cao nhận thức của cán ộ quản l và giảng viên về NHCH và vai tr của NHCH trong đánh giá kết quả học tập của sinh viên. - ây dựng NHCH tiếng Anh: viết được 27 0 câu hỏi, đã tiến hành thử nghiệm, so ằng câu hỏi, xây dựng đề thi, đánh giá đề trước khi cho thí sinh thi, tổ chức thi, chấm điểm và lập áo cáo. - Hình thành được quy trình xây dựng NHCH hoàn chỉnh, t đ triển khai cho môn học khác và trao đổi kinh nghiệm xây dựng NHCH với các trường đại học khác. Những kết quả trên chứng tỏ rằng phương pháp xây dựng NHCH dựa trên l thuyết trắc nghiệm hiện đại T là c hiệu quả và thực tế hơn so với l thuyết trắc nghiệm cổ điển: 1. hi thử nghiệm câu hỏi, đề tài đã kết hợp với phân tích T với phân tích cổ điển và sử dụng kỹ thuật A để nâng cao chất lượng phân tích câu hỏi. 2. Đề tài đã thực hiện so ằng câu hỏi Equating) 2 đề thử nghiệm c câu hỏi cầu ằng phương pháp T chính xác hơn so với phương pháp truyền thống thông thường. Nguyễn Tích Lăng 567 3. Việc xây dựng đề kiểm tra ằng phương pháp “Đề kiểm tra th ch ứng nh má t nh” Computerized Adaptive Tests–CAT) rất nhanh ch ng và hiệu quả. 4. Đánh giá đề kiểm tra ằng Phương pháp Sinh (Generation) cho kết quả giống với thực tế, rất trực quan. Tuy nhiên trong quá trình thực hiện Đề tài, chúng tôi thấy còn một số mặt hạn chế sau đây: - Do nhà trường học và thi theo tín chỉ nên việc tiến hành thử nghiệm câu hỏi gặp nhiều kh khăn vì mỗi học kỳ chỉ c số lượng ít sinh viên tham gia trả lời câu hỏi. - ự phối hợp giữa các ộ phận đôi khi chưa được tốt. TÀI LIỆU THAM KHẢO [1] BRITISH COUNCIL, idp, Cabridge Assessement English, IELTS, 2019. [2] David J.Weiss, Manual for the FastTEST Professional Testing System, Assessment Systems Corporation 2233 University Avenue St.Paul, Minnesota, USA, 2008. [3] OECD, PISA Test, Programm or International Student Assessment, 2015. [4] Stephanie Vachalee, Kristin Bjordal and other, Item Bank Guidelines, EORTC, 2002. [5] EDTECH, Tài liệu hướng dẫn sử dụng phần mềm trắc nghiệm TE T L , Công ty THHH Công nghệ giáo dục và xử l dữ liệu, 2008. BUILDING A ITEM BANK BASED ON MODERN ITEM RESPONSES THEORY IRT AND APPLICATIONS Nguyen Tich Lang ABSTRACT. Item Bank is an effective tool to take student tests, ensuring objectivity, fairness and science in assessing results. herefore, in the world as well as in Vietnam, Item Bank is used more and more. However, in Vietnam, people now build tests by randomly extracting a few questions from the Bank, mixing questions, mixing variances, organizing examinations, scoring ... without putting all questions together a scale by analyzing questions according to modern Item Response Theory IRT, has not assessed the test before exam candidates, including the equivalent of tests ... In this paper, we present how to build Item Bank based on classic methods and specifically using modern Item Response Theory IRT with tools such as: Test Information Function, Test Characteristic Curve, Generation Method. We demonstrate the use of modern Item Response Theory IRT combined with classical methods for results close to reality and efficiency. We have applied this approach to the construction of the "English Item Bank" at Thang Long University.