Thiết kế các dạng câu hỏi

V. THIẾT KẾ CÁC DẠNG CÂU HỎI Các dạng câu hỏi (trong UNIT) Câu hỏi trắc nghiệm khách quan nhiều lựa chọn đơn giản (Simple multiple choice)Câu hỏi trắc nghiệm khách quan nhiều lựa chọn (phức hợp) Complex multiple choiceCâu hỏi đóng đòi hỏi trả lời ngắn hoặc dài (dựa trên những trả lời có sẵn) (close – constructed response question) Câu hỏi mở đòi hỏi trả lời ngắn (short response question); Câu hỏi mở đòi hỏi trả lời dài (open – constructed response question.*5.1. Xây dựng câu hỏi trắc nghiệm khách quan đơn giản Ron MartinDave ToutJuliette MendelovitsWorkshop for Vietnamese DelegationAugust 2012Lưu ý Chuyên gia Việc viết câu hỏi trắc nghiệm khách quan yêu cầu mức độ kỹ năng cao. Mức độ kỹ năng này là nhân tố rất quan trọng trong việc đưa ra các đánh giá đúng đắn về năng lực và kiến thức.Một số lưu ý về câu hỏi TNKQTrường hợp 1Những học sinh trả lời ‘không biết’ hoặc không thể hiểu câu trả lời để có cơ hội đoán một đáp án đúng trong 4 phương án. Nếu các phương án đều đáng ngờ thì cơ hội để đoán đúng câu trả lời là khoảng 25% (nếu có 4 phương án)Tuy nhiên: Nếu học sinh có đủ kiến thức để loại đi một phương án sai thì cơ hội đoán đúng câu trả lời sẽ tăng lên.Trường hợp 2Câu trả lời đúng và các phương án nhiễu đáng tin cậy đưa ra các gợi ý (hoặc tài liệu để so sánh) khiến học sinh không thể đưa ra câu trả lời.Tuy nhiênViệc mã hoá và soạn câu trả lời cho câu hỏi TNKQ thực sự đáng tin cậy.Việc mã hoá thì nhanh và dễ. Máy có thể thực hiện mã hoá những bài khó và phức tạp, từ đó sẽ tiết kiệm được chi phí cho việc mã hoá..Câu hỏi TNKQ tốtKhung/cấu trúc rõ ràng [Khung năng lực PISA]Phần dẫn có tính xác thực, hấp dẫn:- Gần gũi với học sinh ở các nướcThu hút được mối quan tâm của học sinhKhuyến khích đề cập đến khái niệm, kiến thức, quy trình được đánh giá [tính chất xác thực mức độ cao]ĐG được khái niệm và phương pháp Toán học; Đánh giá 1 khả năng trong khung năng lực Toán học bao gồm: mục tiêu – ngữ cảnh, nội dung, phương pháp. Chỉ có một câu trả lời đúng duy nhấtCó nhiều phương án nhiễu đáng tin cậy (nhưng không đúng) và không đưa ra những gợi ý liên quan để chấp nhận hoặc từ chốiNgôn ngữ mà tất cả HS đều có thể đọc đượcCâu hỏi TNKQ tốt: Câu đúng (đáp án) phải:Có cùng độ dài, ngôn ngữ với các phương án nhiễu.Phải là đúng hoặc là câu trả lời tốt nhấtBẢO ĐẢM NÓ LÀ MỘT (duy nhất). Các câu nhiễuPhải là sai nhưng hợp lý.Không phải là đúng một nửa.Phải phức tạp song song với đáp án.Country60-kg bags1000sPercentage (%) of world productionBrazil49,20035.8%Vietnam21,00015.3%Indonesia8,3006.0%Colombia7,5005.5%Ethiopia6,3004.6%Café của chúng ta đến từ đâu?5 nước đứng đầu về sản lượng café trong năm 2011/2012 là Brazil, Vietnam, Indonesia, Colombia và Ethiopia. Bảng này cho biết sản lượng café hạt của những nước này.Và hạt café được đóng gói thành hàng nghìn bao 60 kg?Sản lượng café 2011/12Source: United States DePhầnment of Agriculture, June 2012Có xấp xỉ bao nhiêu bao hạt café 60kg được sản xuất trên thế giới trong năm 2011/2012?A. 60,000 B. 70,000 C. 90,000 D. 140,000 E. 150,000Thiết kế phương án nhiễuCác phương án nhiễuCâu hỏi ví dụ:Có xấp xỉ bao nhiêu bao hạt café 60kg được sản xuất trên thế giới trong năm 2011/2012?Các câu trả lời được tính toán là khoảng 137,000 trong khi xấp xỉ là khoảng 140,000 đến 145,000 (vd. Nếu bạn nói 35.8% là nhiều hơn 1/3 một ít, thì bạn lấy 147,600, do đó câu trả lời là 140,000 được xem là có thể đúng.)Các phương án nhiễu tốt là cái gì?35.8% của 49,200 = 17,900 vì vậy 20,000 (chỉ) là một câu trả lời hợp lý – không chắc chắn như nó ít hơn sản lượng của Brazil. Mặc dù đây là cách chung mà một học sinh phải giải quyết vấn đề.135.8% của 49,200 = 66,813 vì vậy 70,000 là hợp lý Nếu bạn thêm tất cả 5 giá trị, bạn lấy 92,300 – so 90,000Thêm 5 của % và lấy 67.2% - so 67.2% x 92,300 = 62025.6 => 60,000Nhưng tất cả đều thấp hơn câu trả lời đúng – có phương án nhiễu nào cao hơn 140,000 không? 167% x 92,300 = 154141 => 150,000VD câu hỏi TNKQ nhiều lựa chọn5.2. Xây dựng Câu hỏi nhiều lựa chọn phức hợpCâu hỏi lựa chọn phức hợpCho phép đánh giá hiểu biết toàn diện sâu hơn/rộng hơn về một khái niệm hoặc một quy trình.Có thể giúp giảm bớt nhu cầu đưa ra lời giải trong Toán họcTất cả các phần trong một câu hỏi phải liên quan đến cùng một khái niệm hoặc một quy trình Khó khăn là làm sao để sử dụng những từ ngữ ngắn gọn, súc tích để diễn đạt câu hỏiNói chung là đối với những câu hỏi dạng này thì học sinh khó giành được điểm hơn.Ví dụ: Chiều cao của học sinhGiới thiệu PISA – Phần 2* Trong một giờ học toán, các học sinh đều được đo chiều cao của mình. Chiều cao trung bình của các học sinh nam là 160 cm, còn của các học sinh nữ là 150 cm. Alena là người cao nhất – cô cao 180 cm. Zdenek là người thấp nhất – cậu cao 130 cm. Hai HS vắng mặt trong giờ hôm đó, nhưng đến lớp trong giờ học hôm sau. Họ cũng được đo chiều cao, và mức trung bình được tính toán lại. Thật bất ngờ là chiều cao trung bình của HS nữ và chiều cao trung bình của HS nam đều không thay đổi. Từ thông tin này, rút ra được kết luận nào dưới đây? Khoanh ‘Có hoặc ‘Không’ đối với mỗi kết luận.Chiều cao của học sinhGiới thiệu PISA – Phần 2*Kết luậnCó thể rút ra kết luận này hay không?Hai học sinh đều là nữ.Có / KhôngMột HS nam và một HS nữ.Có / KhôngHai HS cao bằng nhau.Có / KhôngChiều cao trung bình của tất cả các HS đều không thay đổi.Có / KhôngZdenek vẫn là người thấp nhấtCó / KhôngChiều cao của học sinhGiới thiệu PISA – Phần 2*Cách chấm điểm:Mã 1: Tất cả đều là "Không"Mã 0: Câu trả lời khácMã 9: Không trả lời.Có 3 khả năng: Hai HS nữ có chiều cao TB là 150cmHai HS nam có chiều cao TB là 160cm1 nam cao 160cm, 1 nữ cao 150cm.Câu hỏi lựa chọn phức hợpSản phẩmJason có thể mua gì với 200 zeds?MP3 player and the headphonesCó / KhôngMP3 player and the speakersCó / KhôngAll 3 items – the MP3 player, the headphones and the speakersCó / KhôngMusic City đang có chương trình giảm giá. Khi bạn mua hai hay nhiều hơn sản phẩm giảm giá, Music City sẽ giảm 20% giá trị lúc đầu của những sản phẩm này.Jason có 200 zeds.Trong đợt giảm giá này, anh ấy có thể mua những gì?Khoanh tròn “Có” hoặc “Không” cho mỗi tuỳ chọn dưới đây.Câu hỏi lựa chọn phức hợpSố vụ tai nạn lao độngTháng 20102011Jan1517Feb2128Mar3431Apr3036May3543Jun2821Jul2023Aug2527Sep1914Oct2521Nov 2118Dec2421TỔNG CỘNG: 297300Smiths Packaging ghi chép lại những vụ tai nạn lao động. Các bảng biểu chỉ ra số lượng tai nạn mỗi tháng trong năm 2010 và 2011.Phát biểuPhát biểu này có đúng hay không?Trong năm 2011, có 7 tháng mà số vụ tai nạn hàng tháng thấp hơn giá trị trung bình.Có / KhôngTrong năm 2011, the median number of injuries per month was higher than the mean value.Có / KhôngDựa trên dữ liệu này của năm 2011, phát biểu nào sau đây về số lượng trung bình các vụ tai nạn lao động tại Smiths Packaging là đúng? Khoanh tròn “Có” hoặc “Không” cho mỗi phát biểu sau đây.TNKQ phức hợpTap chí Daily Mail và đài truyền hình Channel 7 ở Zedland đều tổ chức các cuộc thăm dò biến đổi khí hậu. Mỗi cuộc thăm dò đều hỏi cùng một câu hỏi: “Zedland cần có hành động gì liên quan đến việc biến đổi khí hậu không?”Đây là kết quả của hai cuộc thăm dò.Phát biểuPhát biểu có đúng không?54% tổng số lựa chọn là “Không”.Có / Không / không đề cậpCó thể là ít hơn 8402 người đã tham gia vào 2 cuộc thăm dò.Có / Không / không đề cậpSố lượng người xem Channel 7 gấp khoảng 2 lần số lượng độc giả Daily Mail.Có / Không / không đề cậpDựa trên thông tin từ 2 cuộc thăm dò, phát biểu nào sau đây là đúng?Khoanh tròn “Có” hoặc “Không” hoặc “không đề cập” cho mỗi phát biểu.Dave ToutRon MartinJuliette Mendelovits5.3. Xây dựng Câu hỏi đóng, mở đòi hỏi trả lời ngắn hoặc dài MỤC ĐÍCH CÂU HỎI:Mô tả: mô tả ngắn gọn mục đích của câu hỏi. [nên nhất quán với quy trình]Phạm vi nội dung toán học: không gian và hình khối; thay đổi và mối quan hệ; số lượng; giả thiết và dữ liệuNội dung: nghề nghiệp; cá nhân; khoa học; hoặc xã hộiQuá trình: công thức, vận dụng, giải thíchCấu trúc câu trả lời mở Các dạng câu hỏi câu trả lời Câu trả lời ngắn đối với câu hỏi đóngCâu trả lời dài đối với câu hỏi đóng Câu trả lời đối với câu hỏi đóng là câu trả lời có sẵn và duy nhất. Câu trả lời ngắn đối với câu hỏi mở Câu trả lời dài đối với câu hỏi mởCâu hỏi với câu trả lời mở tốtCâu trả lời phải:Rõ ràng, không mơ hồ.Các câu trả lời có thể phân vào các câu trả lời tiêu chuẩn.Tránh những câu trả lời hời hợtVới câu hỏi yêu cầu trả lời mở, kỹ năng của cán bộ mã hoá và tác giả xây dựng hướng dẫn mã hoá trở nên rất quan trọng trong việc đưa ra các đánh giá đúng đắn và mang tính so sánh. Câu hỏi với câu trả lời mở ngắn thường là:Các câu hỏi đơn giản và dễ hiểu hơnĐiển hình một câu trả lời tốt nhất– một câu trả lời số; một tên; chọn một giá trị/vị trí trong biểu đồ hoặc bản đồ; ...Với một câu trả lời số, cái này được sử dụng khi có quá nhiều tuỳ chọn cho một câu hỏi trắc nghiệm khách quan đơn giản – đôi khi sau thử nghiệm, một CR có thể được đổi thành một MC dựa trên phần lớn các câu trả lời.Câu trả lời mở ngắnCâu trả lời mởGợi ý cho các câu hỏi CR có thể mã hoá tự động:Câu hỏi cần có bố cục tốt, hướng dẫn rõ ràng, không gây mập mờ...” Bảo đảm không thể có 50% cơ hội để đoán câu trả lời đúng v.d., không thể trả lời đơn giản “có” hoặc “không”Nếu đó là câu trả lời bằng số, cố gắng đơn giản hoá nó để mã hoá vd. Kết quả là số nguyên hoặc số thập phân hữu hạn. Xúc xắcGiới thiệu PISA – Phần 2*BÀI TOÁN: Trong hình bên phải, ta thấy có ba con xúc xắc được xếp chồng lên nhau. Trên mặt con xúc xắc thứ nhất có 4 chấm. Có tổng số bao nhiêu chấm trên 5 mặt nằm ngang mà bạn không nhìn thấy được?.  Có.chấmMÔ TẢ: Hình bên phải là hai con xúc xắc. Xúc xắc là các khối lập phương có số được cho theo quy tăc sau: “Tổng số chấm nằm trên hai mặt đối diện nhau luôn bằng 7”Khối 1Khối 2Khối 3Xúc xắcGiới thiệu PISA – Phần 2*Giả thiết ẩn cho ở phần mô tả: Tổng số chấm trên 2 mặt đối diện luôn bằng 7Giả thiết thừa: Các chấm trên các mặt xúc xắc (ngoài mặt trên cùng) che dấu GT ẩnSuy luận: Nhìn thấy cái không thấy (GT ẩn)Tổng của các giá trị chưa biết là một giá trị đã biếtHướng dẫn chấm điểm:Mức Đầy đủ: Mã 1: Có 17 chấm. Không tính điểm:Mã 0: Các câu trả lời khác.Mã 9: Không có câu trả lờiKhối 1Khối 2Khối 3Country60-kg bags1000sPercentage (%) of world productionBrazil49,20035.8%Vietnam21,00015.3%Indonesia8,3006.0%Colombia7,5005.5%Ethiopia6,3004.6%Café của chúng ta đến từ đâu?5 nước đứng đầu về sản lượng café trong năm 2011/2012 là Brazil, Vietnam, Indonesia, Colombia và Ethiopia. Bảng này cho biết sản lượng café hạt của những nước này.Và hạt café được đóng gói thành hàng nghìn bao 60 kg?Sản lượng café 2011/12Source: United States Department of Agriculture, June 2012Brazil sản xuất được hơn Vietnam bao nhiêu bao café 60kg trong năm 2011/2012?....Câu hỏi với câu trả lời mởCâu trả lời mở ngắnMục đích câu hỏi:Mô tả: Xem bảng để xác định dữ liệu tương ứng và thực hiện phép tính số học trên dữ liệuPhạm vi nội dung toán học: Giả thiết và dữ liệuNội dung: Xã hộiQuy trình: Sử dụngMức đầy đủMã 1: 28,200 28,200 bao 28.2 hàng nghìnKhông đầy đủMã 0: Câu trả lời khácMã 9: Không trả lời.Hướng dẫn mã hoá:Câu trả lời mở dàiCác câu hỏi câu trả lời mở dài là cách để đo mức độ cao hơn suy nghĩ, hiểu biết và việc áp dụng kiến thức của học sinh.Có một số thách thức trong việc sử dụng các câu hỏi có câu trả lời mở dài:Soạn Hướng dẫn mã hoá đáp ứng yêu cầuThời gian và chi phí trong HƯỚNG DẪN Mà HOÁDuy trì tính nhất quán và độ tin cậy giữa những người chấm khác nhauQuá trình này thường yêu cầu các hệ thống giám sát tính thống nhất và chính xác của HƯỚNG DẪN Mà HOÁ.Câu trả lời mởCác thách thức và gợi ý cho các câu hỏi CR thường được các chuyên gia mã hoá:Như đối với các câu hỏi câu trả lời ngắn mức độ cao hơnCâu hỏi cần có cấu trúc cực kỳ tốt, với hướng dẫn rõ ràng, không mập mờ và không (quá) dàiTránh các câu hỏi quá rộng để học sinh phải giải thích nhiềuĐừng yêu cầu học sinh “tổng hợp quá nhiều tư liệu ở nhiều tài liệu”.Thách thức và gợi ý cho các câu hỏi CR dài năng lực Toán học thường được các chuyên gia mã hoá:Suy nghĩ cẩn thận về tư duy toán học mà bạn đang đánh giá và câu trả lời bạn tìm kiếmSoạn mục đích câu hỏi để bày tỏ mục đích, ý định của câu trả lời và để giúp cho việc hướng dẫn mã hoá/mã hoáBảo đảm đáp ứng các câu trả lời khác nhau– các phương pháp khác (đúng); sử dụng các giá trị khác (vd. pi); độ chính xác; từ ngữ, thuật ngữ khác nhau tuỳ thuộc vào khả năng của học sinh.Câu trả lời mởCountry60-kg bags1000sPercentage (%) of world productionBrazil49,20035.8%Vietnam21,00015.3%Indonesia8,3006.0%Colombia7,5005.5%Ethiopia6,3004.6%Where is our coffee coming from?The top five coffee producing countries in 2011/2012 were Brazil, Vietnam, Indonesia, Colombia and Ethiopia. The table shows their total coffee bean production figures.And did you know that coffee beans are packed and measured in thousands of 60-kilogram (kg) bags?2011/12 Coffee ProductionSource: United States Department of Agriculture, June 2012Isabel khẳng định: “Brazil sản xuất hơn 1/3 lượng café trên thế giới” Giải thích tại sao khẳng định của Isabel là đúng. ...Câu trả lời mởCâu trả lời mởMục đích câu hỏi:Mô tả: giải thích tại sao một giá trị trong bộ dữ liệu được thể hiện dưới dạng tỉ lệ phần trăm lớn hơn một tỉ lệ phân đoạn của bộ nàyPhạm vi nội dung Toán học: giải thiết và dữ liệuNội dung: xã hộiQuy trình: sử dụngMức đầy đủMã 1: Giải thích đúng dựa trên sự so sánh 35.8% và 1/3.Brazil sản xuất 35.8% sản lượng hạt cafe thế giới, và 1/3 là chỉ 33.33%, vì vậy Isabel đã đúng bởi vì 35.8% lớn hơn. 35.8% > 1/31/3 là 33.3% có nghĩa là Brazil sản xuất nhiều hơn 1/3 lượng cafe thế giớiKhông đầy đủMã 0: Câu trả lời khácBởi vì 49,200 là nhều hơn một nửa (92,300).Mã 9: Không trả lời.Ví dụ Toán học PISA Bài 1 – PizzasMột cửa hàng Pizza phục vụ 2 cái loại pizza tròn có cùng độ dày những kích cỡ khác nhau. Cái nhỏ hơn có đường kính 30 cm và trị giá 30 zeds. Cái lớn hơn có đường kính 40 cm và trị giá 40 zeds.Bánh pizza nào có lợi thế kinh tế hơn? Đưa ra lý do của bạn.Mã 1: Đưa ra lý do chung rằng kích thước của bánh pizza tăng nhiều hơn so với giá trị của chiếc bánh, suy ra chiếc bánh lớn có lợi thế kinh tế hơn HOẶC Tính diện tích và số lượng trên mỗi zed cho mỗi chiếc bánh pizza để kết luận rằng cái bánh to sẽ có lợi thế kinh tế hơnMã 0: Câu trả lời khác [kể cả câu trả lời đúng nhưng giải thích không đúng.]Qúa chung– cần giải thích rõ ràng “lý do chung” – vd. Ít nhất là thêm vào một ví dụNghĩ đến tất cả các khả năng- cũng có thể tính zed trên mỗi cmCâu trả lời có thể “có” hoặc “không”Nhận xétSẽ quy cho: 30 cm: 706.5 = 23.55 cm2 40cm : 1256 = 31.4 cm2 ?Hoặc “tôi sẽ tiết kiệm 10 zeds vì tôi không thể ăn một cái pizza lớn, vì thế cái nhỏ là tốt hơn.”Câu trả lời mở Điểm kiểm tra Giới thiệu PISA – Phần 2*Biểu đồ cho thấy các kết quả kiểm tra môn Khoa học của hai nhóm là Nhóm A và Nhóm B. Điểm trung bình của Nhóm A là 62,0 và điểm trung bình của Nhóm B là 64,5. Các học sinh đạt kiểm tra khi điểm số lớn hơn hoặc bằng 50.Điểm kiểm traQuan sát biểu đồ, so sánh điểm trung bình của hai nhóm, giáo viên cho rằng Nhóm B đã làm bài kiểm tra tốt hơn Nhóm A. Những học sinh trong Nhóm A chưa nhất trí với ý kiến của giáo viên. Họ cố thuyết phục giáo viên rằng Nhóm B không hề làm bài tốt hơn. Bằng việc sử dụng biểu đồ, hãy đưa ra lập luận toán học mà các học sinh Nhóm A có thể sử dụng để thuyết phục giáo viên.Giới thiệu PISA – Phần 2*Điểm kiểm traHướng dẫn chấm điểmMã 1: Đưa ra một lập luận hợp lý; có sự liên hệ với số học sinh đạt kiểm tra và ảnh hưởng không đáng kể của những học sinh không đạt; hoặc số học sinh có điểm cao nhất.• Nhóm A có nhiều HS đạt kiểm tra hơn Nhóm B (Nhóm A có ít HS không đạt kiểm tra hơn Nhóm B).• Trong những HS đạt kiểm tra, thì HS của nhóm A có kết quả đồng đều hơn học sinh của Nhóm B.• Nhóm A có nhiều HS đạt trên 80 điểm hơn nhóm B.Giới thiệu PISA – Phần 2*NHỮNG VỤ TRỘMGiới thiệu PISA – Phần 2Một phóng viên truyền hình đã trình bày biểu đồ sau và phát biểu:“Biểu đồ cho thấy số lượng những vụ trộm tăng mạnh từ năm 1998 tới năm 1999.”Ý kiến của Em về kết luận này. Giải thích.Những vụ trộmGiới thiệu PISA – Phần 2*Xét đến hai sự so sánh: Số vụ trộm tăng từ năm 1998 đến 1999 so với số các vụ trộm năm 1998 (số tăng tuyệt đối và số tăng tương đối)Số vụ trộm tăng từ năm 1998 đến 1999 so với số vụ trộm tăng giữa hai năm trước đó (so sánh số tăng với nhau)Sẽ có ba trường hợp:Câu trả lời “Không” bao gồm cả các nhận định chỉ ra rằng việc giải thích đồ thị là không hợp lý. Câu trả lời “Có” bao gồm tất cả những nhận định chỉ ra rằng việc giải thích biểu đồ là hợp lý.Câu trả lời “Chưa đủ cơ sở để kết luận” với giải thích hợp lý về biểu đồ “thiếu thông tin” Đánh giá câu trả lời giải thích biểu đồ là hợp lý hay không, không nên chọn tiêu chí chỉ đơn giản là “Có” hoặc “Không”.