Hướng dẫn quy trình và kỹ thuật tự đánh giá

HƯỚNG DẪN QUY TRÌNH VÀ KỸ THUẬT TỰ ĐÁNH GIÁPGS.TS. Nguyễn Công KhanhTrung tâm Đảm bảo Chất lượng giáo dục và Khảo thíĐại học Sư phạm Hà NộiTel: 0904 218 270congkhanh@fpt.vnTự đánh giá trong KĐCL GDĐH TĐG là quá trình do chính trường đại học căn cứ vào các tiêu chuẩn kiểm định chất lượng (do Bộ GD-ĐT ban hành) để tiến hành tự xem xét và báo cáo về tình trạng chất lượng, hiệu quả các hoạt động đào tạo, nghiên cứu khoa học, nhân lực... chỉ ra các mặt mạnh và mặt yếu cần phải cải thiện, từ đó có các biện pháp để điều chỉnh các nguồn lực và quá trình thực hiện nhằm đáp ứng các tiêu chuẩn đã quy định. TĐG là một quá trình liên tục, đòi hỏi nhiều thời gian, công sức, tốn kém và phải có sự tham gia của nhiều bộ phận và cá nhân trong toàn trường. TĐG không giống như các hình thức tự đánh giá khác thường gặp trong thi đua khen thưởng hay báo cáo thống kê quản lý. Tự đánh giá trong KĐCL GDĐH TĐG là phần cốt lõi của qui trình kiểm định. TĐG là trọng tâm của quá trình nâng cao chất lượng TĐG là thể hiện cụ thể tính tự chủ và tự chịu trách nhiệm của nhà trường trong toàn bộ các hoạt động đào tạo, nghiên cứu và dịch vụ xã hội TĐG phải phản ánh được quan điểm chung của giảng viên, sinh viên/học viên và cán bộ quản lýTự đánh giá trong KĐCL GDĐH TĐG đòi hỏi tính khách quan, trung thực và công khai Các giải thích, nhận định, kết luận đưa ra trong quá trình tự đánh giá cần dựa trên các minh chứng cụ thể, rõ ràng, đảm bảo độ tin cậy TĐG bao quát hết 61 tiêu chí trong 10 Tiêu chuẩn kiểm định chất lượng trường đại học do Bộ GD-ĐT ban hànhTự đánh giá theo tiêu chí Với mỗi tiêu chí nhà trường cần tập trung làm sáng tỏ 3 khía cạnh sau đây: Mô tả làm rõ thực trạng ? (tình hình thực tế ra sao?) Phân tích, giải thích, so sánh đối chiếu... để đi đến nhận định về điểm mạnh/ chỉ ra những tồn tại và nhận định mức độ đạt được (xếp loại) Lên kế hoạch hành động (cần phải làm gì để cải tiến tồn tại)?Quy trình tự đánh giá gồm các bước sau:Xác định mục đích, phạm vi tự đánh giá Thành lập Hội đồng tự đánh giáLập kế hoạch tự đánh giáThu thập thông tin và minh chứngXử lý, phân tích các thông tin và minh chứng thu được Viết báo cáo tự đánh giáTriển khai các hoạt động sau khi hoàn thành tự đánh giá. Mục đích và phạm vi tự đánh giá Tự đánh giá phục vụ việc đảm bảo chất lượng: - Cải tiến, nâng cao chất lượng - Để đăng ký kiểm định chất lượngPhạm vi tự đánh giá bao quát toàn bộ các hoạt động theo 10 tiêu chuẩn kiểm định của Bộ GD-ĐTHội đồng tự đánh giá Giúp việc cho HĐ là Ban thư ký - Trưởng ban thư ký (trưởng bộ phận ĐBCL) - Các uỷ viên thư ký (cán bộ của bộ phận ĐBCL và các phòng/ban) Thành lập các nhóm công tác chuyên trách - Mỗi nhóm có 4-5 thành viên, do 1 uỷ viên HĐ phụ trách - Mỗi nhóm phụ trách việc thu thập thông tin/minh chứng để đánh giá 1-2 tiêu chuẩn - Mỗi người tham gia không quá 2 nhóm - Các thành viên trong nhóm phải được tập huấn các kỹ thuật thu thập thông tin/minh chứng, thống nhất kế hoạch, phương pháp... Kế hoạch tự đánh giá HĐ xây dựng kế hoạch tự đánh giá:Xác định mục đích, nội dung, phạm viPhân công trách nhiệm cụ thể cho từng nhóm công tác chuyên trách ứng với từng tiêu chuẩn (người chịu trách nhiệm, thư ký...)Từng nhóm xác định những công việc phải thực hiện: thông tin/minh chứng cần thu thập cho từng tiêu chí... Dự kiến khoảng thời gian triển khai tự đánh giá và lịch trìnhthực hiện các hoạt động cụ thể, Dự kiến các nguồn lực...Tiêu chuẩn 1. Sứ mạng và mục tiêu (2 tiêu chí)Tiêu chuẩn 2. Tổ chức và quản lý ( 7 tiêu chí)Tiêu chuẩn 3. Chương trình giáo dục (6 tiêu chí)Tiêu chuẩn 4. Hoạt động đào tạo (7 tiêu chí)Tiêu chuẩn 5. Đội ngũ cán bộ quản lý, giảng viên và nhân viên (8 tiêu chí)Tiêu chuẩn 6. Người học (9 tiêu chí)Tiêu chuẩn 7. Nghiên cứu khoa học , ứng dụng, phát triển và chuyển giao công nghệ (7 tiêu chí)Tiêu chuẩn 8. Hoạt động hợp tác quốc tế ( 3 tiêu chí)Tiêu chuẩn 9. Thư viện, trang thiết bị học tập & cơ sở vật chất khác ( 9 tiêu chí)Tiêu chuẩn 10. TàI chính và quản lý tàI chính (3 tiêu chí)CÁC TIÊU CHUẨN KIỂM ĐỊNH CÁC TRƯỜNG ĐẠI HỌC Các bước tiến hành tự đỏnh giỏ theo bộ tiờu chuẩn KĐCL của Bộ GD-ĐT Bước 1: trước khi thu thập minh chứng: - Đọc kỹ tiêu chí để hiểu rõ nội hàm - Xác định các từ khoá - Xem hướng dẫn gợi ý minh chứng/ nguồn minh chứng - Xỏc định xem những minh chứng nào có thể thu thập - Người và nguồn có thể thu thập được các minh chứng nàyBước 2: triển khai thu thập minh chứng - Các thành viên của nhóm công tác chuyên trách thu thập minh chứng từ nhiều nguồn - Huy động sự tham gia của các bộ phận, giáo viên, người học cung cấp minh chứng Bước 3: phân tích minh chứng: - Phân tích các minh chứng xem có đáp ứng các yêu cầu của từng tiêu chí tương ứng. - Chọn lọc ra các minh chứng có những nội hàm phù hợp đáp ứng các yêu cầu của các tiêu chí tương ứng. - Đặt ra những câu hỏi (theo gợi ý) để xem xét liệu đã đủ minh chứng, các minh chứng được phân tích bình luận thế nào cho phù hợp - Đánh mã và lưu giữ minh chứng trong Hộp Hồ sơ minh chứng theo yêu cầu cụ thể của từng tiêu chí. Các bước tiến hành tự đỏnh giỏ theo bộ tiờu chuẩn KĐCL của Bộ GD-ĐT Bước 4: Viết báo cáo tự đánh giá: Viết theo cấu trúc trong tài liệu hướng dẫn tự đánh giá, mỗi tiêu chí cần: - Mô tả, phân tích để khẳng định nội hàm của minh chứng phù hợp với yêu cầu của tiêu chí - Dựa trên minh chứng đưa ra những nhận định: điểm mạnh, tồn tại - Trên cơ sở điểm mạnh, tồn tại , xây dựng kế hoạch hành động (duy trì/cải tiến/khắc phục) - Đặt ra những câu hỏi (theo gợi ý) để kiểm tra liệu đã nói trúng nội hàm của tiêu chí Bước 5: tổng hợp kết quả tự đánh giá - Sau khi viết xong, tổng hợp kết quả tự đánh giá vào phiếu tự đánh giá - Gửi báo cáo tự đánh giá cho các phòng, ban, trung tâm... và những người liên quan khác để họ góp ý... Sao cho báo cáo tự đánh giá phản ánh được quan điểm chung, khách quan. Các yêu cầu: thu thập thông tin và minh chứng Nghiên cứu kỹ các tiêu chí, từng mức độ để thu thập thông tin/minh chứng phù hợp Thông tin phải được thu thập từ nhiều nguồn khác nhau để đảm bảo độ tin cậy và tính chính xác Thông tin là những tư liệu ở dạng định tính hoặc định lượngMinh chứng là những thông tin gắn với các tiêu chí để xác định mức độ đạt được trong mỗi tiêu chíNhóm công tác chuyên trách thường xuyên trao đổi để phản biện về những thông tin /minh chứng thu được Các nguyên tắc định hướng thu thập thông tin và minh chứng Làm thế nào để đánh giá từng tiêu chí một cách trung thực chính xác. khách quan và tin cậy ? Tính đầy đủ của minh chứng ?Tính tương thích/phù hợp của minh chứng ?Mỗi người tham gia thu thập thông tin và minh chứng trong quá trình tự đánh giá luôn giữ trong đầu câu hỏi định hướng sau: Liệu các minh chứng thu được có cung cấp những thông tin hữu ích cho việc hiểu biết đầy đủ nội hàm của tiêu chí đó nhằm đánh giá đúng thực trạng và quan trọng hơn là tìm cách cải tiến nâng cao chất lượng ở khu vực đó ?Các kỹ thuật thẩm định mức độ tin cậy/đầy đủ/phù hợp của thông tin/ minh chứng 1. Đặt câu hỏi tự chất vấn mình và chất vấn người cung cấp thông tin: Thông tin thu được có phù hợp, có thể coi là minh chứng đáng tin cậy hay không? Các minh chứng có đảm bảo tính hiện hành không?Các minh chứng đó đã đầy đủ để công nhận đạt 100% yêu cầu/ đạt 50% yêu cầu ? Nếu người khác đi thu thập thông tin đó thì có thu được kết quả tương tự như thế không? Những thông tin đó có mang lại cho chúng ta những hiểu biết mới, rõ ràng và chính xác về lĩnh vực đó hay không?...2. Thảo luận/ phản biện trong nhóm công tác 3. Thảo luận/ phản biện trong các phiên họp của HĐ 4. Thảo luận/ trao đổi với đồng nghiệp/ chuyên gia tư vấn Các kỹ thuật thu thập thông tin/ minh chứng Nghiên cứu các văn bản/tài liệu/ hồ sơ Lập các biễu mẫu thống kêĐiều tra bằng các bảng hỏi/phiếu hỏi (SV, GV, CBQL, người tuyển dụng...)Phỏng vấn SV, GV, CBQL (cá nhân)Trao đổi /Toạ đàm (nhóm)Quan sât/ dự giờ / thăm hiện trường Các kỹ thuật mã hoá minh chứng Lập mã minh chứng theo tiêu chí:VD: TC1.1.M1-n TC 1.1: là tiêu chí 1.1M1-n: là minh chứng thứ 1 đến thứ nLưu ý: mỗi minh chứng chỉ có 1 mã, mỗi tiêu chí có nhiều minh chứng và 1 minh chứng có thể dùng cho nhiều tiêu chíNghiên cứu các văn bản/tài liệuLÀ PHƯƠNG PHÁP QUAN TRỌNG TRONG VIỆC THU THẬP CÁC CHỨNG CỚ ĐÁNG TIN CẬY LÀM CƠ SỞ CHO CÁC ĐÁNH GIÁ VÀ ĐƯA RA CÁC QUYẾT ĐỊNH VỀ MỨC ĐỘ XẾP MỨC TRONG KIỂM ĐỊNH CHẤT LƯỢNG.MỘT NGUYÊN TẮC TRONG KIỂM ĐỊNH: KHÔNG KẾT LUẬN NẾU KHÔNG CÓ ĐỦ CHỨNG CỨ.Nghiên cứu các văn bản/tài liệu (2)Trước hết nghiên cứu kỹ các tiêu chuẩn/tiêu chí/các gợi ý minh chứng (đọc kỹ từng tiêu chuẩn và các tiêu chí để hiểu rõ nội hàm từng tiêu chí và từng mức độ của mỗi tiêu chí)Nghiên cứu bản “Hướng dẫn tự đánh giá”, nẵm vững các yêu cầu và nội dung các công việc phải làm.Thảo luận nhóm để cùng xác định: - Loại văn bản/tài liệu nào cần thu thập? - Thu thập từ những nguồn nào? - Nội dung của văn bản/tài liệu có phù hợp với các yêu cầu của tiêu chí (nội hàm từng mức độ)? - Tính hiện hành/pháp lý của văn bản?VD: Thực hành ? Lập các biểu mẫu thống kêLàm thế nào để lập được các biểu mẫu thống kê nhằm thu thập được các thông tin hữu ích nhất? Mục đich?Đơn vị thống kê là gị?Sự tích hợp các số liệu thông kê đã phù hợp chưa? Phân tích số liệu thống kê này giúp gì cho việc hiểu biết bức tranh thực trạng (nội hàm) của tiêu chí đó hay các tiêu chí liên quan khác? Số liệu thống kê giúp gì cho việc cải tiến?Bảng : Tỷ lệ kinh phí đầu tư trên tổng kinh phíNguånkinh phÝ (%)N¨m 2003N¨m 2004N¨m 2005N¨m 2006N¨m 20071.Ng©n s¸ch nhµ n­íc2Kinh phÝ thu sù nghiÖp (häc phÝ, lÖ phÝ )3.KP dù ¸n hoÆc tµI trî cña tæ chøc trong, ngoµI n­íc4.Nguån thu tõ nghiªn cøu KH5.Nguån thu kh¸cTæng céng100%100%100%100%100%Bảng: Tỷ lệ kinh phí đầu tư cho từng hạng mục  trong tổng kinh phí của nhà trườngTû lÖ ®Çu t­N¨m 2003N¨m 2004N¨m 2005N¨m 2006N¨m 2007§µo t¹o ®¹i häc – cao ®¼ng§µo t¹o sau ®¹i häcNghiªn cøu khoa häc§µo t¹o l¹i & båi d­ìng c¸n béCh­¬ng tr×nh môc tiªu§µo t¹o c¸c lo¹i h×nh kh¸c.Tæng céng100%100%100%100%100%Bảng 3: Tỷ lệ phân bổ kinh phí chi tiết so với tổng kinh phí của từng hạng mụcPh©n bæ nguån kinh phÝN¨m 2003N¨m 2004N¨m 2005N¨m 2006N¨m 20071. Ng©n s¸ch ®µo t¹o §H – cao ®¼ng2. Ng©n s¸ch ®µo t¹o sau ®¹i häc3. Ng©n s¸ch nghiªn cøu khoa häc(Chi cho ®Ò tµI cÊp tr­êng, cÊp Bé, cÊp NN, dù ¸n .)4. Kinh phÝ NS §T l¹i vµ båi d­ìng c¸n bé5. Ng©n s¸ch chi cho ch­¬ng tr×nh môc tiªu(chi cho c¸c nhiÖm vô ®Æc biÖt, môc tiªu träng ®iÓm ..)6. Nguån kinh phÝ thu sù nghiÖp7.Kinh phÝ tµI trîThiết kế phiếu hỏi Khảo sát có phải là phương pháp cần thiết để thu thập thông tin cho tiêu chuẩn/tiêu chí này ?Làm thế nào để thiết kế được phiếu hỏi có độ tin cậy? Mục đich?Đối tượng hỏi?Nội dung đo lường?Kiểu câu hỏi/ item (câu hỏi đóng hay mở) ?Cách xử lý phân tích số liệu khảo sát giúp gì cho việc hiểu biết bức tranh thực trạng (nội hàm tiêu chí)? Số liệu khảo sát giúp gì cho việc cải tiến?Phỏng vấn Phỏng vấn là kỹ thuật quan trọng để thu thập thông tin định tính ?Làm thế nào để thông tin phỏng vấn có độ tin cậy? Xác định mục đich, đối tượng, nội dung cần phỏng vấn ?Sử dụng kỹ thuật đạt câu hỏi mở phỏng vấnNgười phỏng vấn ghi lại những ý chính từ người trả lời (tóm tắt để người được phỏng vấn khẳng định lại)Nếu có điều kiện hãy ghi âm để cả nhóm cùng thảo luận?So sánh đối chiếu các thông tin từ cuộc phỏng vấn với các nguồn thống tin khác Các bước tiến hành phỏng vấnGiới thiệu bản thân và mục đích phỏng vấnKhẳng định với đối tượng rằng thông tin sẽ được giữ bí mật (giải thích rõ cách làm)Giải thích tầm quan trọng của những thông tin đối tượng sẽ cung cấpXin phép ghi âm hoặc ghi chép thông tinHỏi các câu hỏi làm quenHỏi các câu hỏi thuộc nội dung nghiên cứuKết thúc phỏng vấn, cám ơn, trả lời các câu hỏi của người được phỏng vấnCác kỹ thuật thu thập thông tin/ minh chứng Quan sátQuan sát là kỹ thuật quan trọng để thu thập thông tin/bằng chứng ? Xác định mục tiêu, đối tượng, nội dung cần quan sát ?Đưa ra các tiêu chí/chỉ báo khi quan sát cho từng nội dung quan sát cụ thểNgười quan sát ghi chép lại những thông tin chính vào phiếu quan sát Nếu có điều kiện hãy ghi hình?So sánh đối chiếu các thông tin từ quan sát với các nguồn thông tin khác Xử lý phân tích các thông tin và minh chứng Với mỗi tiêu chí cần làm sáng tỏ những câu hỏi sau đây: Thực trạng/tình hình thực tế ra sao (mô tả)? Giải thích, nhận định về thực trạng này như thế nào (phân tích, so sánh chỉ ra những điểm mạnh/ điểm yếu, giải thích nguyên nhân, nhận định mức độ đạt được...)? Cần phải làm gì để cải tiến tồn tại (kế hoạch hành động)?Xử lý phân tích các thông tin và minh chứng Với mỗi tiêu chí, bắt đầu xem xét từng chỉ số, chỉ báo, nếu có đầy đủ minh chứng xác nhận đạt; Nếu không có đầy đủ minh chứng xác nhận chưa đạt Ghi nhận kết quả: vào cột tương ứng trong Phiếu ghi kết quả tự đánh giá. Xử lý phân tích các thông tin và minh chứng Có những tiêu chí nhà trường chưa thực hiện, cần giải thích rõ lý do và đề xuất kế hoạch khắc phục Những tiêu chí nhà trường có thực hiện nhưng không tìm được hoặc không có đủ minh chứng để xác định mức đạt được, cũng cần giải thích rõ lý do và đề xuất kế hoạch khắc phục