Phương pháp nghiên cứu của dự án Mcme

Phương pháp nghiên cứu của Dự án mCME Christopher Gill, MD MS Trung tâm Sức khỏe và Phát triển Toàn cầu, Đại học Boston, CIPRD/MOH, Tháng 3/ 2015 Các câu hỏi về Dự án mCME • Câu hỏi chính: - mCME có thể nâng cao kiến thức y khoa cho các y sĩ cộng đồng (nhân viên y tế/CBPA)? • Các câu hỏi phụ: – Công nghệ này có thể cải thiện sự hài lòng và tự tin đối với công việc? – Cách tiếp cận này có hiệu quả về chi phí? (vấn đề này sẽ được nêu kỹ hơn ở phần trình bày sau do Ts. Lora trình bày) – Phản ứng của các y sỹ đối với việc ứng dụng công nghệ này? • Họ thích? Họ ghét? • Họ sẽ sử dụng nó? • Công nghệ này có ích? Nó gây phiền hà? Thiết kế dự án: Thử nghiệm chia 3 nhóm ngẫu nhiên có kiểm soát • Nhóm 1 (Nhóm đối chứng): Tin nhắn SMS hàng tuần không có nội dung y khoa • Nhóm 2 (Can thiệp 1: Mô hình thụ động): Tin nhắn SMS mô tả một khái niệm y khoa liên quan • Nhóm 3 (Can thiệp 2: Mô hình tương tác): Tin nhắn SMS hàng ngày, giới thiệu cùng một nội dung của nhóm 2 nhưng được diễn giải dưới dạng câu hỏi trắc nghiệm. Thiết kế • Y sỹ/NVYT ghi danh/đăng kí tham gia • Chia nhóm ngẫu nhiên thành các nhóm 1-3 • Kiểm tra kiến thức y khoa ban đầu: 100 câu hỏi trắc nghiệm/90 phút • Gửi tin nhắn SMS trong 6 tháng • Kiểm tra kiến thức y khoa cuối kz: 100 câu hỏi trắc nghiệm/90 phút Công cụ đánh giá cơ bản: Kiếm tra kiến thức • Bài kiểm tra gồm 100 câu hỏi • 90 phút • Bài kiểm tra được định hướng để khó có thể hoàn thành đúng thời gian và đòi hỏi có kiến thức y khoa vững • Vì sao? – Nhằm tránh hiệu ứng trần (trong đó hầu hết sinh viên đạt điểm rất cao trong bài thi) – Chúng ta sẽ không thu hoạch được gì nếu tất cả mọi người đạt 95 điểm hoặc hơn. – Chúng ta cần một công cụ có thể sử dụng kết quả kiểm tra trên diện rộng nhằm tìm hiểu tác động của sự can thiệp. Số liệu của bài kiểm tra được sử dụng như thế nào? • Phương pháp chính: Nghiên cứu dựa trên điểm trung bình lấy ở bài kiểm tra cuối kz • Phương pháp phụ 1: Nghiên cứu dựa trên thay đổi điểm trung bình từ bài kiểm tra ban đầu đến bài cuối kz • Phương pháp phụ 2: Nghiên cứu dựa trên tỉ lệ thí sinh đạt các mức điểm khác nhau như 80, 90, 95/100 điểm • T-test/ Hồi quy tuyến tính/hồi quy logistics • Các biến số giải thích bao gồm: – Đặc điểm nhân khẩu học ban đầu – Sự phân bố các nhóm – Tần suất phản hồi các tin nhắn SMS (chỉ áp dụng với nhóm 2/3) – Tỉ lệ gửi tin SMS thất bại (chỉ áp dụng với nhóm 2/3) – Tỉ lệ câu trả lời đúng (chỉ áp dụng với nhóm 3) – Điểm số ghi nhận mức độ hài lòng và tự tin với công việc lúc ban đầu Các điểm cuối bổ sung • Sự hài lòng với công việc • Tự tin về năng lực bản thân (Đánh giá mức độ tự tin/năng lực của y sỹ về bản thân: Họ cảm thấy đủ khả năng làm việc?) – Đánh giá chủ yếu sử dụng mô hình thang Likurt từ cấp 1-5 ở mức độ ban đầu và cuối kz • Hiệu quả chi phí Thiết kế của nghiên cứu 660 y sỹ Nhóm 1 Nhóm 2 Nhóm 3 Nhóm 1 Nhóm 2 Nhóm 3 Đánh giá ban đầu Đánh giá cuối kz Chia nhóm ngẫu nhiên Mốc thời gian khởi điểm (T5/2015) Mốc khởi điểm + 6T (T11/2015) Tin SMS hàng tuần không nội dung Y khoa Tin SMS y khoa hàng ngày Câu hỏi y khoa hàng ngày Các phương pháp phân tích Y sỹ Nhóm 1 Nhóm 2 Nhóm 3 PSA1: CME so với không dùng CME Cuối kz Các phương pháp phân tích Y sỹ Nhóm 1 Nhóm 2 Nhóm 3 PSA2: So sánh mô hình CME Thụ động và CME Chủ động Cuối kz Các phương pháp phân tích Y sỹ Nhóm 1 Nhóm 2 Nhóm 3 SSA1: So sánh mô hình CME Chủ động và CME Kiểm soát Cuối kz Các phương pháp phân tích Y sỹ Nhóm 1 Nhóm 2 Nhóm 3 SSA2: So sánh Thụ động và Kiểm soát Cuối kz Các phương pháp phân tích Y sỹ Nhóm 1 Nhóm 2 Nhóm 3 SSA3: Đánh giá mức độ tự tin và hài lòng đối với công việc Cuối kz Các phân tích khác Y sỹ Nhóm 1 Nhóm 2 Nhóm 3 Nhóm 1 Nhóm 2 Nhóm 3 Ban đầu Cuối kz VS VS VS Thay đổi về: • Kiến thức y khoa • Sự tự tin • Sự hài lòng với công việc Thách thức 1: Bảo đảm các bài kiểm tra ban đầu và cuối kz có “độ khó” bằng nhau • Vấn đề: – Nếu bài kiểm tra ban đầu khó hơn cuối kz, sự can thiệp này sẽ được coi là thất bại (kể cả nếu thực tế nó có hiệu quả) – Nếu bài kiểm tra cuối kz khó hơn ban đầu thì sự can thiệp được coi là thành công (kể cả nếu thực tế nó không hiệu quả) • Giải pháp: – Ngẫu nhiên hóa – Tạo hai đề kiểm tra cho mỗi lần thi (câu hỏi khác nhau nhưng cùng chủ đề, lĩnh vực) – Một nửa số thí sinh được chọn ngẫu nhiên để làm Đề 1 ở lần thi ban đầu và Đề 2 ở lần thi cuối kz – Một nửa số người tham gia được chọn ngẫu nhiên để làm Đề 2 ở lần thi ban đầu và Đề 1 ở lần thi cuối kz Thách thức 2: Bảo đảm kết quả bài kiểm tra thống kê chính xác về kiến thức của từng cá nhân tham gia Vấn đề: – Can thiệp này chỉ có hiệu quả ở phạm vi các cá nhân nhận tin nhắn hàng ngày – Nếu họ “làm bài tập thể” hoặc chia sẻ đáp án thì chúng ta sẽ không thể đánh giá năng lực của từng cá nhân – Những câu trả lời nhận được khi đó sẽ không phản ánh chính xác. Giải pháp: • Bên cạnh việc bảo đảm coi thi nghiêm túc, đảm bảo cá nhân làm bài im lặng, độc lập và không bàn bài, cần phải: – Làm 4 bộ đề kiểm tra cho 2 lần thi ban đầu và cuối kz – Các đề kiểm tra được chọn dựa trên sơ đồ chỗ ngồi – Bằng cách này, không người nào ngồi cạnh người làm chung đề với mình. – Khiến người tham gia không thể chia sẻ đáp án vì họ không thể làm nhiều câu hỏi cùng chủ đề cùng lúc Mẫu sơ đồ chỗ ngồi Lần 1 Đề 1 ID001 Lần 2Đề 1 ID002 Lần 1Đề 2 ID003 Lần 2Đề2 ID004 Lần 1Đề 2 ID005 Lần2Đề2 ID006 Lần1Đề1 ID007 Lần2 Đề1 ID008 Lần1Đề1 ID009 Lần2Đề1 ID010 Lần1Đề2 ID011 Lần2Đề2 ID012 Lần1Đề2 ID013 Lần2Đề2 ID014 Lần1Đề1 ID015 Lần2Đề1 ID016 Giám thị coi thi Ghế thí sinh Sơ đồ chỗ ngồi ở phòng thi lớn Mỗi cụm 4x4 có thể lặp lại nếu cần thiết Chú ý: Không thí sinh nào ngồi cạnh người làm chung đề E1V1 E2V1 E1V2 E2V2 E1V2 E2V2 E1V1 E2V1 E1V1 E2V1 E1V2 E2V2 E1V2 E2V2 E1V1 E2V1 E1V1 E2V1 E1V2 E2V2 E1V2 E2V2 E1V1 E2V1 E1V1 E2V1 E1V2 E2V2 E1V2 E2V2 E1V1 E2V1 E1V1 E2V1 E1V2 E2V2 E1V2 E2V2 E1V1 E2V1 E1V1 E2V1 E1V2 E2V2 E1V2 E2V2 E1V1 E2V1 E1V1 E2V1 E1V2 E2V2 E1V2 E2V2 E1V1 E2V1 E1V1 E2V1 E1V2 E2V2 E1V2 E2V2 E1V1 E2V1 E1V1 E2V1 E1V2 E2V2 E1V2 E2V2 E1V1 E2V1 E1V1 E2V1 E1V2 E2V2 E1V2 E2V2 E1V1 E2V1 E1V1 E2V1 E1V2 E2V2 E1V2 E2V2 E1V1 E2V1 E1V1 E2V1 E1V2 E2V2 E1V2 E2V2 E1V1 E2V1 Đánh giá tổng thể hiệu quả: Kế hoạch tương lai? Kiến thức y khoa rất cần thiết trong đảm bảo cung cấp dịch vụ chăm sóc có chất lượng Giả thuyết của chúng tôi Nếu PTBSCĐ có kiến thức yếu, chất lượng dịch vụ của họ sẽ kém mCME Nâng cao kiến thức Nâng cao chất lượng chăm sóc Nâng cao hiệu quả chữa bệnh Bằng chứng của Dự án mCME có thể trả lời câu hỏi này Nhưng đây chính là những điều chúng tôi muốn Vì vậy, nếu Dự án mCME thành công, điều chúng ta cần làm tiếp theo là chứng minh kết quả này cuối cùng sẽ đem lại lợi ích tốt hơn với bệnh nhân. Điều đó khó hơn nhiều.