Một nghiên cứu sinh phát bảng hỏi cho bốn trăm giáo viên, thu về, nhập liệu xong mới phát hiện câu hỏi số 12 bị hiểu theo hai nghĩa, còn câu 18 có gần một nửa số người bỏ trống vì không áp dụng với họ. Không có cách nào sửa sau khi đã thu. Đợt thu dữ liệu tốn ba tháng và phần lớn kinh phí đề tài giờ chỉ dùng được một phần.
Đây là loại thất bại mà nghiên cứu thí điểm sinh ra để ngăn. Chạy thử nhỏ trước, trên vài chục người hoặc vài đơn vị, để mọi lỗi lộ ra khi còn rẻ. Nhưng thí điểm cũng hay bị hiểu sai: nhiều người coi nó như phiên bản thu nhỏ để ra kết quả sớm, hoặc để có số liệu tính cỡ mẫu. Cả hai cách hiểu đều dẫn tới quyết định sai.
Thí điểm để trả lời câu hỏi “làm được không”, không phải “có tác dụng không”
Nghiên cứu chính trả lời câu hỏi khoa học. Nghiên cứu thí điểm trả lời câu hỏi vận hành: quy trình dự định có chạy được trong thực tế không, công cụ có đo đúng thứ cần đo không, người tham gia có hiểu và chịu tham gia không. Phân biệt này quan trọng vì nó quyết định cách thiết kế, cách chọn cỡ mẫu và cách đọc kết quả thí điểm.
Một cách tự kiểm tra: viết ra các câu hỏi mà đợt thí điểm phải trả lời. Nếu danh sách có câu dạng “biện pháp A có cải thiện kết quả B không”, đó là câu hỏi của nghiên cứu chính, không phải của thí điểm.
Những thứ nên thử trong đợt thí điểm
Công cụ đo
- Người trả lời có hiểu từng câu hỏi theo đúng nghĩa bạn định không. Cách tốt nhất là phỏng vấn nhận thức: ngồi với người trả lời, đề nghị họ vừa trả lời vừa nói to suy nghĩ, hoặc hỏi lại họ hiểu câu đó là gì.
- Thời gian hoàn thành thực tế. Bảng hỏi ước tính mười lăm phút nhưng thực tế mất ba mươi phút sẽ làm tỷ lệ bỏ dở tăng vọt.
- Câu nào bị bỏ trống nhiều, câu nào gần như ai cũng chọn cùng một mức (không phân biệt được người với người), câu nào có phương án “khác” được điền nhiều (thiếu phương án).
- Thứ tự câu hỏi có gây ảnh hưởng dây chuyền không, câu nhạy cảm đặt ở đâu.
Quy trình
- Tiếp cận người tham gia: xin phép qua ai, mất bao lâu, bao nhiêu người được mời thì bao nhiêu người đồng ý.
- Thu thập: người thu có làm đúng hướng dẫn không, ghi âm có rõ không, thiết bị đo có ổn định không.
- Nhập và quản lý dữ liệu: mã hoá có nhất quán không, tệp dữ liệu có cấu trúc đúng để phân tích không.
Với nghiên cứu can thiệp
- Can thiệp có được thực hiện đúng như mô tả không, người thực hiện có cần tập huấn thêm không.
- Tỷ lệ người tham gia ở lại đến hết, lý do rút ra.
- Phân nhóm ngẫu nhiên có được giữ kín không, có bị lẫn giữa các nhóm không.
Bao nhiêu người là đủ
Không có con số áp dụng cho mọi trường hợp, và cũng không cần tính lực thống kê, vì thí điểm không kiểm định giả thuyết. Cỡ mẫu thí điểm dựa vào câu hỏi vận hành cần trả lời:
| Mục đích chính | Gợi ý cỡ mẫu |
|---|---|
| Phỏng vấn nhận thức để sửa câu chữ bảng hỏi | Vài người mỗi vòng, làm hai ba vòng đến khi không còn lỗi mới |
| Thử thời gian, tỷ lệ bỏ trống, phân phối câu trả lời | Vài chục người có đặc điểm giống mẫu chính |
| Ước lượng tỷ lệ đồng ý tham gia, tỷ lệ ở lại | Đủ để tỷ lệ ước lượng có độ chính xác dùng được cho lập kế hoạch |
| Thử quy trình ở nhiều địa điểm | Ít nhất một đơn vị ở mỗi loại địa điểm khác nhau đáng kể |
Điều quan trọng hơn con số là người tham gia thí điểm phải giống người của nghiên cứu chính. Thử bảng hỏi dành cho giáo viên vùng cao trên đồng nghiệp ở khoa sẽ không phát hiện được những câu chữ khó hiểu với người đọc thật.
Một đợt thí điểm điển hình diễn ra thế nào
Lấy ví dụ một nghiên cứu khảo sát bằng bảng hỏi tự xây, dự kiến thu khoảng vài trăm phiếu. Một đợt thí điểm gọn có thể chia như sau:
- Tuần đầu — phỏng vấn nhận thức vòng một. Năm sáu người có đặc điểm giống mẫu chính, mỗi người ngồi cùng người nghiên cứu khoảng một giờ, vừa trả lời vừa nói to suy nghĩ. Ghi lại mọi chỗ hiểu sai, ngập ngừng, hỏi lại.
- Cuối tuần đầu — sửa bảng hỏi. Viết lại câu khó hiểu, bổ sung phương án thiếu, thêm lựa chọn “không áp dụng” cho câu không phải ai cũng gặp.
- Tuần hai — phỏng vấn nhận thức vòng hai với nhóm người khác, chỉ tập trung vào các câu vừa sửa. Nếu không còn lỗi mới thì dừng.
- Tuần ba — thử quy trình thật trên vài chục người, phát và thu đúng như kế hoạch chính, bấm giờ, đếm số người được mời và số người đồng ý.
- Tuần bốn — nhập liệu thử và tổng hợp. Chạy thống kê mô tả cho từng câu, xem tỷ lệ bỏ trống và phân phối, đối chiếu với sổ ghi chép, ra quyết định sửa gì.
Bốn tuần nghe có vẻ dài, nhưng so với ba tháng thu dữ liệu chính và một luận án phụ thuộc vào bộ dữ liệu đó, đây là khoản đầu tư nhỏ.
Đặt tiêu chí tiếp tục từ trước
Một đợt thí điểm tốt kết thúc bằng quyết định: tiến hành như kế hoạch, tiến hành có sửa đổi, hay dừng lại xem xét. Để quyết định không bị cảm tính, nên viết ra tiêu chí trước khi bắt đầu. Ví dụ:
- Tỷ lệ đồng ý tham gia đạt ít nhất một mức nhất định thì giữ nguyên cách tiếp cận; dưới mức đó thì đổi kênh tiếp cận.
- Thời gian hoàn thành trung vị không quá một ngưỡng nhất định; vượt thì rút gọn bảng hỏi.
- Không câu hỏi nào bị bỏ trống quá một tỷ lệ nhất định; câu vượt ngưỡng phải sửa hoặc bỏ.
- Người thực hiện can thiệp làm đúng phần lớn các bước trong bảng theo dõi; dưới mức đó thì tập huấn lại.
Các ngưỡng cụ thể do bạn và người hướng dẫn đặt theo bối cảnh. Điều cần là đặt chúng trước khi nhìn dữ liệu thí điểm.
Ghi chép trong đợt thí điểm
Thông tin quý nhất của thí điểm thường không nằm trong tệp dữ liệu mà nằm trong những gì người thu thập nhìn thấy. Chuẩn bị sẵn một sổ ghi chép cho mỗi buổi thu thập, ghi: câu nào người trả lời hỏi lại, câu nào họ ngập ngừng, họ phàn nàn gì, có sự cố gì với thiết bị hay địa điểm, mất bao lâu cho từng phần. Sau mỗi ngày, người thu thập dành mười lăm phút viết lại những gì đáng chú ý. Một tuần sau họ sẽ không nhớ được nữa.
Thí điểm với nghiên cứu định tính
Nghiên cứu phỏng vấn sâu cũng cần thử. Một hai cuộc phỏng vấn đầu tiên cho biết bộ câu hỏi có mở được câu chuyện không, câu nào khiến người tham gia trả lời cụt hay né tránh, thứ tự chủ đề có tự nhiên không, thời lượng thực tế bao lâu, thiết bị ghi âm có thu rõ trong bối cảnh thật không. Người phỏng vấn cũng tự nghe lại băng để thấy mình có ngắt lời, dẫn dắt hay hỏi gộp hai ý trong một câu không. Khác với khảo sát, phỏng vấn thử đôi khi vẫn được giữ lại làm dữ liệu nếu bộ câu hỏi không đổi đáng kể, nhưng quyết định này cần được ghi rõ trong phần phương pháp.
Những điều không nên rút ra từ dữ liệu thí điểm
Đây là phần hay bị làm sai nhất.
- Không kiểm định giả thuyết. Cỡ mẫu nhỏ, kết quả có ý nghĩa hay không đều không đáng tin, và nhìn kết quả sớm có thể khiến bạn vô thức sửa thiết kế theo hướng mình muốn.
- Thận trọng khi dùng để tính cỡ mẫu. Cỡ hiệu ứng ước lượng từ vài chục người dao động rất lớn. Dùng nó làm căn cứ chính để tính cỡ mẫu nghiên cứu chính dễ dẫn tới mẫu quá nhỏ hoặc quá lớn. Nên dựa vào cỡ hiệu ứng nhỏ nhất có ý nghĩa thực tiễn hoặc từ các nghiên cứu đã công bố; số liệu thí điểm dùng tốt hơn cho ước lượng độ lệch chuẩn hay tỷ lệ ở lại.
- Không gộp dữ liệu thí điểm vào mẫu chính nếu công cụ hay quy trình đã bị sửa sau thí điểm. Hai đợt đo bằng hai công cụ khác nhau không phải cùng một dữ liệu.
Có nên công bố kết quả thí điểm không
Có những tạp chí chuyên đăng nghiên cứu thí điểm và nghiên cứu khả thi, với điều kiện bài báo tập trung vào câu hỏi khả thi chứ không trình bày như một nghiên cứu hiệu quả thu nhỏ. Với luận án, phần thí điểm thường được mô tả ngắn trong chương phương pháp: đã thử gì, phát hiện gì, sửa gì. Những thay đổi sau thí điểm chính là bằng chứng cho hội đồng thấy công cụ của bạn đã được kiểm tra, không phải được dùng ngay từ bản nháp đầu tiên.
Và nếu thí điểm cho thấy kế hoạch không khả thi, đó vẫn là một kết quả tốt. Phát hiện điều đó với ba mươi người và hai tuần tốt hơn nhiều so với phát hiện với bốn trăm người và ba tháng.
Câu hỏi thường gặp
Nghiên cứu thí điểm có cần xin phê duyệt đạo đức không?
Có, nếu có người tham gia thật. Thí điểm vẫn là thu dữ liệu từ con người, nên thường được đưa luôn vào hồ sơ xin phê duyệt của nghiên cứu chính.
Thí điểm và tiền kiểm định bảng hỏi khác nhau thế nào?
Tiền kiểm định thường chỉ thử công cụ đo, còn thí điểm có thể thử cả quy trình tiếp cận, thu thập, nhập liệu và can thiệp. Tiền kiểm định là một phần của thí điểm.
Có thể tính Cronbach alpha trên dữ liệu thí điểm không?
Có thể tính để phát hiện mục hỏi có vấn đề rõ rệt, nhưng với mẫu nhỏ con số dao động nhiều; độ tin cậy chính thức nên báo cáo trên mẫu nghiên cứu chính.
Người tham gia thí điểm có được tham gia nghiên cứu chính không?
Thường nên loại ra, vì họ đã quen với công cụ và có thể trả lời khác. Nếu buộc phải giữ, cần ghi rõ và cân nhắc ảnh hưởng.
Luận văn thạc sĩ có bắt buộc làm thí điểm không?
Tuỳ quy định của cơ sở đào tạo, nhưng với luận văn dùng bảng hỏi tự xây hoặc mới dịch, một vòng thử nhỏ gần như luôn đáng làm.
