Thiết kế nghiên cứu: nó quyết định bạn kết luận được gì

Thiết kế nghiên cứu quyết định giới hạn của mọi kết luận bạn rút ra được.

Và điều quan trọng nhất: không kỹ thuật phân tích nào bù được một thiết kế sai. Đây là quyết định phải làm đúng trước khi thu dữ liệu.

Các loại thiết kế thường gặp

• Cắt ngang — đo tại một thời điểm. Cho biết hiện trạng và liên hệ, không cho biết nhân quả hay chiều thời gian.
• Theo dõi dọc — đo cùng đối tượng qua nhiều thời điểm. Cho biết thay đổi theo thời gian và thứ tự xảy ra.
• So sánh nhóm — so hai hoặc nhiều nhóm khác nhau ở đặc điểm quan tâm.
• Can thiệp có đối chứng — thiết kế mạnh nhất cho kết luận nhân quả, nhưng khó thực hiện và có ràng buộc đạo đức.
• Nghiên cứu trường hợp — đi sâu một hoặc vài trường hợp, cho hiểu biết về cơ chế và bối cảnh.
• Hồi cứu trên dữ liệu có sẵn — nhanh và rẻ, nhưng bạn không kiểm soát được cách dữ liệu được thu.

Mỗi thiết kế cho phép kết luận gì

• Cắt ngang: có liên hệ giữa hai yếu tố — không nói được cái nào có trước.
• Theo dõi dọc: yếu tố này thay đổi trước yếu tố kia — mạnh hơn, nhưng vẫn có thể do yếu tố thứ ba.
• Can thiệp có đối chứng: can thiệp gây ra thay đổi — nếu phân nhóm ngẫu nhiên và kiểm soát tốt.
• Nghiên cứu trường hợp: cơ chế này diễn ra thế nào trong bối cảnh này — không khái quát theo kiểu thống kê.
• Dùng từ ngữ tương ứng với thiết kế của bạn khi viết kết luận.

Các mối đe doạ thường gặp

• Yếu tố gây nhiễu — một yếu tố thứ ba giải thích cả hai yếu tố bạn quan sát.
• Chiều nhân quả ngược — có thể B gây ra A chứ không phải A gây ra B.
• Sai lệch chọn mẫu — nhóm bạn quan sát khác tổng thể theo cách liên quan tới kết quả.
• Sai lệch do người rời bỏ — với nghiên cứu dài, ai rời và vì sao là thông tin quan trọng.
• Hiệu ứng do chính việc quan sát — người ta hành xử khác khi biết mình đang được nghiên cứu.
• Nêu các mối đe doạ liên quan trong phần hạn chế — chủ động.

Chọn thiết kế

• Bắt đầu từ câu hỏi nghiên cứu — nó quyết định thiết kế, không phải ngược lại.
• Xem thiết kế mạnh nhất khả thi với nguồn lực của bạn.
• Kiểm ràng buộc đạo đức — nhiều can thiệp không được phép.
• Kiểm bạn tiếp cận được dữ liệu cần thiết không.
• Kiểm thời gian — thiết kế theo dõi dọc cần nhiều năm.
• Nếu buộc phải dùng thiết kế yếu hơn, hãy điều chỉnh kết luận thay vì khẳng định vượt quá.

Tăng độ chắc chắn trong ràng buộc

• Đo yếu tố gây nhiễu và kiểm soát chúng trong phân tích.
• Thêm một điểm đo trước can thiệp nếu có thể.
• Thêm một nhóm so sánh, dù không ngẫu nhiên.
• Dùng nhiều nguồn dữ liệu — nếu chúng cho cùng kết luận, độ tin cậy tăng.
• Tiền đăng ký thiết kế và kế hoạch phân tích nếu lĩnh vực của bạn có cơ chế đó.

Ghi lại quyết định

• Viết ra thiết kế và lý do chọn trước khi thu dữ liệu.
• Ghi kế hoạch phân tích — trước khi nhìn dữ liệu.
• Nếu phải đổi giữa chừng, ghi rõ vì sao và nêu trong bài.
• Nó bảo vệ bạn khỏi việc vô tình đổi giả thuyết sau khi thấy kết quả.

Một điều đáng nhớ

Trước khi thu dữ liệu, hãy viết ra câu kết luận bạn hy vọng viết được ở cuối bài.

Rồi hỏi: thiết kế này có cho phép tôi viết câu đó không? Nếu không, sửa thiết kế bây giờ — vì sau khi thu xong, lựa chọn duy nhất còn lại là viết một câu kết luận yếu hơn.

Câu hỏi thường gặp