Một trong những bước quan trọng khi thực hiện cuộc khảo sát là tiến hành thử nghiệm và xử lý những dữ liệu thu được từ một nhóm nhỏ đối tượng trong mẫu khảo sát (thử nghiệm pilot). Nhiều sinh viên thường không nhận thức được tầm quan trọng của bước này và vội vàng phân phối bảng khảo sát cho những đối tượng mà không thực hiện thử nghiệm trước. Điều này có thể gây ra những vấn đề khó khăn, vì sau khi thu thập dữ liệu với kích thước mẫu mục tiêu, nếu phát hiện bảng khảo sát có vấn đề, thì đã quá muộn để sửa chữa. Vậy thử nghiệm pilot là gì và cách thực hiện như thế nào?
Khi nào cần thực hiện thử nghiệm pilot?
Bước thực hiện thử nghiệm pilot diễn ra sau khi bạn đã xây dựng bảng khảo sát và đánh giá xem nó “khá ổn” và trước khi bạn tiến hành khảo sát chính thức. Thời gian thực hiện bước này phụ thuộc rất nhiều vào chất lượng từ ngữ sử dụng, cách đặt câu hỏi và cách sắp xếp thứ tự câu hỏi.
Tại sao cần thực hiện thử nghiệm pilot?
Mục đích của thử nghiệm pilot là đảm bảo rằng tất cả các người tham gia khảo sát không chỉ hiểu các câu hỏi trong bảng khảo sát mà còn hiểu theo cùng một cách. Điều này giúp cho dữ liệu thu thập được trung thực và không bị sai lệch, tránh ảnh hưởng đến kết quả thống kê, phân tích hoặc chạy mô hình. Thông qua thử nghiệm pilot, bạn sẽ biết được những câu hỏi có vấn đề để điều chỉnh và hoàn thiện trước khi tiến hành khảo sát chính thức trên diện rộng. Ngoài ra, bạn cũng có thể kiểm tra và xử lí thử dữ liệu khảo sát đã thu thập để tìm ra phương án khắc phục các lỗi dữ liệu có thể xảy ra.
Ai sẽ tham gia thử nghiệm pilot?
Người tham gia thử nghiệm pilot là một nhóm nhỏ đối tượng trong mẫu khảo sát mục tiêu của bạn. Lưu ý rằng mặc dù đây chỉ là một nhóm nhỏ trong mẫu khảo sát, nhưng bạn cần chọn “những gương mặt” có tính đại diện cho tất cả các đối tượng.
Ví dụ, nếu độ tuổi của đối tượng khảo sát từ 15 tuổi trở lên, thì khi thực hiện thử nghiệm pilot, bạn cần khảo sát thử với cả các đối tượng trẻ tuổi, trung niên và cao tuổi. Hoặc với các khảo sát không giới hạn trình độ học vấn, bạn cần khảo sát với cả những người có bằng cấp cao và người có bằng cấp thấp, v.v. Tóm lại, dù chưa phải là khảo sát chính thức, nhưng khi thực hiện thử nghiệm pilot, bạn cũng cần lựa chọn các đối tượng đại diện có tính đa dạng trong mẫu nhỏ này, để đảm bảo bảng khảo sát của bạn dễ hiểu và được hiểu theo cùng một nghĩa với tất cả các người bạn sẽ khảo sát sau này.
Số lượng người tham gia thử nghiệm pilot là bao nhiêu?
Để thực hiện một thử nghiệm pilot, bạn cần tiến hành qua 2 bước là pretest (5 – 10 người) và sau đó là thử nghiệm pilot (30 – 50 người). Về cơ bản, bước pretest được thực hiện như thử nghiệm pilot (được trình bày chi tiết ở bên dưới) nhưng số lượng người ít hơn và dữ liệu không được nhập vào phần mềm để xử lí. Pretest được thực hiện lặp lại cho đến khi bảng khảo sát được coi là hoàn thiện để thực hiện thử nghiệm pilot với số lượng lớn hơn.
Thực hiện pretest như thế nào?
1. Tiến hành khảo sát như cách bạn sẽ thực hiện với đối tượng khảo sát trong mẫu mục tiêu và tính thời gian thực hiện khảo sát
Nếu bạn chọn phương pháp trực tiếp, hãy chuyển bảng khảo sát trên giấy cho người tham gia khảo sát; nếu bạn chọn phương pháp trực tuyến, hãy gửi đường link khảo sát cho họ. Nếu bạn sử dụng cả 2 phương pháp, hãy thực hiện pretest theo cả 2 phương pháp. Đừng quên tính thời gian mỗi người khảo sát hoàn thành bảng khảo sát, điều này sẽ giúp bạn lập kế hoạch khảo sát hiệu quả hơn.
2. Chú ý theo dõi quá trình người tham gia thực hiện khảo sát
Trước khi yêu cầu người tham gia khảo sát trả lời bảng khảo sát, hãy lưu ý họ đánh dấu vào bất kỳ câu hỏi nào khó hiểu hoặc làm cho họ không biết trả lời như thế nào. Khi họ trả lời, bạn hãy theo dõi quá trình thực hiện. Tất cả những biểu hiện như nhăn mặt, chần chừ, chọn đáp án rồi sửa lại, không tìm thấy đáp án muốn chọn, hoặc dừng lại ở một câu hỏi lâu hơn các câu hỏi khác đều là dấu hiệu cho thấy có vấn đề trong bảng khảo sát. Ngay cả khi bạn phân phối khảo sát trực tuyến, bạn nên ngồi cạnh người được khảo sát để quan sát những điều này.
3. Thảo luận với người tham gia về các câu hỏi
Sau khi người khảo sát hoàn thành bảng khảo sát, hãy cùng họ đi qua từng câu hỏi, để xem họ hiểu nghĩa các câu hỏi có thực sự đúng ý của bạn hay không. Đặc biệt với những câu hỏi họ đã đánh dấu lại, hãy hỏi tại sao họ lại khó hiểu hoặc làm họ không biết trả lời như thế nào. Đừng quên ghi lại những lý do từ họ để bạn điều chỉnh câu hỏi tốt hơn.
4. Thảo luận về các câu trả lời đóng
Ngoài nghĩa của các câu hỏi, hãy hỏi người tham gia khảo sát về các câu trả lời, đặc biệt là các câu trả lời đóng. Bạn có thể hỏi ý kiến của họ xem có nên thêm vào các câu trả lời khác hay không, vì có thể có câu trả lời phù hợp với họ mà lại chưa có trong các lựa chọn trả lời.
5. Thảo luận về các yếu tố nội dung và hình thức khác
Cùng với mặt nội dung, bạn cũng nên hỏi về các yếu tố khác như thứ tự câu hỏi có phù hợp không, yếu tố trình bày có được đẹp mắt không, hay họ gặp bất kỳ khó khăn nào khác khi trả lời bảng khảo sát của bạn. Đừng quên lấy ý kiến về khảo sát và tất cả những góp ý khác để có một khảo sát tốt hơn về cả hình thức và nội dung.
6. Tổng hợp kết quả và điều chỉnh bảng khảo sát
Sau khi hoàn thành pretest, hãy tổng hợp phản hồi và góp ý mà bạn đã ghi lại. Bạn sẽ thấy những phản hồi và góp ý giống nhau giữa các người trả lời. Đó chính là những nội dung bạn cần chỉnh sửa. Hãy điều chỉnh lỗi trong bảng khảo sát hiện tại và tiến hành pretest lại cho đến khi tất cả người trả lời có thể trả lời các câu hỏi với cùng một hiểu biết.
Thời gian thực hiện pretest và thử nghiệm pilot sẽ giúp bạn cải thiện chất lượng bảng khảo sát.
Thực hiện thử nghiệm pilot
Quá trình thực hiện thử nghiệm pilot tương tự như pretest, tuy nhiên, số lượng người cần thiết khoảng 30 – 50 người và thường chỉ thực hiện 1 – 2 lần. Sau khi khảo sát xong với kích thước mẫu này, hãy nhập toàn bộ dữ liệu vào phần mềm và tiến hành thử nghiệm tất cả các thống kê, phân tích, kiểm định, hồi quy… như bạn dự kiến khi có bộ dữ liệu đầy đủ. Nếu xử lý dữ liệu thu được từ thử nghiệm pilot gặp nhiều vấn đề, hãy xem liệu có lỗi nào xuất phát từ dữ liệu gốc hay không (lỗi câu hỏi dẫn đến câu trả lời sai, lỗi từ người trả lời…) Khi đó, bạn có thể xem xét điều chỉnh và thực hiện thử nghiệm pilot lần thứ hai để giải quyết vấn đề. Trong trường hợp các vấn đề này không quá lớn, bạn có thể tiến hành khảo sát trên diện rộng ngay mà không cần thực hiện lại thử nghiệm pilot. Bạn cần lưu ý rằng kết quả thử nghiệm pilot không được sử dụng để phân tích, thống kê và chạy mô hình chính thức.
Pretest là một bước bắt buộc mà tất cả các nghiên cứu sử dụng bảng khảo sát phải thực hiện, trong khi đó tùy theo quan điểm của người nghiên cứu mà thử nghiệm pilot có thể được thực hiện hoặc không. Mặc dù thời gian thực hiện thử nghiệm pilot mất hơn, nhưng nó sẽ giúp bạn an tâm hơn bởi bạn có thể khắc phục những vấn đề trước khi thu thập dữ liệu gốc, từ đó thu được dữ liệu sơ cấp đáng tin cậy hơn và đảm bảo kết quả nghiên cứu chính xác, khoa học hơn.
Để công trình nghiên cứu được đánh giá cao hơn, khi trình bày kết quả nghiên cứu, đừng quên trình bày chi tiết cách bạn thực hiện pretest và thử nghiệm pilot! Chúc bạn xây dựng được một bảng khảo sát chất lượng và đạt kết quả cao trong mùa nghiên cứu khoa học năm nay!
Tài liệu tham khảo:
[1] Pilot Testing Data Collection Instruments, Trung tâm Đánh giá và Nghiên cứu (RCES) (Nguồn: HEFC)
[2] How to pretest and pilot a survey questionnaire (Nguồn: HEFC)
HEFC
