Khủng hoảng tái lập (replication crisis) là việc, từ đầu thập niên 2010, giới tâm lý học phát hiện một tỷ lệ lớn kết quả đã công bố — kể cả trên các tạp chí hàng đầu — không lặp lại được khi nhóm khác làm lại đúng quy trình. Dấu mốc hay được nhắc là dự án của Open Science Collaboration đăng trên Science năm 2015: làm lại 100 nghiên cứu lấy từ ba tạp chí tâm lý học uy tín, chỉ khoảng 36% bản làm lại cho kết quả có ý nghĩa thống kê, trong khi 97% nghiên cứu gốc đã báo cáo như vậy; cỡ hiệu ứng trung bình của bản làm lại chỉ còn khoảng một nửa.
Điều đó không có nghĩa tâm lý học "sai hết". Những hiện tượng đo bằng thời gian phản ứng, tri giác hay trí nhớ (hiệu ứng Stroop, hiệu ứng mỏ neo, mù không chú ý) tái lập rất ổn định. Thứ bị lung lay nặng nhất là nhóm hiệu ứng "tác động nhỏ mà hậu quả lớn" của tâm lý học xã hội, kiểu một tư thế đứng hai phút làm đổi nội tiết tố. Khủng hoảng này cũng không riêng tâm lý học: ung thư học tiền lâm sàng và kinh tế học thực nghiệm gặp vấn đề cùng loại.
Phần dưới đi qua nguyên nhân kỹ thuật khiến kết quả sai vẫn vượt qua bình duyệt, một bảng các hiệu ứng nổi tiếng kèm tình trạng bằng chứng hiện nay, những cải cách đã đổi cách làm nghiên cứu, và một quy trình để bạn tự thẩm định khi gặp câu "nghiên cứu tâm lý cho thấy...".
Ba cú sốc năm 2011 mở màn cuộc khủng hoảng
Cảnh báo lý thuyết đã có từ trước: năm 2005, John Ioannidis công bố bài "Why most published research findings are false", lập luận rằng khi cỡ mẫu nhỏ, hiệu ứng thật nhỏ và nhà nghiên cứu được tự do phân tích, phần lớn kết quả "có ý nghĩa" sẽ là dương tính giả. Nhưng giới tâm lý học chỉ thật sự giật mình vào năm 2011, khi ba sự kiện xảy ra gần như cùng lúc.
Thứ nhất, Daryl Bem, một nhà tâm lý học xã hội có uy tín, đăng trên Journal of Personality and Social Psychology chín thí nghiệm cho thấy con người dường như "cảm nhận trước" được tương lai. Bài vượt qua bình duyệt vì tuân thủ đúng mọi chuẩn mực thời đó. Hầu như không ai tin vào khả năng tiên tri; vấn đề là nếu chuẩn mực cho phép chứng minh điều gần như chắc chắn sai, thì chính chuẩn mực có vấn đề.
Thứ hai, Diederik Stapel, một giáo sư tâm lý học xã hội người Hà Lan, bị phát hiện bịa dữ liệu trong nhiều năm; hàng chục bài báo của ông sau đó bị rút. Gian lận là ngoại lệ, nhưng vụ việc cho thấy hệ thống gần như không có cơ chế tự kiểm tra dữ liệu thô.
Thứ ba, Joseph Simmons, Leif Nelson và Uri Simonsohn đăng bài "False-positive psychology" trên Psychological Science. Họ dùng dữ liệu thật và những lựa chọn phân tích "bình thường" — thêm người khi kết quả chưa đạt, thử vài biến kiểm soát, chỉ báo cáo điều kiện đẹp — để "chứng minh" rằng nghe một bài hát của The Beatles làm người tham gia trẻ đi về tuổi thật. Thông điệp: không cần gian lận, chỉ cần linh hoạt là đủ tạo ra kết quả sai. Năm 2012, Daniel Kahneman gửi thư ngỏ cho các nhà nghiên cứu hiệu ứng mồi xã hội, cảnh báo lĩnh vực này cần tự tái lập trước khi uy tín sụp đổ.
Vì sao kết quả sai vẫn vượt qua bình duyệt
Độ tự do của nhà nghiên cứu (p-hacking). Mỗi nghiên cứu có hàng chục ngã rẽ: loại ai khỏi mẫu, đo biến nào, gộp hay tách nhóm, dừng thu thập lúc nào. Nếu thử năm phép kiểm độc lập ở ngưỡng 0,05, xác suất có ít nhất một kết quả "có ý nghĩa" dù không có hiệu ứng thật là 1 − 0,95⁵ ≈ 23%, chứ không phải 5%. Phần lớn nhà nghiên cứu làm điều này không cố ý; họ tin mình đang "khám phá dữ liệu".
Công suất thống kê thấp. Nhiều thí nghiệm kinh điển dùng khoảng 20 người mỗi nhóm. Với hiệu ứng thật cỡ nhỏ đến vừa, mẫu như vậy thường chỉ có cơ hội phát hiện dưới một nửa. Hệ quả kém hiển nhiên hơn: khi mẫu nhỏ mà vẫn ra kết quả có ý nghĩa, cỡ hiệu ứng báo cáo gần như chắc bị phóng đại — hiện tượng gọi là "lời nguyền người thắng".
Thiên lệch công bố. Tạp chí ưu tiên kết quả mới và dương tính; kết quả không có ý nghĩa nằm trong ngăn kéo. Robert Rosenthal gọi đây là "vấn đề ngăn kéo hồ sơ" từ năm 1979. Khi chỉ phần nổi được công bố, phân tích gộp cũng bị kéo lệch theo.
Đặt giả thuyết sau khi biết kết quả. Norbert Kerr (1998) đặt tên HARKing cho việc viết bài như thể giả thuyết đã có từ đầu, trong khi nó được nghĩ ra sau khi nhìn dữ liệu. Bài báo đọc mạch lạc hơn, nhưng phép kiểm thống kê mất ý nghĩa xác nhận.
Lý thuyết lỏng. Nhiều lý thuyết tâm lý học xã hội không nói rõ hiệu ứng lớn bao nhiêu, xảy ra trong điều kiện nào. Khi tái lập thất bại, luôn có thể viện dẫn một "yếu tố điều tiết ẩn". Lý thuyết không thể sai thì cũng không thể kiểm.
Các hiệu ứng nổi tiếng và tình trạng bằng chứng hiện nay
Bảng dưới tóm tình trạng một số hiệu ứng hay được trích trong sách phổ thông và khoá kỹ năng. "Tái lập ổn định" nghĩa là nhiều nhóm độc lập, cỡ mẫu lớn, cho kết quả cùng chiều.
| Hiệu ứng | Công trình gốc | Tình trạng hiện nay |
|---|---|---|
| Hiệu ứng Stroop (gọi tên màu mực của một từ chỉ màu khác) | Stroop, 1935 | Tái lập rất ổn định, dùng làm công cụ đo chuẩn |
| Hiệu ứng mỏ neo | Tversky và Kahneman, 1974 | Tái lập mạnh trong dự án Many Labs 1 (2014) |
| Mồi hành vi: đọc từ về tuổi già làm đi chậm hơn | Bargh, Chen và Burrows, 1996 | Không tái lập (Doyen và cộng sự, 2012); hiện không được coi là đáng tin |
| Suy kiệt ý chí — ego depletion (tự chủ là nguồn lực cạn dần) | Baumeister và cộng sự, 1998 | Bản tái lập đăng ký trước 23 phòng thí nghiệm (Hagger và cộng sự, 2016) cho hiệu ứng gần bằng 0 |
| Tư thế quyền lực làm tăng testosterone, giảm cortisol | Carney, Cuddy và Yap, 2010 | Phần nội tiết không tái lập; Carney công khai rút lại niềm tin năm 2016 |
| Ngậm bút để "ép cười" làm hoạt hình vui hơn | Strack, Martin và Stumpf, 1988 | Bản tái lập nhiều phòng thí nghiệm năm 2016 không thấy hiệu ứng; thiết kế khác cho kết quả nhỏ, còn tranh luận |
| Mù không chú ý (không thấy người đóng khỉ đột) | Simons và Chabris, 1999 | Tái lập ổn định |
| Hiệu ứng kiểm tra (tự kiểm tra nhớ lâu hơn đọc lại) | Roediger và Karpicke, 2006 | Bằng chứng mạnh từ nhiều phân tích gộp |
Quy luật dễ thấy: hiệu ứng có cơ chế nhận thức rõ, đo trực tiếp trong mỗi lượt thử và có cỡ hiệu ứng lớn thì đứng vững; hiệu ứng mà một can thiệp rất nhẹ được cho là thay đổi hành vi phức tạp thì dễ đổ. Dự án Many Labs 2 (2018) làm lại 28 hiệu ứng trên hàng chục phòng thí nghiệm ở nhiều nước, khoảng một nửa tái lập được — và khi tái lập được, kết quả khá giống nhau giữa các nền văn hoá, trái với lập luận "yếu tố ẩn" thường được viện dẫn.
Không chỉ tâm lý học: các ngành khác cũng soi lại mình
Năm 2012, C. Glenn Begley và Lee Ellis viết trên Nature rằng nhóm của họ tại công ty dược Amgen đã cố xác nhận 53 nghiên cứu ung thư tiền lâm sàng "mang tính bước ngoặt" trước khi đầu tư phát triển thuốc, và chỉ xác nhận được 6. Con số này gây tranh cãi vì dữ liệu chi tiết không được công bố, nhưng nó mở ra dự án tái lập sinh học ung thư quy mô lớn sau đó, cũng cho thấy hiệu ứng bị phóng đại đáng kể.
Kinh tế học thực nghiệm khá hơn một chút: Colin Camerer và cộng sự làm lại 18 thí nghiệm đăng trên hai tạp chí kinh tế hàng đầu (2016), khoảng 11 thí nghiệm tái lập được. Năm 2018, cũng nhóm này làm lại 21 thí nghiệm khoa học xã hội từng đăng trên Nature và Science giai đoạn 2010–2015; 13 thí nghiệm tái lập, cỡ hiệu ứng trung bình còn khoảng một nửa bản gốc.
Chi tiết thú vị nhất của các dự án này: trước khi làm lại, người ta mở "thị trường dự đoán" cho các nhà nghiên cứu đặt cược nghiên cứu nào sẽ tái lập được. Dự đoán của họ khớp với kết quả thật khá tốt. Nghĩa là giới chuyên môn phần nào đã cảm nhận được nghiên cứu nào "quá đẹp để là thật" — nhưng hệ thống khuyến khích (công bố, trích dẫn, tài trợ) không cho cảm nhận đó một kênh để lên tiếng.
Với người đọc ở Việt Nam, bài học thực tế là các phát hiện "hấp dẫn" được dịch qua sách phổ thông thường đi trễ vài năm so với tranh luận học thuật. Một hiệu ứng đã bị nghi ngờ nặng ở nơi gốc vẫn có thể xuất hiện nguyên vẹn trong giáo trình kỹ năng mềm hay bài giảng doanh nghiệp.
Những cải cách đã thay đổi cách làm nghiên cứu
Điểm tích cực là chính các nhà tâm lý học phát hiện và dẫn đầu việc sửa. Từ khoảng 2013, một loạt thay đổi đã thành chuẩn mực ở nhiều tạp chí:
- Đăng ký trước (preregistration): giả thuyết, cỡ mẫu, cách loại dữ liệu và phép phân tích chính được ghi lại công khai, có dấu thời gian, trước khi thu dữ liệu. Phân tích ngoài kế hoạch vẫn được làm nhưng phải dán nhãn là khám phá.
- Registered Reports: tạp chí bình duyệt phần đề cương và chấp nhận đăng trước khi có kết quả. Cortex là một trong những tạp chí đầu tiên áp dụng (2013). Một so sánh của Scheel, Schijen và Lakens (2021) cho thấy tỷ lệ kết quả dương tính ở dạng bài thường khoảng 96%, ở Registered Reports chỉ khoảng 44% — gợi ý con số 96% kia bị thổi phồng bởi thiên lệch công bố.
- Dữ liệu và vật liệu mở: người khác tải được dữ liệu thô, mã phân tích và bộ câu hỏi để kiểm lại.
- Mẫu lớn và tính công suất trước: cỡ mẫu được tính theo cỡ hiệu ứng hợp lý, thay vì theo thói quen "20 người mỗi nhóm".
- Hợp tác nhiều phòng thí nghiệm: các mạng lưới như Psychological Science Accelerator thu dữ liệu đồng thời ở nhiều nước, kiểm tra cả tính tổng quát văn hoá.
- Nhiều nhóm phân tích cùng một bộ dữ liệu: Silberzahn và cộng sự (2018) giao cùng dữ liệu về thẻ đỏ trong bóng đá cho 29 nhóm; các nhóm đưa ra những ước lượng khác nhau đáng kể. Kết quả phụ thuộc vào người phân tích nhiều hơn chúng ta muốn thừa nhận.
Còn tranh luận về cách sửa thống kê. Năm 2018, một nhóm 72 tác giả do Daniel Benjamin đứng đầu đề xuất hạ ngưỡng ý nghĩa xuống 0,005 cho phát hiện mới; nhóm khác phản bác rằng vấn đề không nằm ở con số ngưỡng mà ở việc biến một giá trị liên tục thành phán quyết có/không.
Hiểu lầm phổ biến về khủng hoảng tái lập
"Không tái lập được nghĩa là nhà nghiên cứu gốc gian lận." Sai. Phần lớn kết quả không tái lập do mẫu nhỏ, phân tích linh hoạt và thiên lệch công bố — những thực hành từng được coi là bình thường. Gian lận như vụ Stapel là thiểu số.
"Một lần tái lập thất bại là bác bỏ xong." Cũng sai. Bản tái lập cũng có thể thiếu công suất hoặc khác điều kiện quan trọng. Kết luận đáng tin nằm ở bức tranh nhiều nghiên cứu, nhất là các dự án đăng ký trước nhiều phòng thí nghiệm, chứ không ở một cặp đối đầu.
"Tâm lý học là giả khoa học." Ngược lại, việc một ngành tự tổ chức kiểm tra lại chính mình một cách công khai là dấu hiệu của khoa học. Giả khoa học không có cơ chế này.
"Giờ đã sửa xong." Chưa. Đăng ký trước chưa bắt buộc ở mọi nơi, nhiều nghiên cứu vẫn nhỏ, và động cơ công bố kết quả mới vẫn còn đó. Các phát hiện từ trước khoảng năm 2015 cần được đọc với độ dè dặt cao hơn, trừ khi đã được tái lập sau đó.
Quy trình thẩm định một "nghiên cứu tâm lý cho thấy"
Khi gặp một phát hiện được trích trong sách, khoá học hay bài báo, bạn có thể đi qua bảy câu hỏi sau. Không cần là nhà thống kê; mỗi câu chỉ mất vài phút tra cứu.
- Cỡ mẫu bao nhiêu? Vài chục người cho một hiệu ứng xã hội tinh tế là tín hiệu cảnh giác.
- Có đăng ký trước không? Tìm dòng "preregistered" hoặc mã đăng ký trong bài gốc.
- Tỷ lệ "can thiệp – hậu quả" có hợp lý không? Một tác động rất nhẹ (một từ, một tư thế, một mùi hương) mà làm đổi hành vi phức tạp kéo dài là dạng hiệu ứng hay đổ nhất.
- Đã có tái lập độc lập chưa? Tra tên hiệu ứng kèm "replication" hoặc "meta-analysis"; ưu tiên phân tích gộp có hiệu chỉnh thiên lệch công bố.
- Đo cái gì? Hành vi thật hay tự báo cáo trên bảng hỏi ngay sau thí nghiệm? Hai thứ này chênh nhau rất xa.
- Giá trị p nằm sát 0,05? Một loạt p = 0,03; 0,04; 0,049 trong cùng bài là mẫu hình đáng ngờ.
- Ai được lợi? Tác giả có bán sách, khoá học, dịch vụ tư vấn dựa trên hiệu ứng đó không — điều này không bác bỏ kết quả, nhưng là lý do đòi bằng chứng mạnh hơn.
Quy trình này cũng hữu ích ở chiều ngược lại: nó giúp bạn tự tin dùng những phát hiện đứng vững, như hiệu ứng kiểm tra hay lặp lại ngắt quãng trong học tập, thay vì nghi ngờ mọi thứ một cách bình quân.
Câu hỏi thường gặp
Khủng hoảng tái lập ảnh hưởng thế nào tới tâm lý học lâm sàng và trị liệu?
Các thử nghiệm trị liệu cũng gặp thiên lệch công bố và mẫu nhỏ, nên cỡ hiệu ứng của một số liệu pháp từng bị đánh giá cao hơn thực tế. Tuy vậy, các liệu pháp chính như trị liệu nhận thức hành vi cho trầm cảm và lo âu vẫn có hiệu quả trong các phân tích gộp có hiệu chỉnh, chỉ là mức hiệu quả khiêm tốn hơn con số đầu tiên. Quyết định điều trị cụ thể nên trao đổi với chuyên gia.
Có nên bỏ hẳn giá trị p không?
Đa số nhà phương pháp học không đề xuất bỏ, mà đề xuất dùng đúng: báo cáo cỡ hiệu ứng và khoảng tin cậy, đăng ký trước phép kiểm chính, không biến p = 0,049 và p = 0,051 thành hai kết luận đối lập. Một số người chuyển sang thống kê Bayes hoặc kiểm định tương đương để nói được điều "không có hiệu ứng đáng kể", điều mà giá trị p không nói được.
Nghiên cứu của Việt Nam có gặp vấn đề tương tự không?
Chưa có dự án tái lập quy mô lớn nào cho nghiên cứu tâm lý học trong nước, nên không thể đưa ra con số. Tuy nhiên, những yếu tố gây khủng hoảng — mẫu nhỏ, bảng hỏi tự báo cáo, phân tích linh hoạt, áp lực công bố, ít chia sẻ dữ liệu — đều phổ biến ở luận văn và bài báo trong nước, nên lý do để thận trọng là tương tự.
Tái lập trực tiếp khác tái lập khái niệm thế nào?
Tái lập trực tiếp làm lại đúng quy trình, vật liệu, cách đo của nghiên cứu gốc với mẫu mới. Tái lập khái niệm kiểm cùng giả thuyết bằng cách thao tác khác. Trước khủng hoảng, ngành ưu tiên tái lập khái niệm vì có vẻ mới hơn; nhược điểm là khi kết quả không ra, người ta quy cho khác biệt thao tác, còn khi ra thì coi là xác nhận, nên lỗi gốc không bao giờ bị phát hiện.
Thí nghiệm kinh điển nào trong sách giáo khoa nhập môn cần đọc lại?
Ngoài những hiệu ứng trong bảng, nên đọc lại thí nghiệm nhà tù Stanford, các chi tiết lưu trữ về thí nghiệm Milgram, thí nghiệm kẹo marshmallow và các nghiên cứu mồi xã hội nói chung. Một số vẫn có giá trị như hiện tượng được quan sát, nhưng cách giải thích phổ biến trong sách nhập môn đã đi xa hơn bằng chứng.
Sinh viên làm luận văn nên áp dụng gì từ bài học này?
Viết đề cương phân tích trước khi thu dữ liệu và lưu lại có ngày tháng, tính cỡ mẫu theo cỡ hiệu ứng dự kiến, báo cáo mọi biến đã đo, tách rõ phân tích xác nhận và khám phá, và lưu dữ liệu thô cùng mã phân tích. Những việc này không tốn tiền, làm luận văn dễ bảo vệ hơn và tránh được câu hỏi khó từ hội đồng.