心理学重现性问题的解决方案刚刚进行了第一次测试

心理学重现性问题的解决方案刚刚进行了第一次测试
Davide Bonazzi / Salzman Art
心理学重现性问题的解决方案刚刚进行了第一次测试

行为改变很难 - 只要问任何心理学家。 一项新研究表明,心理学家之间的行为改变并无不同。 通过要求心理学家提前陈述他们的方法和目标,一个称为预注册的过程,努力提高研究的稳健性,在第一个障碍上跌跌撞撞。

“预注册并不像看起来那么容易,”比利时鲁汶天主教大学(KU Leuven)的心理学家Aline Claesen说。 她和她的同事检查了心理学家于2015年2月提交的27份预先登记计划,当时“ 心理科学杂志开始为预先登记的研究提供徽章,到2017年11月。在每一个案例中,她的团队本月在PsyArXiv服务器上的预印本报告,研究人员偏离了他们的计划 - 在每篇论文中,他们都没有完全披露这些偏差。

“我对这些[变化]中有多少未公开感到非常惊讶,”KU Leuven团队的心理学家Wolf Vanpaemel说。 “没有理由不透明地表明你所做的所有改变。”

作为减轻该领域可重复性问题的努力的一部分,心理学从临床研究中获得了预注册的想法,这已成为十多年来的常态。 例如,通过列出将招募的志愿者人数以及将用于分析数据的标准,预注册旨在使研究更加透明,并减少捕获重大成果的诱惑和 。 来自各个领域的27,000多个此类计划提交给开放科学框架,而2017年则为12,000个。而ClinicalTrials.gov拥有超过25万个。

研究人员说,在某些情况下,计划变更是有意义的,因为在研究期间,该方法的不可预见的问题可以变得清晰。 然而,团队成员认为,不披露偏差可能会引起怀疑,尽管他们并未暗示他们所审查的论文不可靠。

例如,KU Leuven团队注意到的一个最常见的偏差是样本量。 预注册应该打击“可选停止”,其中研究人员招募受试者,直到他们拥有支持他们假设的数据。 一项心理科学研究的作者在他们的预注册中写道,他们“期望抽样600名参与者”,但随后报道了616名参与者。 这一小幅增长“使得作者停止了600名参与者收集数据的可能性,然后使用可选的停止来获得有利的结果,共有616名参与者,”预印本警告说。

未满足的计划

在心理学杂志的27项研究中,只有一项研究遵循其预先登记的计划进行研究。研究人员发现了八个类别的计划偏差。

所有偏差均已披露 未公开的偏差 没有偏差
假设/
研究问题
3 19
变量 0 4 23
效果方向 0 6 21
操作-
变量的变化
4 3 20
样本量 10 12
排除标准 3 15 9
程序 2 1 24
统计模型 6 13 8

Vanpaemel说,缺乏透明度令人不安,但可以理解,一些研究人员可能会担心,如果他们承认没有完全遵循预先登记,他们的论文将不会被公布。 “一旦我们看到更多的论文发表[透明]变化,这些担忧将有望减少。”

加拿大维多利亚大学的史蒂芬林赛(Steve Lindsay)也是心理科学的主编,他承认,他给作者留下了足够的余地来编写模糊的预注册,而不是考虑到论文中的所有偏差。 他说,对该系统进行监管需要花费时间和精力,因为该期刊没有预算。 但是,他补充说,自该研究开始以来,该期刊的预注册过程中出现了“适度改善”。

伊利诺伊大学香槟分校的心理学家丹·西蒙斯(Dan Simons)将所发现的缺点描述为成长的痛苦。 “我的猜测是,大多数[作者]都是善意的,只是不知道如何做得很好。”他指出,即使有多年的经验,临床科学仍然在努力解决不合规和缺乏透明度的问题。

荷兰Leiden脑与认知研究所的Anna van't Veer表示,由于一些期刊提供的徽章,以及在研究预注册时无论结果如何都能发表论文,更多的心理学家可能会被说服采用预注册。 “我们都喜欢徽章,”她说。 “在一些期刊上,如果你没有它们,它看起来有点暗淡。”现在,她说,社区需要从简单的预注册转向做好。

夏洛茨维尔弗吉尼亚大学的心理学家布莱恩·诺斯克(Brian Nosek)指导开放科学中心开放科学中心,他表示,KU鲁汶团队的研究结果应该有所帮助。 “这里的关键信息,”他说,“预注册是一项技能而非官僚程序。”

Write a Comment

电子邮件地址不会被公开。 必填项已用*标注