Explication de la figure de détection de P-Hacking
Blocs de contenu du modèle G
Sous-éditeur
La figure ci-dessous provient this article, qui tente de reproduire la conclusion selon laquelle :
"Un certain nombre d'études motivées par la théorie coûteuse de la signalisation au sein de la psychologie évolutionniste ont rapporté que les inductions d'amorçage (telles que regarder des photos de membres attirants du sexe opposé) conçues pour déclencher des motifs d'accouplement augmentent la volonté déclarée des hommes d'acheter des articles de consommation visibles et de s'engager dans comportements à risque, et réduire l'aversion aux pertes."
L'explication suit la légende :
Voici une suggestion plus détaillée sur la façon de lire le chiffre de Nathan Barker de l'IPA-Ghana :
Fondamentalement, à mesure que les erreurs standard augmentent, vous vous attendez à voir la taille de l'effet centrée autour de la même moyenne, mais avec une plus grande distance par rapport à la moyenne dans les deux sens. Au lieu de cela, les études sont systématiquement positives et avec des tailles d'effet juste assez grandes pour que leurs valeurs de p soient inférieures à 0.05.
Supposons que nous ayons le prior qu'il n'y a pas d'effet, ce que leurs réplications suggèrent, alors plus les erreurs standard sont grandes, plus le véritable effet devrait être important pour trouver un effet. La ligne rouge diagonale suggère qu'à peu près quelles que soient les erreurs standard, les gens ont trouvé des tailles d'effet juste assez grandes pour rejeter le nul. Ainsi, au lieu de trouver un entonnoir avec des tailles d'effet allant dans les deux sens à mesure que leurs erreurs standard augmentent, ils trouvent plutôt des tailles d'effet qui augmentent, mais dans une seule direction, et toujours juste assez pour rejeter le nul.
Je pense que penser à quelques exemples spécifiques est instructif :
supposons que l'effet réel est de 0.00 et que les erreurs types sont de 0.10. Ensuite, nous nous attendrions à ce que 95 % des études se situent entre -0.196 et 0.196 en termes de tailles d'effet. Et voilà, l'étude avec ces erreurs standard trouve une taille d'effet de 0.22, donc leur valeur de p est inférieure à 0.05, et nous pouvons rejeter le nul.
Supposons maintenant que nous ayons un échantillon plus petit. Nous avons un effet réel de 0.00, mais disons que les erreurs standard sont de 0.20. Nous nous attendrions à ce que 95 % des tailles d'effet soient comprises entre -0.392 et 0.392. Surprendre! la taille de l'effet est de 0.40, nous pouvons donc rejeter la valeur nulle.
12 novembre 2015