Jusqu'à présent, 2009 a été une période fertile pour les débats méthodologiques en économétrie. Un débat brûlant touche directement aux essais contrôlés randomisés (ECR), une méthodologie souvent utilisée dans les évaluations d'impact des interventions de développement. D'un côté, le célèbre économiste du développement de Princeton, Angus Deaton soutient que les expériences randomisées sont surestimées et que d'autres méthodes d'apprentissage des impacts fournissent des conseils qui sont souvent plus étroitement liés à la théorie. De l'autre côté, Guido Imbens rappelle lecteurs des raisons pour lesquelles les expériences randomisées ont gagné un large public. D'autres méthodes reposent sur des hypothèses qui les rendent souvent peu convaincantes.

Les expériences randomisées sont très importantes dans la recherche sur le développement international et l'évaluation d'impact, car elles offrent la promesse d'obtenir des mesures claires de l'impact causal des interventions. Angus Deaton, cependant, donne trois contre-arguments. Premièrement, l'évaluation d'une intervention particulière est utile pour ses promoteurs et ses bénéficiaires, mais peut ne pas fournir beaucoup de perspective théorique sur les raisons pour lesquelles le projet a fonctionné. Deuxièmement, les expériences fournissent une estimation de la moyen l'impact de l'intervention, même si ce n'est peut-être pas la quantité la plus intéressante. L'impact médian, ou la répartition des impacts, peut être tout aussi intéressant, voire plus. Troisièmement, l'analyse des données produites par les expériences implique souvent des statistiques avancées et est donc sujette aux mêmes écueils que les modèles structurels, tels que les petits biais d'échantillon ou la recherche de spécifications (alias "exploration de données").

Guido Imbens répond dans un nouveau document de travail. Son premier argument est qu'il est préférable d'avoir plusieurs méthodologies à notre disposition que de restreindre nos sources de preuves à une seule méthode d'analyse particulière. Plus d'informations, provenant de plus de projets de recherche employant diverses méthodologies, affirme-t-il, seront toujours plus utiles que moins d'informations provenant d'un nombre limité de méthodologies. Les analystes et les décideurs politiques qui disposent d'une vue d'ensemble plus large peuvent équilibrer les avantages et les inconvénients des divers éléments de preuve, à la fois en termes de validité interne (la confiance que l'intervention a conduit à l'impact mesuré) et de validité externe (la capacité de généraliser les résultats d'une étude à d'autres contextes).

Deuxièmement, Imbens n'est pas d'accord avec le refus de Deaton d'accorder aux expériences randomisées une place particulière dans la « hiérarchie des preuves ». Imbens soutient avec force que les expériences randomisées sont au sommet de cette hiérarchie en vertu de leurs prétentions à la validité interne. De toute évidence, les expériences aléatoires ne peuvent pas répondre à toutes les questions intéressantes en développement international et en économie. Mais la nature des travaux menés par les chercheurs du FAI montre qu'ils peuvent être rigoureux et théoriquement intéressants (voir ici, ici et ici). 

Le débat semble se résumer au poids accordé à la validité interne des estimations causales par rapport à leur intérêt intrinsèque et à leur applicabilité plus large. En fin de compte, nous soupçonnons que Deaton serait heureux de voir plus d'ECR en général. Ce qu'il n'aime pas, ce sont les arguments qui disent "si ce n'est pas un ECR, les preuves ne comptent pas". Assez juste. Nous pensons qu'Imbens serait d'accord.