by Nicolas Jones et Danielle Moore

Ceci est le troisième d'une série d'articles de blog résumant les discussions d'un mois de mai 2017 rassemblement de chercheurs sur la mesure de l'autonomisation des femmes dans les évaluations d'impact. Lire le premier article sur le pouvoir de décision des ménages ici.

La semaine dernière, Dre Sarah Baird nous ont parlé des avantages et des défis de l'intégration de méthodes qualitatives dans les évaluations d'impact sur l'autonomisation des femmes, en particulier une étude longitudinale multi-pays sur le genre et l'adolescence. Vous pouvez lire notre conversation ici.

Aujourd'hui, nous entendrons le directeur de cette étude, Dr Nicola Jones, pour comprendre la perspective du chercheur qualitatif. Nicola est chercheur principal au Overseas Development Institute à Londres et se spécialise dans les approches d'évaluation qualitatives et participatives. Dans cet article, nous expliquons pourquoi les méthodes qualitatives sont importantes pour comprendre les normes sociales qui façonnent la vie des femmes. Elle partage également ses expériences d'utilisation d'études à méthodes mixtes pour promouvoir l'élaboration de politiques fondées sur des données probantes avec des méthodes qualitatives en aidant à éclairer les mécanismes derrière les estimations d'impact quantifiées. Comme nous le verrons ci-dessous, cette combinaison peut permettre aux chercheurs de réfléchir de manière plus critique à leurs conclusions, d'adapter la diffusion aux différentes parties prenantes et d'expliquer les résultats inattendus.

Nellie :   La semaine dernière, Sarah Baird et moi avons expliqué comment les évaluations d'impact portant sur l'autonomisation des femmes pourraient bénéficier de l'intégration de méthodes qualitatives, en particulier dans l'étude des méthodes mixtes Gender and Adolescence Global Evidence (GAGE) financée par le DfID sur laquelle vous travaillez avec elle. . Pourriez-vous nous dire pourquoi, selon votre expérience, les méthodes qualitatives et participatives sont particulièrement utiles dans les évaluations qui se concentrent sur les femmes et les filles ?

Nicolas :  Les méthodes qualitatives, en particulier celles qui permettent au participant de mener la conversation, peuvent vous permettre de déballer le rôle que des normes sociales profondément enracinées, souvent collantes, ont dans la perpétuation des obstacles à l'autonomisation des femmes. Les normes ne disparaissent pas nécessairement, mais elles peuvent être assez malléables, car elles sont pratiquées de manière plus secrète ou souterraine. Récemment, en Éthiopie, nous avons vu que, même si les gens sont peut-être plus conscients que le mariage des enfants est illégal, et même conscients des sanctions en cas d'infraction à ces limites légales, ils trouvent toujours des moyens de continuer à pratiquer cette tradition. Les méthodes qualitatives nous aident à comprendre ces voies de changement non linéaires qui n'apparaîtront pas nécessairement dans les données d'enquêtes quantitatives.

Nellie :   Ce que nous sommes capables de capturer ou non sur les normes sociales est revenu continuellement tout au long l'atelier qui a inspiré cette série de blogs. Pourriez-vous expliquer pourquoi les méthodes quantitatives seules pourraient ne pas être en mesure de saisir ce qui se passe dans les normes sociales ?

Nicolas :  Des progrès ont été réalisés dans les modules d'enquête potentiels sur les normes sociales, mais il y a des limites à ce qui peut être fait quantitativement. Premièrement, il n'est pas clair si les sondages administrés aux individus capturent les attitudes individuelles ou capturent vraiment les normes qui fonctionnent au niveau communautaire. Comprendre ces niveaux reste délicat sans rendre l'enquête incroyablement longue et lourde. La beauté des méthodes qualitatives est de pouvoir déballer si c'est la sanction de la non-conformité qui motive le comportement des gens ou si c'est vraiment une croyance profondément enracinée qu'ils détiennent effectivement.

Nellie :   Et qu'est-ce qu'un économiste peut apporter à la table dans une étude à méthodes mixtes, telle que GAGE ?

Nicolas :  Le fait d'avoir des économistes du développement dans l'équipe nous aide à réfléchir de manière beaucoup plus claire et plus précise à l'impact, à ce que nous mesurons et aux affirmations que nous pouvons faire au sujet du changement. Pour moi-même, et je pense que d'autres collègues qui ont tendance à utiliser des méthodes plus qualitatives, il a été utile de voir les façons créatives dont les économistes du développement expérimentés peuvent exploiter plusieurs bras de traitement pour démêler la contribution que les différentes composantes ou variations du programme ont sur la vie des adolescents. . Nous n'exploitons généralement pas ce type de conception à plusieurs bras dans le cadre d'une recherche qualitative. En fait, de bons exemples de méthodes qualitatives qui accompagnent les interventions à plusieurs bras sont très difficiles à trouver dans la littérature, au-delà du simple fait de s'appuyer sur des discussions de groupe dans chaque groupe.

de bons exemples de méthodes qualitatives qui accompagnent les interventions à plusieurs bras sont très difficiles à trouver dans la littérature

Nellie: Étant donné les avantages potentiels de l'intégration de méthodes qualitatives dans les évaluations d'impact sur l'autonomisation des femmes, je me demande naturellement pourquoi ne voyons-nous pas plus de partenariats entre chercheurs de toutes disciplines dans cet espace. Y a-t-il un exemple d'une étude sur laquelle vous avez travaillé qui aurait pu bénéficier d'une composante quantitative plus forte ? Quels sont les facteurs qui expliquent pourquoi vous n'avez pas pu ou n'avez pas inclus de méthodes quantitatives plus robustes dans cette étude ?

Nicolas :  Quelques cas me viennent à l'esprit. Dans une étude, nous avons examiné les perceptions des citoyens sur les transferts monétaires pour les populations vulnérables au Moyen-Orient et en Afrique. Nous avons constaté qu'il est extrêmement important de s'assurer que les bénéficiaires de transferts ont la possibilité de participer à ce programme, plutôt que d'adopter une approche descendante. Mais alors que les conclusions que nos partenaires nationaux ont découvertes grâce au travail qualitatif approfondi étaient fascinantes, la réceptivité à ces conclusions parmi les décideurs était relativement limitée, en partie parce que nous n'étions pas en mesure de quantifier certains des impacts que nous voyions. Cela aurait également pu nous amener à réfléchir de manière plus critique à certains de nos résultats qualitatifs s'il n'y avait pas eu convergence.

Nellie :   Il semble que dans ce cas, les décideurs politiques aient peut-être eu un parti pris pour les résultats quantifiés. Et donc, fournir un contexte pour vos résultats qualitatifs avec un travail quantitatif aurait encouragé l'adoption de ces résultats au niveau local.

Nicolas :  Oui, les ministères des finances en particulier sont plus réceptifs aux résultats quantitatifs. De plus, lorsque vous essayez de changer de discours, plusieurs méthodes vous permettent d'adapter les arguments aux différentes parties prenantes. Si vous confirmez ce que les gens veulent entendre, alors ils n'interrogent pas nécessairement vos méthodes avec la même profondeur. Mais lorsque vous apportez de nouvelles idées, il devient particulièrement pertinent d'utiliser des méthodes mixtes robustes.

Si vous confirmez ce que les gens veulent entendre, alors ils n'interrogent pas nécessairement vos méthodes avec la même profondeur. Mais lorsque vous apportez de nouvelles idées, il devient particulièrement pertinent d'utiliser des méthodes mixtes robustes.

Nellie :   Cela a du sens. Enfin, que diriez-vous pour inciter les économistes du développement à intégrer des méthodes qualitatives dans leurs travaux ? Quels sont les défis auxquels vous voudriez qu'ils soient préparés ?

Nicolas :  Premièrement, une compréhension des voies de changement qui sous-tendent les chiffres qu'ils trouvent sera essentielle s'ils doivent défendre leurs conclusions, en particulier si les résultats sont décevants ou inattendus. Parfois, le programme peut avoir une conception très robuste, mais peut toujours échouer en raison du contexte politique. Dans ces cas, un travail qualitatif dans une perspective de science politique pourrait faire la lumière sur les raisons pour lesquelles les processus politiques dans lesquels les programmes sont situés facilitent ou entravent l'efficacité des programmes.

En termes d'inconvénients, la recherche par méthodes mixtes nécessite plus de temps et de ressources, tant en termes de collecte de données qu'en termes de processus d'analyse. En particulier parce qu'il n'y a pas encore de consensus universel sur ce qui constitue l'étalon-or des méthodes mixtes. Nous apprenons toujours la meilleure façon de tisser ensemble différentes approches de la manière la plus convaincante et la plus robuste sur le plan méthodologique.

Et parfois, les approches participatives, où il peut y avoir des interactions répétées avec des individus ou des communautés, sont plus transformatrices pour les participants que le programme réel qui est évalué. Dans la bande de Gaza, certains des adolescents impliqués dans notre recherche participative ont déclaré que les questions que nous posions avaient transformé leur façon de penser sur leur situation actuelle et leurs prochaines étapes plus que le programme que nous avions évalué. D'une part, c'est vraiment positif que nous puissions avoir ce genre d'effet, mais il est important de distinguer ensuite ce que l'intervention vise à faire des effets que des méthodes d'évaluation plus interactives pourraient avoir sur les bénéficiaires du programme.

Nellie :   Merci. Je pense qu'il est si important que, lorsque les chercheurs veulent utiliser des méthodes mixtes, ils s'y mettent les yeux ouverts et voient les défis potentiels auxquels ils pourraient être confrontés. À cette fin, j'apprécie vraiment que vous preniez le temps de vous joindre à cette conversation.

Lisez l'intégralité de l'interview du Dr Jones sur le site Web de GAGE ici.