By Aaron Dibner Dunlap ainsi que Yumna Rathore

Note de l'éditeur : ce cross-post est apparu à l'origine sur SuivantBillion.

Si un fournisseur d'argent mobile offrait un bonus sur les transferts de pair à pair, cela suffirait-il à générer de nouvelles affaires ?

Si le fournisseur envoyait des messages hebdomadaires rappelant aux titulaires de comptes mobiles d'utiliser activement les services bancaires à distance, cela changerait-il considérablement leur comportement ?

Au cours des trois dernières années, Innovations for Poverty Action (IPA) a travaillé en étroite collaboration avec le principal fournisseur d'argent mobile du Pakistan, Télénor Pakistan, pour explorer les réponses à ces questions et accroître l'adoption et l'utilisation du Plateforme d'argent mobile Easypaisa parmi les pauvres non bancarisés du pays. Grâce à des campagnes de marketing avancées, nous avons mis en place plusieurs expériences avec Easypaisa, telles que la variation du contenu des SMS en fonction des types et du montant des incitations et des programmes de parrainage ciblés, et l'évaluation des moyens les plus prometteurs d'augmenter l'utilisation active et durable de l'argent mobile. Récemment, le partenariat a également utilisé l'analyse de réseau pour mieux cibler et faire correspondre les clients existants avec les amis et la famille - en créant essentiellement le type de réseau social qui est crucial pour toute adoption de technologie.  

En raison de plusieurs facteurs - des trésors de données existantes, une base d'utilisateurs massive, des ajustements modestes à l'expérience client et une recherche de résultats dans un délai de cycle économique - ce partenariat ressemble à peu d'autres dans le portefeuille d'IPA. Pourtant, cette étude et d'autres comme elle représentent une nouvelle voie dans les expériences qui aident les pauvres du monde : les essais rapides.

ECR agiles

 

Aussi connu sous le nom A / B tests de ou tests fractionnés, les tests rapides (RFT) sont des essais contrôlés randomisés agiles (ECR) visant spécifiquement à améliorer la conception des produits. Ils sont déjà une pratique courante chez entreprises basées sur la technologie comme un moyen d'itérer et rapidement améliorer leur produit et élargir leur base d'utilisateurs. Un exemple simple de test A/B consiste à afficher deux pages de destination différentes aux visiteurs afin de savoir quelle version de la page (A ou B) donne un taux de conversion plus élevé. Surtout, la page à afficher pour chaque utilisateur serait attribuée au hasard en fonction de l'adresse IP, du segment client ou d'autres critères.

Mais les ECR à tir rapide sont appliqués à plus que de simples sites Web. En fait, ils peuvent être utilisés pour répondre à un certain nombre de questions sur la demande de produits financiers. Mais avant de plonger dans ces études fascinantes, nous devrions décrire plus en détail ce qu'ils peuvent et ne peuvent pas faire.

Qu'entendons-nous par test de tir rapide ?

Les tests rapides peuvent être classés dans la catégorie des ECR car le cœur de leur conception repose sur la mesure des résultats des clients grâce à des variations aléatoires d'un produit ou d'une expérience. Mais il existe d'autres caractéristiques qui distinguent un test de tir rapide des autres types d'ECR exécutés par l'IPA :

Recommencer, ces deux types d'études sont des ECR, car chacun est une expérience qui déploie une intervention dans un groupe de traitement assigné au hasard. Et les tests rapides engendrent autant de confiance dans la causalité de leurs résultats que n'importe quel ECR.

Avantages et inconvénients

Les différences cruciales énumérées ci-dessus donnent lieu aux avantages et aux limites d'un essai de tir rapide. Les avantages incluent :

• Ensembles de données plus volumineux: Les plans d'étude peuvent accueillir de très grands échantillons en utilisant des interventions et des ensembles de données administratives peu coûteux et évolutifs. Par exemple, il peut être plus facile d'analyser les données historiques sur les transactions que de concevoir, mener et analyser des enquêtes auprès des ménages qui prennent du temps.
• Implémentation moins chère: Les essais au feu rapides reposent sur des interventions facilement évolutives, souvent alimentées par des plateformes de haute technologie, qui réduisent les coûts de mise en œuvre. Par exemple, le coût d'envoi de différents types de messages marketing est très faible par rapport au développement et à la mise en œuvre d'un nouveau produit d'assurance. 
• Des résultats plus rapides: En se concentrant sur les résultats à court terme tels que l'adoption et l'utilisation, les tests rapides sont conçus pour fournir des résultats plus rapides que les ECR traditionnels, dont les résultats de bien-être prennent plus de temps à se manifester, à mesurer et à analyser.

Cependant, les RFT ne sont pas sans limites. Par exemple:

• Ils peuvent être athéoriques: Parce que les RFT sont si faciles à déployer, il peut être facile d'exécuter des milliers de tests sur chaque caractéristique observable, sans théorie. C'est souvent le cas dans le monde de la technologie. Par exemple, quelle théorie prédirait que ces boutons de site Web effectuer très différemment? Sans une théorie du changement fondée, la recherche ne peut pas aborder des questions plus larges sur le comportement humain, c'est pourquoi les études de l'IPA, qu'elles portent sur la conception des produits ou les impacts sur le bien-être, sont toujours accompagnées de théories du changement bien fondées.
• Petites tailles d'effet : Étant donné que les RFT reposent sur des changements progressifs apportés aux produits ou services existants, les chercheurs s'attendent généralement à ce que l'impact marginal soit faible (mais rentable).
• Mesure des résultats limitée: En utilisant des données administratives, nous limitons notre capacité à mesurer les résultats à ceux qui sont capturés par les dossiers institutionnels, par exemple, si un compte a été ouvert ou à quelle fréquence un utilisateur a effectué une transaction. Des déclarations plus larges sur le bien-être des clients reposent sur une théorie ou des preuves antérieures telles que, par exemple, que l'augmentation des soldes d'épargne entraîne une amélioration du bien-être.
• Ils nécessitent de grands échantillons: De petits effets anticipés signifient que des échantillons de grande taille sont généralement nécessaires pour détecter un impact. Si le produit que vous souhaitez tester n'a pas encore des milliers d'utilisateurs, il vaut mieux attendre et se concentrer plutôt sur l'augmentation des taux d'adoption.

Même ainsi, principalement parce que les RFT peuvent être exécutés sur des échantillons plus importants et générer des résultats rapides à faible coût, ils semblent destinés à jouer un rôle clé dans l'expérimentation au sein des institutions financières.

Test IPA/B

Le programme d'inclusion financière de l'IPA s'associe à des prestataires de services financiers de premier plan pour mener un certain nombre d'études rapides afin de mieux comprendre les préférences des clients vis-à-vis des caractéristiques des produits financiers et des variations de conception. En tirant parti de notre réseau universitaire et de technologies de collecte de données à faible coût telles que les appels de réponse vocale interactive (IVR), ces tests rapides sont à la fois fondés sur la théorie et complétés par une collecte de données supplémentaire à faible coût.

 

Par exemple, l'étude avec Telenor Pakistan, décrite ci-dessus, utilise une combinaison de SMS à faible coût, d'IVR et d'enquêtes de centres d'appels pour un échantillon de plus d'un million d'abonnés afin d'ajouter des points de données supplémentaires à une base de données déjà solide. Les questions de l'enquête se concentrent sur l'expérience de l'utilisateur et la probabilité de référer d'autres clients, ce qui permet aux chercheurs de mesurer le comportement signalé en plus du comportement observé à travers les modèles de transaction.

Un autre exemple intéressant est une série de tests de SMS campagnes de messagerie avec des institutions financières du monde entier pour identifier les caractéristiques du contenu, telles que la personnalisation ou les cadres orientés vers l'action, qui sont les plus efficaces pour encourager les clients à épargner davantage ou à rembourser leurs dettes. Cet effort s'appuie sur une étude initiale dans le Philippines, Pérou et Bolivie, qui a révélé que les bons messages pouvaient augmenter les soldes d'épargne jusqu'à 16 %. Études axées sur le crédit en Ouganda et par Philippines ont constaté que les rappels par SMS pour rembourser les prêts à temps peuvent être aussi efficaces que des incitations plus coûteuses comme la réduction du taux d'intérêt. Travail parallèle dans le États-Unis évalue l'effet de divers rappels par SMS sur les résultats des clients qui ont du mal à rembourser leur dette, en mettant en place des tests A/B pour déterminer le moyen le plus efficace de favoriser l'adoption du produit. De nombreuses autres études intègrent également la messagerie comme traitements secondaires à faible coût.

D'autres expériences similaires à tir rapide ont étudié les impacts des différents contenus de messagerie sur les clients. Voici quatre évaluations récentes d'études sur les messages :

• Modification du contenu des e-mails pour tester l'impact des e-mails sur les choix d'épargne-retraite des employés du États-Unis;
• Ajuster le contenu publicitaire pour voir l'impact des prix et des délais de prêt sur la demande de prêt de Sud africain consommateurs ;
• Modification du contenu des SMS pour observer la demande de découverts bancaires des titulaires de comptes en Turquie;
• Ajuster les offres de prêt pour déterminer la demande de produits de crédit conformes à la charia Jordanie.

Une méthodologie puissante dans la boîte à outils de conception de produits

Malgré leurs limites potentielles, les expériences de tir rapide présentent d'énormes avantages potentiels. Nous comprenons que de nombreuses organisations s'inquiètent du coût d'un ECR pluriannuel basé sur une enquête. Si tel est le cas, envisagez une expérience de tir rapide en plus de toute collecte de données à faible coût. Avoir un cadre expérimental rigoureux augmentera considérablement la qualité de vos résultats.

En mars 2016, l'IPA et le Center for Effective Global Action (CEGA) ont lancé le Boîte à outils Boucle d'or, une ressource conçue pour les organisations qui souhaitent améliorer leur apprentissage de l'évaluation, mais qui ne sont pas candidates à un ECR à grande échelle. La boîte à outils comprend essais de tir rapide comme l'une des nombreuses méthodologies que les organisations peuvent adopter si les conditions sont réunies.

En combinant l'expertise d'IPA en économie comportementale et en mise en œuvre de RCT avec le sens des affaires des partenaires avec lesquels nous travaillons, les tests rapides peuvent ajouter des preuves rigoureuses au processus d'innovation de produit. En tirant parti des données administratives et des technologies évolutives, nous considérons les tests rapides comme un moyen passionnant d'évaluer et d'améliorer les services financiers pour les pauvres, d'accélérer la courbe d'apprentissage et de servir de complément important à d'autres méthodologies.