Mesurer l'efficacité des chatbots d'assistance aux consommateurs aux Philippines

Mesurer l'efficacité des chatbots d'assistance aux consommateurs aux Philippines

Les représentants de l'IPA et du BSP
Représentants de l'IPA et du BSP. © BSP

Dans le cadre de l'initiative de recherche sur la protection des consommateurs de l'IPA et en partenariat avec Regxelerator et la Bangko Sentral ng Pilipinas (BSP, la banque centrale des Philippines), les chercheurs développent un outil pour surveiller la performance des chatbots d'assistance aux consommateurs des institutions financières afin de fournir un recours approprié en matière de soutien à la clientèle lorsque des problèmes surviennent.

La Problématique

Avec l'essor rapide des services financiers numériques à travers le monde, les autorités de régulation financière s'efforcent de trouver des leviers d'action pour surveiller efficacement les risques liés à la protection des consommateurs. Face à l'automatisation croissante des interactions clients, les chatbots se sont imposés à la fois comme un outil de service client pour les institutions financières et comme un mécanisme potentiel de contrôle réglementaire. Aux Philippines, par exemple, la Banque centrale des Philippines (BSP) et les prestataires de services financiers ont de plus en plus recours aux chatbots basés sur l'intelligence artificielle pour traiter les demandes et les réclamations des clients. L'utilisation des chatbots a connu une forte croissance, notamment aux États-Unis où près de 37 % des consommateurs ont interagi avec les chatbots de leur banque en 2022, probablement grâce aux économies réalisées par les institutions financières.1

Cependant, malgré l'utilisation accrue des chatbots, leur efficacité à fournir des réponses précises et utiles reste incertaine. preuves IPA existantes Une étude menée aux Philippines suggère que si les chatbots peuvent fournir une assistance plus rapide et en temps réel pour les demandes de base, ils sont moins efficaces pour résoudre les problèmes complexes. De plus, l'utilisation croissante de l'intelligence artificielle générative par les chatbots introduit de nouveaux risques, tels que des « hallucinations » pouvant conduire à la diffusion d'informations erronées aux consommateurs. Des chatbots mal conçus risquent de ne pas répondre aux préoccupations des consommateurs, ce qui peut entraîner une baisse de la confiance envers les institutions financières. Des outils de surveillance innovants peuvent-ils aider les autorités de réglementation à évaluer les performances des chatbots et à identifier les axes d'amélioration ?

La recherche

En collaboration avec Regxelerator et la BSP, des chercheurs mènent une étude pilote afin d'évaluer la performance des chatbots d'assistance aux consommateurs utilisés par la BSP et les institutions financières. Ils concevront et déploieront un outil d'audit automatisé qui utilise l'automatisation robotisée des processus (RPA) et l'intelligence artificielle générative (IA générative) pour simuler des conversations réalistes avec des chatbots, calibrés selon différents scénarios et profils de consommateurs. Cet outil permettra ainsi de tester non seulement des requêtes informationnelles simples, mais aussi des problèmes plus complexes que les consommateurs rencontrent fréquemment lorsqu'ils cherchent à obtenir réparation.

Une fois développé, le système permettra aux autorités de régulation d'évaluer rapidement et de manière répétée la qualité des chatbots, et ce, à grande échelle. Grâce à ses faibles coûts de déploiement, l'outil peut générer des données de surveillance à haute fréquence, permettant d'identifier les défaillances des chatbots et de suivre l'évolution de leurs performances. Cette capacité est particulièrement importante dans le contexte de la transition des institutions, qui passent de chatbots simples basés sur des règles à des modèles d'IA générative plus avancés. Ces derniers offrent certes une plus grande fonctionnalité, mais présentent également des risques accrus, tels que des réponses incohérentes, des biais ou des discriminations. Un audit continu permettra aux autorités de régulation d'anticiper ces risques émergents et de cibler les améliorations là où elles sont les plus nécessaires.

Résultats

Les résultats seront disponibles en 2026.

Références

1. CFPB, « Les chatbots dans la finance de consommation : un enjeu majeur », juin 2023, https://files.consumerfinance.gov/f/documents/cfpb_chatbot-issue-spotlight_2023-06.pdf


Partenaire de mise en œuvre

Logo BSP