La gamification fonctionne-t-elle ? Les méta-analyses

En 2014, Juho Hamari, Jonna Koivisto et Harri Sarsa ont publié l’une des premières revues systématiques de la recherche sur la gamification, en examinant les études empiriques évaluées par les pairs disponibles à l’époque. Leur titre posait la question sans détour. Leur réponse était un oui nuancé : la gamification tendait bien à produire des effets positifs, mais ces effets dépendaient largement du contexte d’utilisation et des personnes concernées.

Le mot lui-même fait partie du problème. « Gamification » recouvre aussi bien une barre de progression dans une appli de langues qu’un programme de formation entier construit autour d’un récit. Demander si ça marche, c’est un peu comme demander si les médicaments marchent : tout dépend duquel, pour quoi et pour qui. Les synthèses suivantes ont tenté de découper la question en morceaux auxquels on puisse vraiment répondre.

Elles ont aussi relevé des faiblesses qui allaient poursuivre le domaine pendant des années. Beaucoup d’études étaient petites, beaucoup n’avaient pas de vrai groupe de comparaison, et beaucoup introduisaient plusieurs éléments de jeu à la fois, si bien qu’on ne pouvait pas savoir lequel faisait effet. Un badge, un classement et une barre de progression ajoutés ensemble peuvent augmenter l’engagement ; l’étude ne vous dira pas lequel des trois garder.

Sources1Source 1Hamari, J., Koivisto, J., & Sarsa, H. (2014). Does gamification work? A literature review of empirical studies on gamification. In Proceedings of the 47th Hawaii International Conference on System Sciences (pp. 3025–3034). IEEE.

En 2019, le domaine avait énormément grandi. Koivisto et Hamari ont passé en revue 819 études sur la gamification et constaté que les résultats penchaient encore globalement du côté positif, mais que la part de résultats mitigés était, selon leur mot, remarquable. L’éducation, la santé et le crowdsourcing étaient les terrains les plus fréquents, et points, badges et classements restaient les outils les plus courants : autrement dit, une grande partie du domaine testait encore les fonctions les plus évidentes aux endroits les plus évidents.

Johnson et ses collègues sont parvenus à une conclusion proche pour les applis de santé et de bien-être. Sur les 19 études recensées, 59 % faisaient état d’effets positifs et 41 % d’effets mitigés, avec des preuves de qualité surtout modérée ou inférieure. Les résultats étaient plus nets pour les comportements de santé comme l’activité physique, bien moins pour les effets cognitifs. Beaucoup d’études ne comparaient pas une appli ludifiée avec la même appli sans éléments de jeu, seule comparaison capable d’isoler l’effet de la gamification elle-même.

Sources2Source 2Koivisto, J., & Hamari, J. (2019). The rise of motivational information systems: A review of gamification research. International Journal of Information Management, 45, 191–210.3Source 3Johnson, D., Deterding, S., Kuhn, K.-A., Staneva, A., Stoyanov, S., & Hides, L. (2016). Gamification for health and wellbeing: A systematic review of the literature. Internet Interventions, 6, 89–106.

C’est en éducation que les preuves sont les plus solides, parce qu’on peut comparer des classes. Michael Sailer et Lisa Homner ont combiné les résultats d’études contrôlées et trouvé de petits effets positifs de la gamification sur les résultats d’apprentissage cognitifs (g de Hedges = 0,49), motivationnels (g = 0,36) et comportementaux (g = 0,25). Point important, seul l’effet sur l’apprentissage cognitif tenait quand on ne gardait que les études les plus rigoureuses sur le plan méthodologique ; les effets sur la motivation et le comportement étaient moins stables.

Shurui Bai, Khe Foon Hew et Biyun Huang ont regroupé 30 interventions totalisant 3 202 participants et trouvé un effet global moyen sur l’apprentissage (g = 0,504). Ils ont aussi examiné ce que disaient les élèves. Ceux-ci appréciaient la gamification parce qu’elle nourrissait leur enthousiasme, leur donnait un retour, reconnaissait leurs progrès et les aidait à se fixer des objectifs. Ils ne l’aimaient pas quand elle n’apportait rien d’utile ou quand elle les rendait anxieux ou jaloux, soit le problème des classements que nous avons abordé dans les classements motivent-ils ou découragent-ils ?

Une taille d’effet d’environ 0,5 signifie que l’élève moyen d’une classe ludifiée a fait mieux qu’à peu près deux tiers des élèves d’une classe comparable sans gamification. C’est un effet réel, pas une métamorphose.

Sources4Source 4Sailer, M., & Homner, L. (2020). The gamification of learning: A meta-analysis. Educational Psychology Review, 32(1), 77–112.5Source 5Bai, S., Hew, K. F., & Huang, B. (2020). Does gamification improve student learning outcome? Evidence from a meta-analysis and synthesis of qualitative data in educational contexts. Educational Research Review, 30, 100322.

Quand Sailer et Homner ont cherché des modérateurs, deux se sont détachés. La fiction, un récit ou un univers qui donne du sens à l’activité, rendait la gamification plus efficace sur le comportement. Tout comme le fait d’associer compétition et collaboration, plutôt que de monter chacun contre tous. Les deux vont dans le même sens : la gamification qui marche ressemble moins à un tableau de scores collé sur une corvée qu’à un vrai jeu.

Les éléments pris un à un comptent moins qu’on ne le croit. Dans l’expérience de Mekler et ses collègues, points, niveaux et classements augmentaient chacun la quantité de travail fournie, mais aucun ne changeait la motivation ressentie. Les éléments de jeu sont des leviers sur l’effort. Que cet effort soit agréable dépend de la tâche qui se trouve dessous.

Sources4Source 4Sailer, M., & Homner, L. (2020). The gamification of learning: A meta-analysis. Educational Psychology Review, 32(1), 77–112.6Source 6Mekler, E. D., Brühlmann, F., Tuch, A. N., & Opwis, K. (2017). Towards understanding the effects of individual gamification elements on intrinsic motivation and performance. Computers in Human Behavior, 71, 525–534.

Les applis ludifiées sont partout, des bracelets de sport aux cours de langue en passant par la formation en entreprise, et la plupart arrivent avec une promesse assurée sur l’engagement. La recherche fournit quelques questions simples à poser avant d’y croire.

La première : à quoi compare-t-on ? Une appli ludifiée qui fait mieux que rien n’a pas démontré grand-chose ; la comparaison utile, c’est la même appli sans la couche de jeu, justement celle que la revue sur la santé ne trouvait pas dans beaucoup d’études. La deuxième : qu’a-t-on mesuré ? Plus de connexions et plus de gestes, c’est du comportement, et les éléments de jeu font bouger le comportement de façon fiable à court terme. Savoir si les gens ont davantage appris, gagné en forme ou pris plus de plaisir est une autre question, aux réponses plus fragiles.

La troisième : combien de temps l’étude a-t-elle duré ? Beaucoup d’études sur la gamification durent quelques jours ou quelques semaines, et une fonction excitante la première semaine peut devenir du papier peint à la dixième. L’étude en classe sur un semestre, présentée dans notre article sur les classements qui motivent ou découragent, rappelle que les effets peuvent même s’inverser avec le temps. Rien de tout cela ne rend la gamification inutile. Cela veut dire que la version honnête de la promesse est en général plus modeste, et plus précise, que le discours marketing.

Sources3Source 3Johnson, D., Deterding, S., Kuhn, K.-A., Staneva, A., Stoyanov, S., & Hides, L. (2016). Gamification for health and wellbeing: A systematic review of the literature. Internet Interventions, 6, 89–106.2Source 2Koivisto, J., & Hamari, J. (2019). The rise of motivational information systems: A review of gamification research. International Journal of Information Management, 45, 191–210.

Il y a une ironie dans tout cela. La gamification a emprunté ses outils aux jeux, et la recherche redécouvre sans cesse que ce ne sont pas ces outils qui rendaient les jeux captivants. Les jeux fonctionnent parce que l’activité centrale est intéressante, que le retour est immédiat et honnête, et que la progression paraît méritée. Les points et les badges sont le ticket de caisse, pas le repas.

C’est le principe que nous essayons de suivre dans OutBrick. La récompense d’un plateau, c’est de le vider ; le Voyage à travers 167 villages en briques garde la trace de votre parcours, ce n’est pas une liste de corvées. Pour sentir ce qu’est une boucle courte et honnête, jouez un plateau dans votre navigateur. Pour le versant progression et collection, lisez pourquoi compléter une collection fait du bien.

• Rendre l’activité centrale digne d’intérêt avant d’ajouter la moindre récompense.
• Se servir des récompenses pour donner un retour et marquer la progression, pas pour déguiser une tâche ennuyeuse.
• Préférer la collaboration ou la compétition par équipes aux classements de tous contre tous.
• Tester un élément à la fois, face à une version qui en est dépourvue.