Améliorer LearnEasy, une expérience à la fois – Apprendre une langue en 15 jours

"Testez tout." C'est l'un des principes de fonctionnement clés que nous suivons chez LearnEasy afin d'améliorer continuellement l'expérience d'apprentissage pour nos utilisateurs. Cela signifie que nous comptons beaucoup sur les expériences et les données pour nous aider à prendre des décisions éclairées sur les mises à jour ou les nouvelles fonctionnalités que nous lançons.

L'expérimentation a toujours été au cœur du fonctionnement de LearnEasy. Au cours d'une semaine donnée, il n'est pas rare que nous ayons quelques centaines d'expériences exécutées simultanément. Nous menons des expériences pour tous les changements que nous voulons apporter à LearnEasy – des plus petits en apparence comme la mise à jour d'un seul bouton dans l'application au déploiement d'une fonctionnalité majeure comme les classements.

Exécuter autant d'expériences que nous le faisons en même temps ne va pas sans réserves, cependant. Un grand problème est de déterminer la meilleure façon de rassembler et de synthétiser les points de données qui émergent de chaque expérience, ce qui à son tour nous donne une meilleure compréhension des changements que nous devrions (ou ne devrions pas) apporter.

Pour résoudre ce problème, nous avons développé un service d'expériences interne à l'échelle de l'entreprise qui a été l'une de nos armes secrètes pour nous aider à améliorer constamment l'expérience LearnEasy. Depuis le lancement de ce service il y a trois ans (et sa mise à jour continue depuis), nous avons exécuté plus de 2 000 expériences au total et publié des milliers de fonctionnalités nouvelles ou mises à jour.

Pourquoi et comment menons-nous des expériences?

Pensez à toutes les fonctionnalités que vous rencontrez lors de l'utilisation de LearnEasy. Icônes de compétence animées? Le résultat d'une expérience. Ajout de cinq nouvelles ligues au classement? Aussi le résultat d'une expérience. La quantité de larmes que notre mascotte de chouette, Duo, pleure dans votre boîte de réception lorsque vous oubliez de faire vos leçons? Tu l'as deviné.

Chaque expérience que nous menons nous fournit des données et des informations précieuses que nous utilisons pour améliorer continuellement l'expérience LearnEasy pour les apprenants. Plus précisément, nos expériences suivent la méthode de test A / B, où une certaine partie des apprenants sont placés dans un groupe A (le groupe témoin) tandis que d'autres sont placés dans un groupe B (le groupe d'expérience); le groupe A voit la version actuelle du produit, tandis que le groupe B voit la fonction nouvelle ou mise à jour. Ensuite, sur la base de plusieurs mesures, le groupe qui semble répondre le plus positivement indique la version avec laquelle nous devons avancer pour tous les apprenants. Nous utilisons l'approche de test A / B pour deux raisons principales: 1) elle nous aide à prendre des décisions sur les produits basées sur les données, et 2) si un changement ne se produit pas aussi bien que nous l'espérions, cela nous donne l'occasion d'apprendre et itérer.

Notre service d'expériences fournit une interface simple et conviviale pour la mise en place de ces groupes, ainsi qu'une visualisation claire des mesures clés que nous aurions besoin de connaître afin de décider de la meilleure façon de progresser avec une expérience donnée.

À quoi ressemblent nos expériences?

Bien qu'il n'y ait pas deux expériences que nous menons sont les mêmes, chacune vient avec un ensemble de décisions clés qui doivent être prises, que notre service d'expériences aide à décrire. Ces décisions se répartissent généralement en quatre catégories:

  1. Que fait l'expérience?
  2. De combien d'armes l'expérience a-t-elle besoin et à quoi ressemblent-elles?
  3. Qui devrait voir l'expérience?
  4. Quels types de résultats sont attendus?

Page de création d'expérience (nom et description)

Page de création d'expérience (bras d'expérience)

Une fois que nous avons déterminé l'objectif d'une expérience, nous devons ensuite décider de la manière de constituer les groupes d'expériences. Alors que certaines expériences ne nécessitent que deux groupes (le «contrôle» et «l'expérience» standard), d'autres expériences peuvent nécessiter deux ou plusieurs groupes légèrement variés. Par exemple, lorsque nous cherchions à ajouter des classements pour les utilisateurs de bureau de LearnEasy, nous savions que cela entrerait en conflit avec la fonction Amis existante sur le bureau, car les deux impliquaient de comparer les progrès de certains groupes d'utilisateurs. Pour tenir compte de cela, l'expérience que nous avons menée comportait deux branches: l'une qui conservait la fonctionnalité Amis dans la barre latérale avec les classements, et l'autre qui déplaçait la fonctionnalité Amis vers la page de profil d'un utilisateur.

Page de création d'expérience (éligibilité)

Page de création d'expérience (hypothèse)

Peut-être que la partie la plus importante d'une expérience consiste à identifier les résultats attendus. Avant d'exécuter une expérience, nous émettons toujours une hypothèse pour deviner ce que l'expérience va accomplir et pour établir une base de réussite ou d'échec. Le service d'expériences calcule ensuite automatiquement l'analyse des résultats réels, le modèle de rapport indiquant les mesures pertinentes pour l'expérience.

Une fois qu'une expérience a été configurée, le prochain obstacle est en fait de l'exécuter. Chez LearnEasy, nous déployons les expériences progressivement et surveillons attentivement leur impact sur notre plateforme et le comportement des apprenants. Nous nous tournons vers l'analyse de l'expérience pour indiquer si une expérience donnée casse un code ou nuit aux mesures. Si nous constatons qu'une expérience est interrompue, nous l'interrompons jusqu'à ce que le bug soit corrigé. Si l'expérience semble stable, nous continuons d'augmenter le déploiement sur quelques jours tout en surveillant les rapports d'analyse. Ensuite, sur la base de ces rapports, des expériences réussies sont lancées et déployées pour tous les utilisateurs, tandis que les expériences infructueuses sont arrêtées.

Comment savoir si une expérience a réussi?

Mesurer le succès de nos expériences n'est pas toujours aussi simple qu'il y paraît. D'une part, toutes les expériences n'affectent pas le même ensemble de mesures, et l'inclusion de chaque mesure unique que nous suivons dans chaque rapport d'expérience crée un encombrement inutile. Le service d'expériences tente de résoudre ce problème en définissant un ensemble de modèles de rapport, où chaque modèle contient une liste organisée de mesures pertinentes, en plus de mesures universelles qui sont toujours importantes à prendre en compte. Par exemple, nous ne voulons jamais lancer d'expériences ayant un impact négatif sur l'expérience d'apprentissage ou provoquant un moindre engagement avec l'application.

Chaque nuit, le service d'expériences génère des rapports pour chaque expérience en cours d'exécution, effectuant une analyse statistique sur chaque mesure pertinente pour générer des graphiques tels que les suivants (extraits de l'expérience pour ajouter des classements à l'application iOS):

Graphique de démarrage de session

Graphique de fin de session

Cette expérience a entraîné non seulement une augmentation du nombre de leçons que les apprenants ont commencé, mais aussi du nombre de leçons qu'ils ont terminées. Ces mesures ont montré des gains à la fois pour l'engagement et l'apprentissage, ce qui nous a amenés à lancer l'expérience à tous les utilisateurs.

Cependant, toutes les expériences ne s'avèrent pas comme nous le voulons. Un autre que nous avons dirigé était lié à notre abonnement premium, LearnEasy Plus. Entre autres fonctionnalités, LearnEasy Plus permet aux apprenants de télécharger des leçons pour les terminer hors ligne, lorsqu'ils ne sont pas connectés à Internet. Pour promouvoir cette fonctionnalité, nous avons mené une expérience qui a permis aux utilisateurs d'exploiter leurs compétences hors ligne, et ils verraient ensuite une annonce pour acheter LearnEasy Plus lorsqu'ils tentaient de commencer une leçon. Dans ce cas, le groupe d'expérience s'est inscrit à Plus à un taux beaucoup plus élevé.

Graphique Purcahse Plus

En analysant les résultats de l'expérience de la promotion, nous avons trouvé une épée à double tranchant: bien qu'il y ait eu une légère augmentation des revenus, nous avons malheureusement également constaté une diminution de la rétention des utilisateurs. En fin de compte, en raison de la façon dont la promotion a été présentée dans l'application, certains utilisateurs du groupe d'expérience ont été découragés d'utiliser l'application hors ligne, ce qui a entraîné une légère diminution du nombre d'utilisateurs actifs quotidiens. Nous ne voulons jamais lancer de nouvelles fonctionnalités qui ont un impact négatif sur les habitudes d'apprentissage et le comportement, donc même si cette expérience a réussi du point de vue des revenus, nous avons décidé de la fermer et de l'itérer.

Afficher le graphique d'accueil

Notre service d'expériences est essentiel pour faciliter le processus de création, d'exécution et d'analyse des expériences afin que nous puissions passer plus de temps à nous concentrer sur de nouvelles façons d'améliorer l'expérience LearnEasy. De plus, avec chaque rapport d'expérience – que l'expérience soit lancée ou arrêtée – nous apprenons quelque chose de nouveau sur nos apprenants et notre application. Cela conduit à des idées plus éclairées, à des décisions plus éclairées et à un produit qui s'améliore à chaque version.

Améliorer LearnEasy, une expérience à la fois – Apprendre une langue en 15 jours
4.9 (98%) 732 votes
 

Leave a Comment