Comment l'apprentissage automatique aide LearnEasy à hiérarchiser les améliorations des cours – Apprendre une langue en 15 jours

Les phrases amusantes et originales de LearnEasy peuvent généralement être traduites de différentes manières. Par exemple, la phrase allemande Hilfe, das Pferd frisst die heilige Kartoffel! ("Au secours, le cheval mange la pomme de terre sacrée!") A actuellement 72 traductions acceptées, avec "mange" au lieu de "mange", "ceci" et "cela" au lieu de "le", "sacré" au lieu de " saint ", etc. En fait, le nombre moyen de réponses acceptables à un exercice de traduction LearnEasy est supérieur à 200, et certaines phrases plus longues peuvent avoir jusqu'à 30 000!

Nos équipes travaillent d'arrache-pied pour s'assurer que les apprenants peuvent saisir n'importe laquelle de ces réponses et être marqués comme corrects, mais les obtenir tous du premier coup est presque impossible. C'est pourquoi nous demandons l'aide des apprenants pour trouver ceux que nous avons manqués, en utilisant l'indicateur "Rapport" qui apparaît après avoir vérifié votre réponse. Chaque rapport que les apprenants soumettent apparaît dans le backend de l'incubateur LearnEasy pour que notre personnel et nos contributeurs l'examinent, et s'ils décident qu'une réponse doit être acceptée, ils l'ajoutent à la liste des réponses qui seront marquées comme correctes.

Détruisez ce bouton de rapport … après avoir vérifié l'orthographe et jeté un œil à la discussion, bien sûr!

Une capture d'écran d'un exercice arabe montrant le drapeau du rapport

Une fois qu'un cours a mûri et que les plus gros trous ont été corrigés, il peut devenir plus difficile de trouver les problèmes qui subsistent, car des centaines de milliers d'apprenants bien intentionnés continuent d'envoyer des rapports sans remarquer qu'ils ont commis des fautes de frappe ou d'autres erreurs. De nos jours, environ 10% des rapports que nous recevons sont corrects et nécessitent une correction; la plupart des 90% restants contiennent une sorte d'erreur. Pour aider nos contributeurs à trouver ce dixième le plus rapidement possible, nous avons construit un système d'apprentissage automatique qui fait ressortir les rapports corrects.

Mots, mots, mots

Exemples de rapports (envoyés par des anglophones apprenant le chinois) que notre système pensait avoir de bonnes chances d'être correct. Dans le deuxième rapport, l'apprenant a oublié de traduire 也 ("aussi", "aussi"); les trois autres sont des réponses correctes que nous devrions commencer à accepter.

1) Ne vous inquiétez pas pour la note, vous avez déjà travaillé dur. 2) Mon nom de famille est Li, je suis ravi de vous rencontrer! 3) Tais-toi! Ils dorment. 4) Elle ira à Xian pour travailler le mois prochain.

L'approche que nous avons utilisée pour ce système était basée sur un algorithme éprouvé: la régression logistique. La régression logistique prend une collection de traits du rapport, attribue un score à chaque fonctionnalité indiquant dans quelle mesure la fonctionnalité est caractéristique de bons rapports, et additionne les scores pour déterminer la probabilité globale que le rapport soit bon. Nous avons choisi des fonctionnalités qui étaient en grande partie sur mots. Plus précisément, nous avons extrait des mots simples et des blocs de deux mots de la réponse de l'apprenant: si le rapport contient le bloc de deux mots "une pomme", vous pouvez probablement deviner que le rapport est une erreur, tandis que les rapports contenant "couleur" peuvent être plus nécessitera probablement l'attention des responsables de cours. (Nous faisons de notre mieux pour reconnaître chaque façon dont un mot peut être orthographié dans votre variété d'anglais standard préférée!) Nous avons également comparé la réponse de l'apprenant aux traductions existantes acceptées et des fonctionnalités intégrées résumant les types de changements nécessaires pour transformer le premier en ce dernier .

Deux autres considérations importantes dans la construction d'un système d'apprentissage automatique sont la manière performance est mesurée et la source de Les données pour former le système. En fin de compte, le système est utilisé pour classer les rapports pour examen humain, nous avons donc choisi la zone sous la courbe ROC comme moyen de mesurer l'utilité des classements du système. Enfin, nous avons obtenu des données de notre processus d'examen des rapports: lorsque le personnel et les contributeurs consultent un rapport, ils indiquent s'ils ont fini par accepter la réponse suggérée. Les réponses acceptées et rejetées sont envoyées au système pour lui apprendre ce qu'il faut rechercher. (Lorsqu'un rapport est accepté, nous envoyons également un heureux e-mail de remerciement à l'apprenant qui l'a envoyé.)

… Mais ça marche pour Klingon?

De nombreux systèmes informatiques qui fonctionnent avec le langage humain doivent être limités à un petit nombre de langues – trop souvent, une seule – pour leur version initiale. Cependant, les fonctionnalités simples décrites ci-dessus sont suffisantes pour permettre à notre système de hiérarchisation des rapports d'améliorer l'utilisation des données de tous nos cours simultanément. La raison principale en est que nous ne nous sommes pas appuyés sur des données externes ou des bibliothèques de traitement du langage naturel, qui sont souvent elles-mêmes limitées à quelques-unes des langues les plus parlées. De plus, la plupart des fonctionnalités se réfèrent au texte dans la langue de la réponse de l'apprenant, donc la formation du système sur un rapport écrit en anglais d'une personne qui apprend le français peut l'aider plus tard à hiérarchiser les rapports rédigés en anglais par les apprenants de (par exemple) Klingon.

Mais nous n'avons pas à nous agiter sur la façon dont notre système devrait être indépendant de la langue en théorie: nous pouvons montrer qu'il fonctionne! Avant que notre système d'apprentissage automatique ne soit implémenté, les contributeurs verraient les rapports triés par le nombre de fois où chaque réponse était rapportée, en s'appuyant sur la «sagesse de la foule» pour porter les problèmes importants au sommet. Nous pouvons comparer ce système de mise en ordre des rapports à notre système d'apprentissage automatique; un classement selon le nombre de fois où un rapport a été soumis nous donne une surface sous la courbe ROC d'environ 0,59. Un score parfait est de 1, et 0,5 est ce que vous obtenez d'un système qui devine au hasard (ou une note collante sur le moniteur qui dit simplement "NON").

Hiérarchisation des rapports pour tous nos cours: chaque orientation linguistique (" pour haut-parleurs ") tracée par la quantité de données dont nous disposons et la précision du système d'apprentissage automatique.

Diagramme de dispersion du nombre de rapports sur l'axe x par rapport à la zone sous la courbe ROC sur l'axe y

Le résultat a été un balayage: le nouveau système a fait mieux que la stratégie précédente sur chaque parcours. Même si les données étaient assez rares pour la formation du système sur nos cours navajo et hawaïen publiés l'année dernière, le système d'apprentissage automatique était toujours en mesure de faire des prédictions utiles sur ces cours, en particulier pour les rapports en anglais, pour lesquels il pouvait tirer parti de son expérience des autres cours pour anglophones. Les cours de Klingon et de Haut Valyrien ont également montré des résultats étonnamment robustes.

De nouveaux cours et au-delà

Après avoir mis en place ce système et l'avoir mis à la disposition de notre personnel et de nos contributeurs début 2019, il a joué un rôle important dans le développement de nouveaux cours LearnEasy. Depuis que nous avons lancé nos cours d'arabe et de latin pour les anglophones l'été dernier, les contributeurs à ces cours ont été parmi les plus grands utilisateurs de cet outil, malgré le fait que le système d'apprentissage automatique n'avait pratiquement aucune donnée de ces cours pour commencer! L'équipe du gaélique écossais figurait également parmi les dix premiers utilisateurs les plus fréquents de l'outil alors qu'ils testaient le cours avant sa sortie en novembre. Être en mesure de traiter rapidement des rapports importants a fait une grande différence: quelques semaines seulement après leur publication, l'arabe, le latin et le gaélique écossais atteignaient déjà les faibles taux de rapports de problèmes que nous attendons de nos cours les plus stables.

La conception que nous avons choisie pour le système d'apprentissage automatique, en plus d'être hautement multilingue avec seulement de petites quantités de données, était facile à mettre en œuvre, assez facile à comprendre et très peu coûteuse en termes de calcul. Néanmoins, il est probable qu'à l'avenir, nous réexaminerons cette conception et expérimenterons des techniques de compréhension du langage plus modernes; l'explosion récente de l'utilisation des intégrations de mots contextuels multilingues fait signe avec des promesses d'une précision beaucoup plus élevée et la capacité de gérer automatiquement (la plupart) de nouvelles langues. En attendant, continuez d'envoyer ces rapports!

Comment l'apprentissage automatique aide LearnEasy à hiérarchiser les améliorations des cours – Apprendre une langue en 15 jours
4.9 (98%) 732 votes
 

Leave a Comment