Le géant chinois de la recherche Baidu a facilement battu deux géants américains de la technologie, Microsoft et Google, dans un concours de traitement du langage naturel des principaux modèles d'IA au monde.
L'évaluation générale de la compréhension du langage (GLUE) est la norme utilisée pour former, évaluer et analyser les systèmes de compréhension du langage naturel basés sur l'IA. Les organisations qui développent des modèles de traitement du langage naturel basés sur l'intelligence artificielle peuvent évaluer leurs modèles à l'aide de l'échelle de référence GLUE.
Jusqu'à récemment, le modèle MT-DNN-SMART de Microsoft était encore en tête du classement mondial GLUE, suivi du modèle T3 de Google. Cependant, ce classement vient de connaître une perturbation majeure car lors du récent concours de traitement du langage naturel, le modèle ERNIE (Enhanced Representation through kNowledge IntEgration) de Baidu a battu MT-DNN-SMART et T3 avec un score record de 90,1.

Initialement, le modèle de Baidu a été développé pour comprendre la langue chinoise, mais les chercheurs ont vite réalisé son excellente promesse pour la compréhension de l'anglais. La méthode de formation ERNIE de Baidu est fortement inspirée de « l'ancien » outil de formation du modèle de traitement linguistique de Google appelé BERT. En conséquence, 15 % des mots de chaque chaîne de phrases seront masqués à chaque session de formation, la tâche d'IA tente de prédire le plus fidèlement possible les mots cachés en fonction du contexte. L'équipe de recherche de Baidu a illustré cette technique sur sa page Github avec des exemples cités dans la série de romans Harry Potter. En conséquence, ERNIE a pu extrapoler la relation entre Harry Potter et JK Rowling en analysant la connaissance tacite des mots et des entités, pour conclure que Harry Potter est une série de romans écrits par JK Rowling.
"Bien que la compréhension du langage reste un défi de taille, nos résultats pour le projet ERNIE ont montré que les modèles de traitement linguistique multitâches et formés en continu constituent la voie à suivre, prometteuse pour la recherche en PNL", a commenté l'équipe de recherche de Baidu.
Actuellement, Baidu promeut l'application du modèle ERNIE pour des tâches pratiques. Par exemple : Actuellement, Baidu utilise le modèle ERNIE pour la fonction de réponse automatique aux questions dans son moteur de recherche, ce qui entraîne une amélioration de 16 % de la satisfaction des utilisateurs à l'égard des résultats de recherche.