De Chinese zoekgigant Baidu versloeg met gemak twee Amerikaanse technologiegiganten Microsoft en Google in een natuurlijke taalverwerkingswedstrijd van 's werelds toonaangevende AI-modellen.
De General Language Understanding Evaluation (GLUE) is de standaard die wordt gebruikt voor het trainen, evalueren en analyseren van op AI gebaseerde systemen voor het begrijpen van natuurlijke taal. Organisaties die modellen voor natuurlijke taalverwerking ontwikkelen op basis van kunstmatige intelligentie kunnen hun modellen evalueren met behulp van de GLUE-benchmarkschaal.
Tot voor kort was het MT-DNN-SMART-model van Microsoft nog steeds de leidende naam in de mondiale GLUE-ranglijst, gevolgd door het T3-model van Google. Deze ranglijst heeft echter zojuist een grote verstoring ondergaan, omdat in de recente concurrentie op het gebied van natuurlijke taalverwerking Baidu's ERNIE-model (Enhanced Representation through kNowledge IntEgration) zowel MT-DNN-SMART als T3 versloeg met een recordscore van 90,1.

Aanvankelijk werd het model van Baidu ontwikkeld om de Chinese taal te begrijpen, maar onderzoekers beseften al snel de uitstekende belofte van het model voor het begrijpen van Engels. De ERNIE-trainingsmethode van Baidu is sterk geïnspireerd door Google's "oude" taalverwerkingsmodel-trainingstool genaamd BERT. Dienovereenkomstig wordt bij elke trainingssessie 15% van de woorden in elke zinreeks verborgen. De AI-taak probeert de verborgen woorden zo goed mogelijk te voorspellen op basis van de context. Het Baidu-onderzoeksteam illustreerde deze techniek op hun Github-pagina met voorbeelden uit de Harry Potter-romansreeks. Als resultaat hiervan kon ERNIE de relatie tussen Harry Potter en JK Rowling extrapoleren door stilzwijgende kennis van woorden en entiteiten te analyseren, om te concluderen dat Harry Potter een serie romans is, geschreven door JK Rowling.
“Hoewel taalbegrip een enorme uitdaging blijft, hebben onze resultaten voor het ERNIE-project aangetoond dat multi-tasking en continu getrainde taalverwerkingsmodellen de weg vooruit zijn. Veelbelovend voor NLP-onderzoek”, aldus het Baidu-onderzoeksteam.
Momenteel promoot Baidu de toepassing van het ERNIE-model voor praktische taken. Bijvoorbeeld: Momenteel gebruikt Baidu het ERNIE-model voor de automatische vraag-antwoordfunctie in zijn zoekmachine, wat resulteert in een verbetering van 16% in de gebruikerstevredenheid over de zoekresultaten.