NVIDIA vindt een nieuwe AI-trainingsmethode die minder invoergegevens vereist

NVIDIA heeft een nieuwe aanpak ontwikkeld voor het trainen van generatieve vijandige netwerken (GAN's). Deze methode vereist aanzienlijk minder invoergegevens dan de momenteel populaire methoden. Terwijl de kwaliteit van de training nog steeds absoluut gegarandeerd is.

Als je het niet weet: GAN is een AI-systeem dat uit 2 afzonderlijke delen bestaat:

• De eerste is het Generatieve netwerk, dat helpt bij het maken van trainingsvoorbeelden (nepgegevens), met als doel de meest realistische gegevens te creëren.
• Het tweede is het Discrimatieve netwerk: wiens taak het is om te proberen onderscheid te maken tussen echte gegevens en valse gegevens, en deze gegevens vervolgens te gebruiken om het Generatieve Netwerk zelf te ‘hertrainen’.

GAN-model

GAN-systemen zijn toegepast bij veel intensieve taken, zoals het omzetten van bijschriften in verhalen op basis van elke context, en vooral bij het maken van kunstmatige foto's en video's met een extreem hoog realisme.

Om betrouwbare resultaten met hoge consistentie te kunnen produceren, hebben traditionele GAN-modellen in wezen minimaal 50.000 tot 100.000 afbeeldingen nodig als invoertrainingsgegevens. Als de hoeveelheid trainingsgegevens te klein is, heeft het GAN-model de neiging te lijden onder een probleem dat 'overfitting' wordt genoemd. In dit geval zal het Discriminatieve netwerk niet voldoende basis hebben om effectief te trainen en te communiceren met het Generatieve netwerk.

• Kunstmatige intelligentie kan met slechts enkele stukjes informatie al een heel artikel schrijven

In het verleden was een veelgebruikte methode die AI-onderzoekers gebruikten om het probleem van het gebrek aan trainingsgegevens op te lossen het gebruik van een techniek die ‘data-augmentatie’ werd genoemd. Door het afbeeldingsalgoritme opnieuw als voorbeeld te gebruiken, zullen experts, bij gebrek aan voldoende noodzakelijke trainingsgegevens, proberen het probleem op te lossen door "vervormde" kopieën van de bestaande afbeeldingen te maken, zoals het bijsnijden, roteren of omdraaien van een originele afbeelding naar maak meerdere afbeeldingen als extra trainingsgegevens. Het idee hier is om het GAN-model niet tweemaal exact hetzelfde beeld te laten zien.

Het probleem met deze aanpak is echter dat het ervoor kan zorgen dat de GAN onnatuurlijke veranderingen in de trainingsgegevens leert imiteren, in plaats van iets nieuws te creëren. Om dit probleem op te lossen heeft NVIDIA een nieuwe methode ontwikkeld genaamd “Adaptive Differentiation Augmentation (ADA). De kern bestaat nog steeds uit data-augmentatietechnieken, maar dan op een adaptieve manier ingezet. In plaats van beelden gedurende het hele trainingsproces zonder onderscheid te "vervormen", voert ADA dit proces selectief en net genoeg uit zodat GAN nog steeds de beste prestaties behaalt.

De positieve resultaten van de ADA-trainingsmethode brengen veel belangrijke implicaties met zich mee op het gebied van kunstmatige intelligentie. Want het verzamelen van de benodigde hoeveelheid trainingsdata klinkt eenvoudig, maar is in werkelijkheid erg lastig. Voor een AI-model voor literaire compositie hoeft u zich bijvoorbeeld geen zorgen te maken over het ontbreken van invoertrainingsgegevens. Maar in het geval van een AI-algoritme dat gespecialiseerd is in het opsporen van zeldzame neurologische aandoeningen, is het simpelweg verzamelen van voldoende trainingsgegevens een groot probleem. Een GAN-model dat is getraind met de ADA-aanpak van NVIDIA kan het bovenstaande probleem oplossen.

NVIDIA zal op komende AI-conferenties meer informatie delen over zijn nieuwe ADA-techniek.