L'un des plus grands défis des modèles d'intelligence artificielle (IA) dans le traitement du langage aujourd'hui est de comprendre le contexte et le contexte de chaque segment spécifique, comprenant ainsi le contenu de l'ensemble du paragraphe du texte, ou plus largement, la signification exacte de l'ensemble de l'œuvre. - au lieu de simplement comprendre le sens de chaque mot comme c'est le cas aujourd'hui.
Pour résoudre ce problème, Google a introduit un nouveau modèle d'apprentissage automatique appelé Reformer, capable de comprendre le contenu et le contexte d'une œuvre d'un million de lignes - l'équivalent d'un roman, tout en n'utilisant qu'environ 16 Go de stockage. Reformer a été développé pour surmonter les lacunes de Transformer - un réseau neuronal à l'ancienne qui fonctionne sur le principe de comparer les mots d'un paragraphe les uns avec les autres pour comprendre la relation entre eux.
Cependant, comme il fonctionne selon une méthode de couplage-combinaison, Transformer occupera beaucoup d'espace de données au cas où il devrait traiter des textes de plus de quelques milliers de mots. Cette faiblesse rend l’utilisation de Transformer pour gérer de longs articles ou un livre extrêmement irréalisable.
Google a développé Reformer pour résoudre les deux principaux problèmes mentionnés ci-dessus : la capacité de traiter des documents longs et la consommation de mémoire de l'ancien modèle.
Pour résoudre le premier problème, le nouveau modèle de Google utilise une méthode appelée LSH (locality-sensitive-hashing). Autrement dit, au lieu de comparer tous les mots ensemble comme auparavant, le nouveau modèle utilisera une fonction de hachage pour réunir des mots similaires dans un groupe, puis comparera les mots au sein du même groupe ou au sein de groupes à proximité, contribuant ainsi à limiter la surcharge de traitement et au en offrant en même temps la possibilité de gérer de plus grandes quantités de texte.
Pour résoudre le problème de consommation de mémoire, les chercheurs utilisent une technique appelée Reversible Residual Network (RevNet). RevNet a été développé à partir de Deep Residual Networks (ResNets) - une technologie qui fonctionne en augmentant les performances à mesure que les réseaux deviennent plus profonds et plus larges. Les RevNets possèdent des couches, où les données de sortie de chaque couche peuvent être reconstruites et utilisées dans une autre couche. Par conséquent, les données de sortie de la plupart des couches n'ont pas besoin d'être stockées en mémoire lors de la rétropropagation.
Pour tester l'efficacité de ce modèle, Google a fourni à Reformer quelques petites images recadrées et a créé une photo plein format à partir de là.
Les ingénieurs de Google affirment que le nouveau modèle peut facilement traiter un livre entier avec une grande précision, ouvrant ainsi la voie au traitement de texte à grande échelle.
Forefront AI est une plateforme en ligne qui permet aux entreprises et aux particuliers d’accéder à 5 LLM (grands modèles de langage) différents : GPT-3.5, GPT-4, Claude Instant 1.2, Claude 2 et Forefront.
Découvrez comment créer des modèles personnalisés dans DocuSign pour faciliter vos processus de signature numérique. Apprenez à configurer un document pour vos fournisseurs et à gérer les messages.
Les applications d'IA comme celles développées par HeHealth révolutionnent le diagnostic des maladies sexuellement transmissibles, offrant des solutions pratiques et confidentielles.
L'organisme qui rassemble les organismes nationaux de surveillance de la vie privée en Europe a annoncé jeudi avoir créé un groupe de travail dédié à ChatGPT.
Des scientifiques danois et américains ont collaboré pour développer un système d'IA appelé life2vec, capable de prédire l'heure de la mort humaine avec une grande précision.
Un algorithme d’IA appelé Audioflow peut écouter le bruit de la miction pour identifier efficacement et avec succès les flux anormaux et les problèmes de santé correspondants du patient.
En raison du vieillissement et du déclin de la population japonaise, le pays manque d'un nombre important de jeunes travailleurs, notamment dans le secteur des services.
Un utilisateur de Reddit nommé u/LegalBeagle1966 est l'un des nombreux utilisateurs amoureux de Claudia, une fille ressemblant à une star de cinéma qui partage souvent des selfies séduisants, même nus, sur cette plateforme.
Microsoft vient d'annoncer que 12 autres entreprises technologiques participeront à son programme AI for Good.
L'utilisateur @mortecouille92 a mis à profit la puissance de l'outil de conception graphique Midjourney et a créé des versions réalistes uniques de personnages célèbres de Dragon Ball comme Goku, Vegeta, Bulma et l'aîné Kame. .
