Erfolgreiche Entwicklung eines KI-Modells, das Sprache in körperliche Bewegungen übersetzen kann

Erfolgreiche Entwicklung eines KI-Modells, das Sprache in körperliche Bewegungen übersetzen kann

KI-Forscher der Carnegie Mellon University, Pennsylvania, USA, haben kürzlich erfolgreich ein tiefes KI-Modell entwickelt, das in der Lage ist, Sprachen (Text, Stimme) mit relativ hoher Präzision in Bewegungen und Gesten der Physik zu übersetzen.

Dieses KI-Modell trägt den Namen Joint Language-to-Pose (JL2P) und ist als Methode bekannt, die bei Verwendung die Möglichkeit bietet, natürliche Sprache mit effektiven 3D-Posensimulationsmodellen zu kombinieren. Praktische Anwendung in naher Zukunft.

Erfolgreiche Entwicklung eines KI-Modells, das Sprache in körperliche Bewegungen übersetzen kannDieses KI-Modell trägt den Namen Joint Language-to-Pose (JL2P).

Die Fähigkeit von JL2P, Körperhaltung und Gesten im 3D-Raum zu analysieren und zu simulieren, wird durchgängig durch End-to-End-Programme trainiert – ein leistungsstarker und effektiver Programmieransatz. Das Trainingsprogramm wird in einzelne Sequenzen „zerlegt“. Das KI-Modell muss kurze, einfache Aufgaben erledigen, bevor es sich komplexeren Zielen zuwenden darf.

Derzeit sind die Animationssimulationsfunktionen von JL2P auf rudimentäre Bilder (bestehend aus einfachen geraden Linien) beschränkt, aber die Fähigkeit, menschenähnliche Bewegungen zu simulieren, basiert auf der Sprache des Modells. Diese KI-Visualisierung ist relativ genau und intuitiv. Das Team glaubt, dass Modelle wie JL2P eines Tages Robotern dabei helfen könnten, reale physische Aufgaben ähnlich wie Menschen auszuführen, oder bei der Erstellung virtueller animierter Charaktere für Videospiele und Filme helfen könnten.

Erfolgreiche Entwicklung eines KI-Modells, das Sprache in körperliche Bewegungen übersetzen kannDie Animationssimulationsmöglichkeiten von JL2P sind auf rudimentäre, einfache Bilder beschränkt

Eigentlich ist die Idee, ein KI-Modell mit der Fähigkeit zu entwickeln, Sprache in körperliche Bewegungen zu übersetzen, nicht neu. Bevor die Carnegie Mellon University JL2P einführte, entwickelte Microsoft außerdem erfolgreich ein Modell namens ObjGAN mit der Aufgabe, aus sprachlichen Anmerkungen Bilder und Storyboards (ein Board, das die Geschichte, die Sie in Bildform erzählen möchten, skizziert) zu skizzieren. Ein anderes KI-Modell von Disney ist ebenfalls weithin für seine Fähigkeit bekannt, die Wörter im Drehbuch zum Erstellen von Storyboards zu verwenden. Oder am bekanntesten ist Nvidias GauGAN-Modell , das ein mit einem Trackpad oder Microsoft Paint erstelltes Gekritzel in intelligente digitale Skizzen mit extrem hoher Ästhetik verwandeln kann.

Zurück zu JL2P: Dieses KI-Modell kann nun eine Reihe einfacher bis relativ komplexer Bewegungen sehr genau simulieren, wie etwa Gehen oder Laufen, das Spielen von Musikinstrumenten (wie Gitarre oder Geige), das Befolgen vorgegebener Anweisungen, Richtung (links oder rechts) oder Geschwindigkeit Steuerung (schnell oder langsam).

  • Erfolgreiche Entwicklung einer „imaginären Tastatur“ für Touchscreens und VR, unterstützt durch KI

Erfolgreiche Entwicklung eines KI-Modells, das Sprache in körperliche Bewegungen übersetzen kannJL2P kann jetzt eine Reihe von Bewegungen, die von einfach bis relativ komplex reichen, sehr genau simulieren

„Wir haben das Modell zunächst optimiert, um zwei Zeitschritte basierend auf vollständigen Sätzen vorherzusagen. Diese einfache Aufgabe kann dem KI-Modell dabei helfen, zu lernen, sehr kurze Haltungssequenzen zu simulieren, etwa Beinbewegungen beim Gehen, Handbewegungen beim Winken oder Körperhaltung und Körperhaltung beim Verbeugen. Sobald JL2P gelernt hat, dieselben Gesten mit hoher Genauigkeit zu simulieren, fahren wir mit der nächsten Stufe im Lehrplan fort. Dem Modell stehen nun zwei (Anzahl) Posen zur gleichzeitigen Vorhersage zur Verfügung“, sagte das Forschungsteam der Carnegie Mellon University.

Erfolgreiche Entwicklung eines KI-Modells, das Sprache in körperliche Bewegungen übersetzen kannSimuliert die Laufhaltung einer normalen Person

Details zur Funktionsweise von JL2P sowie typische „Funktionen“ wurden erstmals in einem wissenschaftlichen Artikel vorgestellt, der am 2. Juli auf der Website arXiv.org veröffentlicht wurde, und werden voraussichtlich von der Autoren- und Forschergruppe von vorgestellt am CMU Chaitanya Ahuja Institute of Language Technology am 19. September auf der Bühne der International Conference on 3D Vision, die in Quebec, Kanada, stattfindet.

Das Forschungsteam behauptet zuversichtlich, dass JL2P Körperhaltung und körperliche Bewegungen um 9 % genauer simulieren kann als ein anderes „erstklassiges“ KI-Modell, das 2018 von den KI-Experten von SRI International entwickelt wurde.

Erfolgreiche Entwicklung eines KI-Modells, das Sprache in körperliche Bewegungen übersetzen kannJL2P simuliert die menschliche Aktion, mit einer Hand aufzustehen

Von JL2P erstelltes Produkt, nachdem es mit dem KIT-Motion-Language-Datensatz (KIT Motion-Language Dataset) trainiert wurde.

Erfolgreiche Entwicklung eines KI-Modells, das Sprache in körperliche Bewegungen übersetzen kannJL2P simuliert das Springen über Hindernisse und das Laufen

Dieser Mining-Datensatz wurde erstmals 2016 von Performance Humanoid Technologies, Deutschland, eingeführt und ist eine Kombination aus menschlicher Bewegung mit Beschreibungen in natürlicher Sprache, die 11 Stunden kontinuierlicher Bewegung nacheinander abbildet. Personen, aufgezeichnet in mehr als 6.200 englischen Sätzen mit jeweils etwa 8 Wörtern lang.


Die ChatGPT-Task Force wird von Europa eingerichtet

Die ChatGPT-Task Force wird von Europa eingerichtet

Das Gremium, das die nationalen Datenschutzbeauftragten Europas vereint, gab am Donnerstag bekannt, dass es eine Task Force für ChatGPT eingerichtet habe

KI sagt den Zeitpunkt des menschlichen Todes mit einer Genauigkeit von 78 % voraus

KI sagt den Zeitpunkt des menschlichen Todes mit einer Genauigkeit von 78 % voraus

Dänische und amerikanische Wissenschaftler haben gemeinsam ein KI-System namens life2vec entwickelt, das den Zeitpunkt des menschlichen Todes mit hoher Genauigkeit vorhersagen kann.

KI sagt Harnwegserkrankungen allein durch das Geräusch des Urins voraus

KI sagt Harnwegserkrankungen allein durch das Geräusch des Urins voraus

Ein KI-Algorithmus namens Audioflow kann auf das Geräusch des Urinierens hören, um abnormale Urinflüsse und entsprechende Gesundheitsprobleme des Patienten effektiv und erfolgreich zu identifizieren.

Barkeeper aufgepasst: Dieser Roboter mixt einen Cocktail in nur 1 Minute

Barkeeper aufgepasst: Dieser Roboter mixt einen Cocktail in nur 1 Minute

Japans alternde und schrumpfende Bevölkerung hat dazu geführt, dass dem Land eine erhebliche Zahl junger Arbeitskräfte fehlt, insbesondere im Dienstleistungssektor.

Hunderte Menschen waren desillusioniert, als sie erfuhren, dass das Mädchen, das sie liebten, ein Produkt der KI war

Hunderte Menschen waren desillusioniert, als sie erfuhren, dass das Mädchen, das sie liebten, ein Produkt der KI war

Ein Reddit-Benutzer namens u/LegalBeagle1966 ist einer von vielen Benutzern, die in Claudia verliebt sind, ein Mädchen wie ein Filmstar, das auf dieser Plattform oft verführerische Selfies, sogar nackte, teilt.

12 weitere potenzielle Unternehmen treten der „AI Alliance“ von Microsoft bei.

12 weitere potenzielle Unternehmen treten der „AI Alliance“ von Microsoft bei.

Microsoft hat gerade angekündigt, dass zwölf weitere Technologieunternehmen an seinem AI for Good-Programm teilnehmen werden.

Die KI erschafft Dragon Ball-Charaktere aus Fleisch und Blut

Die KI erschafft Dragon Ball-Charaktere aus Fleisch und Blut

Benutzer @mortecouille92 hat die Leistungsfähigkeit des Grafikdesign-Tools Midjourney genutzt und einzigartig realistische Versionen berühmter Dragon Ball-Charaktere wie Goku, Vegeta, Bulma und Elder Kame erstellt. .

7 Techniken zur Verbesserung von ChatGPT-Antworten

7 Techniken zur Verbesserung von ChatGPT-Antworten

Durch einfaches Hinzufügen einiger Bedingungen oder Einrichten einiger Szenarien kann ChatGPT relevantere Antworten auf Ihre Fragen geben. Schauen wir uns einige Möglichkeiten an, wie Sie die Qualität Ihrer ChatGPT-Antworten verbessern können.

Bewundern Sie die wunderschönen Gemälde, die von künstlicher Intelligenz gezeichnet wurden

Bewundern Sie die wunderschönen Gemälde, die von künstlicher Intelligenz gezeichnet wurden

Midjourney ist ein künstliches Intelligenzsystem, das aufgrund seiner äußerst schönen Gemälde, die denen echter Künstler in nichts nachstehen, in letzter Zeit in der Online-Community und der Künstlerwelt für „Fieber“ gesorgt hat.

Dieses KI-Modell war einer der ersten „Experten“, der Neuigkeiten über den Ausbruch der Wuhan-Lungenentzündung entdeckte.

Dieses KI-Modell war einer der ersten „Experten“, der Neuigkeiten über den Ausbruch der Wuhan-Lungenentzündung entdeckte.

Tage nachdem China den Ausbruch bekannt gegeben hatte, konnte das KI-System von BlueDot mit Zugriff auf weltweite Flugscheinverkaufsdaten die Ausbreitung des Wuhan-Corona-Virus nach Bangkok, Seoul, Taipeh und Tokio weiterhin genau vorhersagen.