언어를 신체 움직임으로 변환할 수 있는 AI 모델을 성공적으로 개발했습니다.

미국 펜실베이니아주 카네기멜론대학교 AI 연구진은 최근 언어(텍스트, 음성)를 움직임과 몸짓, 물리학으로 비교적 높은 정밀도로 번역할 수 있는 딥 AI 모델 개발에 성공했다.

이 AI 모델은 JL2P(Joint Language-to-Pose)라고 불리며, 활용 시 자연어와 효과적인 3D 포즈 시뮬레이션 모델을 결합하는 능력을 제공하는 방식으로 알려져 있으며, 가까운 미래에 실용화될 예정이다.

• DeepMind의 AI 모델은 YouTube 클립을 보는 것만으로도 동영상 제작 방법을 학습할 수 있습니다.

이 AI 모델의 이름은 JL2P(Joint Language-to-Pose)입니다.

3D 공간에서 자세와 제스처를 분석하고 시뮬레이션하는 JL2P의 능력은 프로그래밍에 대한 강력하고 효과적인 접근 방식인 엔드투엔드 프로그램을 통해 철저하게 훈련됩니다. 훈련 프로그램은 개별 시퀀스로 "세분화"됩니다. AI 모델은 더 복잡한 목표로 넘어가기 전에 짧고 간단한 작업을 완료해야 합니다.

현재 JL2P의 애니메이션 시뮬레이션 기능은 기본 이미지(단순한 직선으로 구성)에 국한되어 있지만 인간과 유사한 움직임을 시뮬레이션하는 기능은 모델 언어를 기반으로 하며 이러한 AI 시각화는 비교적 정확하고 직관적입니다. 팀은 JL2P와 같은 모델이 언젠가 로봇이 인간과 유사한 실제 물리적 작업을 수행하도록 돕거나 비디오 게임 및 영화용 가상 애니메이션 캐릭터를 만드는 데 도움을 줄 수 있다고 믿습니다.

• 인간처럼 추론하고 학습할 수 있는 AI칩을 활용한 자주자전거 개발 성공

JL2P의 애니메이션 시뮬레이션 기능은 초보적이고 단순한 이미지로 제한됩니다.

사실 언어를 신체의 움직임으로 번역하는 능력을 갖춘 AI 모델을 개발한다는 아이디어는 새로운 것이 아니다. Carnegie Mellon University가 JL2P를 도입하기 전에 Microsoft는 언어 주석에서 이미지와 스토리보드(이미지 형식으로 전달하려는 스토리를 스케치하는 보드)를 스케치하는 작업을 통해 ObjGAN이라는 모델을 성공적으로 개발했습니다. 또 다른 디즈니 AI 모델도 스크립트의 단어를 사용하여 스토리보드를 만드는 능력으로 널리 알려져 있습니다. 또는 가장 유명한 것은 Nvidia의 GauGAN 모델 입니다 . 이 모델은 트랙패드나 Microsoft Paint를 사용하여 만든 낙서를 매우 뛰어난 미적 감각을 갖춘 스마트 디지털 스케치로 바꿀 수 있습니다.

JL2P로 돌아가면, 이 AI 모델은 이제 걷기나 달리기, 악기 연주(예: 기타나 바이올린), 방향(왼쪽 또는 오른쪽) 또는 속도에 따라 단순한 것부터 상대적으로 복잡한 것까지 다양한 움직임을 매우 정확하게 시뮬레이션할 수 있습니다. 제어(빠르거나 느림).

• AI 기반 터치스크린·VR용 '상상 키보드' 개발 성공

JL2P는 이제 단순한 것부터 상대적으로 복잡한 것까지 다양한 움직임을 매우 정확하게 시뮬레이션할 수 있습니다.

“우리는 먼저 완전한 문장을 기반으로 두 가지 시간 단계를 예측하기 위해 모델을 최적화했습니다. 이 간단한 작업은 AI 모델이 걷는 동안의 다리 움직임, 흔드는 동안의 손 움직임, 절할 때의 신체 자세 및 자세와 같은 매우 짧은 자세 시퀀스를 시뮬레이션하는 방법을 학습하는 데 도움이 될 수 있습니다. JL2P가 동일한 제스처를 높은 정확도로 시뮬레이션하는 방법을 학습하면 커리큘럼의 다음 단계로 넘어갑니다. 이제 모델에는 동시에 예측할 수 있는 두 가지 포즈가 제공됩니다.”라고 Carnegie Mellon University 연구팀은 말했습니다.

• AI는 이미 포커 방법을 알고 있으며 6인 게임에서 세계 최고를 이겼습니다.

일반 사람의 달리기 자세를 시뮬레이션합니다.

JL2P의 작동 모드와 전형적인 "작업"에 대한 세부 사항은 7월 2일 arXiv.org 웹사이트에 발표된 과학 논문에서 처음으로 제시되었으며, 앞으로 발표될 것으로 예상됩니다. 9월 19일 캐나다 퀘벡에서 열리는 3D 비전에 관한 국제 회의 무대에서 CMU Chaitanya Ahuja 언어 기술 연구소.

연구팀은 JL2P가 SRI International의 AI 전문가가 2018년에 개발한 또 다른 "최고 수준" AI 모델보다 자세와 신체 움직임을 9% 더 정확하게 시뮬레이션할 수 있다고 자신있게 주장합니다.

• 삼성의 딥페이크는 어둠의 수도사 라스푸틴을 진짜로 노래하게 만들 수 있다

JL2P는 한 손으로 일어서는 인간의 동작을 시뮬레이션합니다.

KIT 모션 언어 데이터 세트(KIT Motion-Language Dataset)로 학습한 후 JL2P에서 만든 제품입니다.

JL2P는 장애물을 뛰어넘고 달리는 동작을 시뮬레이션합니다.

독일의 Performance Humanoid Technologies가 2016년에 처음 소개한 이 마이닝 데이터세트는 인간의 움직임과 자연어 설명의 조합으로, 11시간의 지속적인 움직임을 한 번에 하나씩 매핑합니다. 긴.