삼성의 딥페이크는 어둠의 수도사 라스푸틴을 진짜로 노래하게 만들 수 있다

영국 케임브리지에 위치한 삼성 AI 연구소 연구원들은 런던 임페리얼 칼리지(Imperial College London)의 컴퓨터 과학 전문가들과 협력하여 2D 이미지의 얼굴 움직임을 애니메이션화하고 완벽하게 동기화할 수 있는 적대 네트워크(GAN)를 만드는 프로젝트에 참여했습니다. 사람의 목소리가 포함된 오디오 클립이 포함되어 있습니다.

입술과 입의 움직임을 동기화하는 것 외에도 이 인공 지능 모델은 눈썹 움직임과 눈 깜박임을 조정하여 생성된 얼굴이 더욱 자연스럽게 보이도록 할 수 있습니다. 그러나 가장 중요한 작업은 여전히 ​​입술과 입을 방출되는 소리와 동기화하는 것입니다. 오늘날 이 단계는 사후 편집 중에 또는 컴퓨터 그래픽을 사용하여 수행되는 경우가 많습니다.

• AI 모델은 항공, 지상 데이터를 활용해 관찰하기 어려운 지역을 탐색한다.

삼성 AI 센터

연구원들은 이 모델이 가장 자연스러운 방식으로 만화 캐릭터의 말하는 얼굴을 자동으로 생성하여 낮은 대역폭의 화상 통화에서 가시성을 향상시키는 데 사용될 수 있다고 믿고 있습니다.

유튜브에 공유된 연구 사례 중 가장 인상적인 것은 러시아의 악명 높은 신비주의자 라스푸틴(1869~1919)이 여성 가수의 노래 헤일로(Halo) 아티스트 비욘세(Beyoncé)를 '연주'하는 모습을 묘사한 영상이다. 고인이 된 래퍼 2Pac과 Biggie가 자신의 작품을 커버하거나 위대한 과학자 Albert Einstein이 과학의 공통 언어에 대한 인용문을 읽는 등 다른 동영상도 매우 주목할 만합니다.

• Nvidia의 STEAL AI는 컴퓨터 비전 모델에 대한 더 나은 추론 지원을 제공합니다.

어둠의 수도사 라스푸틴이 Halo라는 노래를 부르고 있습니다.

그 밖에도 흥미로운 동영상 예시가 많이 있습니다. https://sites.google.com/view/facial-animation/home 에서 참고하실 수 있습니다.

위 연구 소식은 모스크바의 또 다른 삼성 AI 연구소가 모델을 사용하지 않고 인공지능을 활용해 2D 애니메이션을 만드는 프로젝트를 선보인 지 불과 한 달 만에 나왔다. 이 기술은 더욱 설득력 있는 디지털 아바타나 딥페이크 이미지를 만드는 데 사용될 수 있는 것으로 알려져 있습니다.

이미지, 비디오 등 디지털 미디어를 스푸핑하기 위해 GAN 네트워크를 사용하는 것은 최근 전 세계적으로 일반 AI 분야에서 주목할만한 추세로 떠올랐습니다. 연초부터 현재까지 ICML, CVPR 등 인공지능 컨퍼런스와 기타 주목할만한 행사의 프레임워크 내에서 많은 정교한 GAN 모델이 소개되었습니다.

• AI 분야의 천재 5인이 손을 잡고 놀라운 로봇을 만든다

라스푸틴과 같은 가수 비욘세

그중에서도 애플리케이션 잠재력이 매우 높은 주목할만한 모델로는 MS Paint 스타일의 낙서를 예술적인 "걸작"으로 바꿀 수 있는 Nvidia의 GauGAN이 있습니다. 또는 각 이미지에서 누락된 데이터의 양을 대체하기 위해 한국 연구자들이 만든 방법인 CollaGEN도 있습니다.

딥페이크 도구가 다양한 분야에 기여할 수 있는 잠재력은 엄청나지만, 이로 인해 발생하는 잠재적 위험은 과학자들에게도 골칫거리입니다.

실제로 이 기술은 허위 동영상 또는 더 나쁜 포르노 영화에서 유명한 사람(배우, 가수, 모델...)을 사칭하는 데 종종 악용됩니다. 많은 사람들이 이를 사실이라고 믿었기 때문에 이 기술이 강한 충격을 주었다고 볼 수 있다. 이는 위조된 사람의 명예와 존엄에 영향을 미칠 뿐만 아니라 여론을 선동하여 많은 논란을 불러일으키고 심지어 더 큰 갈등을 야기합니다.

• 일본의 인공지능이 초현실적인 가상 패션모델을 만들어냈습니다.

Deepfake에는 많은 잠재적 위험이 포함되어 있습니다.

아마도 미래에는 과학자들과 국가 관리 기관들이 함께 모여 이 놀라운 기술을 지역 사회를 위해 적절하고 안전하게 사용하기 위한 협약을 찾아야 할 것입니다.