#번역글 - Fake OBAMA
'진짜같은 가짜 오디오와 비디오'
지난해 워싱턴대 연구 프로젝트에서 미국의 전 대통령인 버락 오바마의 과거 오디오와 비디오 클립을 이용하여 실제와 매우 유사한 가짜 영상을 만들 수 있는 인공 지능 소프트웨어를 개발했습니다. 이 기술은 과거 오바마의 오디오 파일을 가져와서 이를 실제와 같은 입모양의 움직임으로 변환한 다음, 이런 움직임을 기존 비디오로 이식하는 과정을 거쳐 오바마가 실제로 하지 않았던 말들을 오바마가 하는 것처럼 보여줍니다. 워싱턴 대학의 과학자들은 사람의 단순 이미지 분석만으로도 디지털 도플갱어를 만들 수 있다고 밝혔습니다. 톰 행크스와 아놀드 슈왈츠제너거같은 연예인들 및 조지 W부시나 버락 오바마 같은 정치인들이 디지털 도플갱어의 대상이 될 수 있다고 합니다. 삼성, 구글, 페이스북, 인텔 그리고 워싱턴 대학이 해당 연구에 자금을 지원했습니다. 연구의 결과는 2017년 8월 2일 미국 로스앤젤레스에서 열리는 SIGGRAPH 컨퍼런스에서 발표되었습니다. 관련 연구자들은 이 기술이 디지털 모델이 가상 현실이나 증강 현실 애플리케이션을 현실화하는 데 중요한 역할을 할 수도 있다고 말합니다.
왜 오바마를 이 프로젝트의 대상으로 뽑았을까?
오바마는 해당 인공지능 관련 프로젝트에서 가장 적합한 공인으로 선정되었습니다. 이는 버락 오바마의 비디오와 음성을 온라인 플랫폼에서 매우 쉽게 접할 수 있기 때문입니다. 연구팀은 수많은 그의 영상을 가지고 그들의 소프트웨어를 테스트했습니다. 연구자들은 오바마가 말을 할 때 그의 입술과 치아, 그리고 입과 턱 주위에 주름살과 같은 얼굴 표정의 요소들이 어떻게 움직이는지를 분석하기 위해 수백만 프레임들을 아주 작은 신경망으로 분석했다고 합니다.
인공지능 소프트웨어, 어떻게 작용할까?
기본적으로 인공신경 네트워크는 대게 ‘인공 뉴런’이라는 데이터를 전송 받는 구성 요소들로 이루어져 있습니다. 이 뉴런들은 사람들의 얼굴을 식별하거나 말을 인식하고, 뉴런 사이의 연결 패턴과 뉴런의 상호작용 방식을 변화시키며 함께 움직이게 됩니다. 인공신경 네트워크는 시간이 지나면서 어떤 패턴이 문제 해결에 적합한지를 스스로 배우며 네트워크 문제를 해결하는데, 이는 인간의 두뇌를 모방한 인공 지능 전략이라고 할 수 있습니다. 그러나 해당 연구는 여기서 더 나아가 어떤 입 모양이 어떤 소리를 내는지 스스로 깨치는 신경망을 포함하고 있습니다. 이로 인해 연구자들은 다양한 소리가 포함된 오디오 클립들을 가지고 비디오의 원본 소리파일을 더빙할 수 있게 되었습니다. 그리고 연구진들은 새로운 음성 클립과 상응하는 입 모양을 따와 이후 영상에 자연스럽게 녹아들도록 함으로써 오바마가 이전에 말했을 법한 말들을 립싱크로 영상에 합성했습니다.
연구진들은 과거에 이미 어떤 입 모양이 어떤 소리들과 연관이 있는지 그 관련성을 알아보기 위해 사람들이 문장을 반복해서 말하는 것을 하나 하나 촬영하고 비교하는 프로젝트를 실행하였습니다. 이 과정은 엄청난 비용과 시간이 필요한 반면, 이 새로운 소프트웨어는 이미 인터넷상에 존재하는 몇 시간 분량의 영상으로 소프트웨어 스스로 학습할 수 있다는 중요한 특징이 있습니다.
여기서 주목할 만한 점은 입 모양과 발화 사이의 관계가 대부분의 사람들에게도 적용될 수 있다는 것입니다. 쉽게 말해서, 오바마와 다른 공인들로부터 학습된 신경 네트워크가 다양한 일반 사람들에게도 적용될 수 있다는 것이죠.
인공지능 기반 소프트웨어의 적용과 관련된 우려
일단 많은 사람들이 인공지능을 사용할 수 있게 되면 이러한 소프트웨어는 오용될 소지가 있습니다. 이 기술을 이용하면 가짜 영상 혹은 장면을 만드는 것이 매우 간단해지게 됩니다. 따라서 이 기술을 엉뚱한 사람에게 맡기게 되면 정말 무서운 일이 생길 수 있습니다. 이점을 염두에 둔 워싱턴 대학의 연구진들은 오바마 스스로가 말하지 않은 것을 오바마의 입 모양에 넣은 영상은 만들지 않도록 했습니다.
해당 소프트웨어는 얼마나 유용할까?
이 프로젝트의 공동 저자인 Ira Kemelmacher-Schilzerman는 이 소프트웨어를 화상회의에 이용할 수 있다고 합니다. 원격으로 진행되는 영상 피드는 종종 멈추기도 하고 버벅이며 해상도가 매우 낮은 반면, 대부분의 음성 피드는 작용하기 때문입니다.
따라서 이 소프트웨어를 적용하여 화상 회의에서 사람들이 말을 하면 해당 소프트웨어가 사람들이 대화하는 동안 그들이 어떻게 보일지를 재구성하는 데에 이용될 수 있다는 것입니다. 또한 해당 소프트웨어는 사람들이 가상 현실이나 증강현실 어플리케이션의 디지털 인격체들과 대화할 수 있도록 도와줄 수도 있습니다. 더 나아가 이 기술은 미래에 가짜 비디오와 진짜 비디오를 판별하는 데 이용될 수 있습니다. 일반 사람들의 눈에는 비디오의 진위 여부가 명확히 보이지 않을 수 있기 때문에, 비디오가 가짜인지 진짜인지를 판단하는 것이 어려울 수 있습니다. 하지만, 입 모양의 애매함과 다양한 영상들을 비교할 수 있는 인공 지능 기반 프로그램은 영상의 진위여부를 명확히 구분할 수 있겠죠.
해당기술의 미래 발전 가능성
이 프로젝트는 동일 인물의 수많은 비디오에 대한 학습과 포토 리얼리즘을 목표로 하며, 음성 클립으로부터 립싱크가 가미된 진짜 같은 영상이 어떻게 만들어지는지를 보여줍니다. 앞에서 논의됐듯이, 이러한 프로젝트들은 미래에 더 많은 흥미로운 방향으로 발전할 여지가 있습니다. 일반인들은 이 기술의 적용을 받기 어렵다는 점이 한계로 지적되기도 합니다. 일반인들은 공인들처럼 인터넷상에 데이터가 많이 없기 때문입니다. 하지만 학습된 구강 모양과 발화 사이의 연관성은 모든 사람에게 다 해당되는 사항이기 때문에, 추가적으로는 데이터가 없는 일반인들의 경우에도 오바마의 연구에 사용된 학습 네트워크를 활용해 쉽게 재훈련시킬 수 있을 것입니다.
앞으로 이 시스템이 더 발전되면, 다양한 사람들의 영상으로부터 단 하나의 보편적인 네트워크를 훈련시키는 것이 가능하게 될 것입니다. 그리고 이 보편적인 네트워크를 바탕으로 개별 발화자에 맞추어 조절되는 것도 가능해질 것입니다. 다시 말해, 이 인공지능에 기반을 둔 시스템이 사람들의 영상 샘플로 채워지면서 그 사람에게 맞춘 정확한 입 모양을 만들어 낼 수 있게 될 것입니다.
번역 전 원본 출처 : https://analyticsindiamag.com/whats-latest-buzz-artificial-intelligence-creating-fake-obama/