[생성형AI]나만의 아바타 생성

안녕하세요 미니멀헬퍼입니다.

 

오늘은 그동안 설명드렸던 생성형AI 프로그램을 활용한 종합 과정에 대해 설명드리겠습니다. 

생성형AI란 텍스트, 이미지, 음성, 영상 등 학습한 데이터를 바탕으로 사용자 요청에 따라 필요한 내용을 생성하여 제공하는 형태입니다.

따라서 내가 필요한 내용을 각각의 형태에 맞게 생성 및 융합하여 활용이 가능합니다.

이번 시간에는 나의 인사말을 대신 말해주는 아바타를 생성하여 텍스트와 이미지, 목소리와 영상까지 모두 인공지능 프로그램을 활용하여 제작해보도록 하겠습니다.

 

먼저 첫 번째로 인공지능 목소리를 생성하기 위해 '클로바더빙'으로 접속합니다. 클로바더빙은 네이버에서 만든 더빙프로그램으로 인공지능 더빙을 활용하여 TTS를 실행해줍니다.

무료로 시작하기를 통해 무료 버전으로 활용할 수 있으며, 더빙목소리로 변환할 수 있는 문자 수가 정해져 있습니다.

새 프로젝트를 생성합니다.

메인 화면에서 보면 각 더빙 목소리를 미리 듣고 선택할 수 있습니다. 파란색 바탕은 남자 목소리, 분홍색은 여자 목소리, 초록색은 아이 목소리 등 성별, 연령, 국적에 따라 취향에 따라 목소리를 선택할 수 있습니다.

다음은 더빙할 내용을 넣기 위해 텍스트를 생성해야 하는데, 저 같은 경우는 강의 과정을 소개하는 인사말을 생성하였습니다.

챗GPT를 활용하여 필요한 주제에 대한 스크립트를 생성합니다.

질문할 때 역할을 부여하여 특정 임무를 준다면 다음과 같이 [강사 이름]처럼 그 역할에 최적화된 스크립트 작성을 도와줍니다.

생성한 텍스트를 복사하여 클로바더빙 입력창에 붙여넣기 합니다. 여기에서 부분 편집할 수 있습니다.

더빙 추가를 클릭하여 입력한 텍스트를 더빙 목소리로 확인할 수 있습니다.

프로젝트 저장 후 다운로드를 하여 더빙 목소리 음원 파일을 다운로드 할 수 있습니다.

더빙과 효과음이 합쳐진 음원 파일을 MP3 파일로 다운로드 합니다.

 

다음은 더빙 목소리를 전달하기 위한 아바타의 외형 이미지 생성을 위해 미드저니로 이동합니다.

아바타의 이미지는 기본적으로 더빙 목소리의 성별, 연령, 국적 등을 고려하여 적절한 이미지를 매칭해야 합니다.

미드저니는 후보 4개의 이미지를 생성해준 뒤 추가적으로 업스케일과 변인을 통해 추가 생성이 가능합니다.

재생성을 통해 마음에 드는 이미지가 나올 때까지 해봐도 좋습니다.

변인을 적용하면 같은 사진 같으면서도 디테일한 부분이 다릅니다.

최종적으로 마음에 드는 이미지를 생성한 후,

다운로드 받을 수 있습니다.

마지막으로 더빙목소리와 생성한 이미지를 합쳐 영상 형태로 제작해주기 위해 D-ID 스튜디오로 이동합니다.

이미지의 이목구비와 머리 움직임을 인식하여 고정 형태의 이미지를 움직이는 영상 형태로 생성해주는 프로그램입니다.

구글 계정 연동 후 비디오 생성 메뉴를 클릭합니다.

우측 사이드에서 음성 오디오를 업로드합니다. 클로바더빙에서 다운로드 받은 파일을 업로드합니다.

MP3 파일을 업로드 한 후 이미지를 업로드 할 때는 다음과 같이 특정 기준에 부합하는지 확인할 필요가 있습니다.

기준에 부합한다면 다음과 같이 업로드가 완료됩니다.

이미지와 음성 파일 업로드 후 우측 상단에 비디오 생성을 클릭합니다.

D-ID에서는 기본 25 크레딧을 제공하기 때문에 무료 영상을 3~4번정도 생성할 수 있습니다.

완성된 비디오 파일은 다운로드 받고 공유할 수 있습니다.

 

이렇게 완성한 영상을 확인합니다. 입모양이 어색한 부분이 있지만, 움직이지 않던 이미지가 고개도 좌우로 움직이는 것을 보면 꽤나 신기한 영상입니다.

입모양과 목소리만으로 내용을 온전하게 전달하기 어려울 수 있기 때문에 음성에 따른 자막을 생성해주기 위해 자막 생성 프로그램 VREW를 사용합니다.

VREW 홈페이지에 접속하면 무료 다운로드 프로그램을 선치하여 자막 편집을 진행할 수 있습니다. 웹 상에서 체험하기를 통해 진행할 경우 자막 편집 생성은 가능하지만, 편집된 영상을 다운로드 받을 수는 없습니다.

새로 만들기를 클릭합니다.

영상 파일을 업로드 합니다. VREW 프로그램에서는 클로바더빙과 같이 인공지능 목소리를 생성할 수 있으며, 텍스트로 비디오 만들기 등 생성형 AI 프로그램 서비스를 제공하고 있습니다.

이렇게 업로드 된 영상에 인식된 자막이 삽입됩니다.

인공지능 인식 내용에 따라 완벽하게 작성되지 않는 부분도 있기 때문에 잘못된 부분을 수정할 필요가 있습니다.

 

여기까지 생성형AI 프로그램을 활용한 아바타 생성 과정에 대해 설명드렸습니다.

인공지능 프로그램을 활용하여 생성할 수 있는 것은 이미 한계가 없을 정도로 무궁무진한 상황입니다. 그렇기 때문에 인공지능이 발전에 따른 위협과 우려를 걱정하는 것도 필요하지만 지금의 인공지능 프로그램을 어떻게 효율적으로 활용할 것인지에 대해 생각하고 고민해보는 것이 중요하겠습니다.

 

감사합니다.

 

https://www.youtube.com/watch?v=I2MQWdZ12fQ