기본 콘텐츠로 건너뛰기

텍스트를 음성으로 그리고 AI 동영상으로 만들기 - Clipchamp, Free Converter and Hedra 사용해 보기

 텍스트를 음성으로 만들고 그것을 내가 만든 AI로 동영상을 만들자.

이런 동영상을 만드는 것이 무료로 가능한 일이다.  물론 이런 동영상을 상업적 목적으로 사용하여 수입을 바란다면 유료 기능을 사용하여 좀 더 좋은 동영상을 만들면 되는 것이다.  복잡하게 보이지만 한번 만 해보면 생각보다 훨씬 더 쉬운 일이라는 것을 알 수 있다. 초보자도 약간의 시간 만 투자하면 무료로 충분히 가능하다.
Easily make AI Video

1. AI 동영상의 장점

    텍스트를 음성으로 변환하고 AI 캐릭터가 말하게 하는 기술의 장점은 효율성과 창의성이다. 자동화된 음성 합성으로 시간과 비용을 절감할 수 있으며, 다양한 캐릭터와 목소리로 콘텐츠를 제작할 수 있어 적재적소에 맞는 캐릭터와 음성을 적용함으로써 더욱 몰입감 있는 경험을 제공한다. 또한, 다국어 지원이 가능해 글로벌 시장에서도 효과적으로 활용할 수 있다.

2. 활용 분야

  • 콘텐츠 제작과 마케팅
  • 유튜버 와 인플루엔서 의 AI 활용
  • 광고제작 
  • 교육에서는 AI 교사가 학습 자료를 설명하고 교육 
  • 엔터테인먼트에서는 게임 캐릭터나 애니메이션 캐릭터 음성에 적용
  • 고객 서비스에서 상담사 역활
  • 의료, 헬스케어 분야에서도 가상 상담사가 고객 지원으로 활용

3. 텍스트를 이용한 AI 동영상 제작 Process

  • 텍스트를 만든다.  이것은 직접 작성해도 되고 chatGPT 의 힘을 빌려도 된다.
  • 텍스트를 음성으로 만들어 주는 사이트에서 음성을 변환한다. 여기서는 Clipchamp 사이트를 이용 하였다.
  • Clipchamp 사이트에서 만든 파일을 다운 받으면 음성만 받을 수 없고 , 동영상 (mp4) 로 다운을 받게 된다.
  • 동영상(mp4) 파일에서 음성만 추출한다. 여기서는 Free Convert 사이트에서 음성만 추출하였다.
  • Flux 나 stable Diffusion 으로 만든 AI 캐릭터와 음성 파일을 가지고 AI 가 말하는 동영상을 제작한다. 여기서는 Hedra 사이트에서 완성 하였다.

4. Clipchamp 에서 텍스트를 음성으로 변환

  • Clipchamp 에 접속하고 google 계정으로 로그인 한다.
  • 새 동영상 만들기 클릭
  • 좌측 메뉴에서 녹화및제작 클릭
  • 텍스트 음성변환 클릭
  • 우측 텍스트 란에 원하는 글을 입력한 후 저장 클릭하면 만들어 진다.
  • 우측 상단의 내보내기 -> 480p 클릭 하여 동영상을 다운 받으면 된다.

5. 다운 받은 동영상 파일에서 음성 추출

  • Free Convert 사이트 접속 : 여기는 로그인 없이도 단순한 음성 추출이 가능하다.
  • Choose Files 에 동영상을 업로드 한다.
  • Output 에서 Audio->mp3 선택 후 Convert 클릭 하면 된다.
  • Download 를 한다.

6. AI 캐릭터 이미지와 음성파일로 video 제작

  • Hedra에 접속하여 우측 상단에서 Google 계정으로 Sign in 한다.
  • Create 와 Stylize 중에서 Create 는 원하는 케릭터와 음성 파일(또는 Text)로 video 를 만드는 것이고 , Stylize 는 내 video 에 캐릭터를 딥 페이크 하는 것이기 때문에 Create 클릭
  • Generate Audio 는 Text 를 입력하고 hedra의 음성을 선택 하고 AI 캐릭터 이미지를 upload 하여 만드는 것이고, Import audio 는 음성 파일 과 AI 캐릭터 이미지를 upload 하여 만드는 것이다.  둘 모두 사용해 보면 된다. 

7. Text (또는 음성) , AI 캐릭터 이미지를 입력 한 후 Generate video 클릭

음성 파일과 이미지 입력
  • 입력 Text 실례 : "텍스트를 음성으로 변환하고 AI 캐릭터가 말하는 동영상은 다양한 분야에서 활용됩니다. 콘텐츠 제작과 마케팅에서는 가상 유튜버와 광고에 사용되며, 교육에서는 AI 교사가 학습 자료를 설명합니다. 엔터테인먼트에서는 게임 캐릭터나 애니메이션 캐릭터 음성에 적용되며, 고객 서비스, 의료, 헬스케어 분야에서도 가상 상담사나 고객 지원으로 활용됩니다. 이 기술은 다양한 산업에서 창의적인 콘텐츠 제작과 상호작용을 가능하게 합니다."

8. 완성 video

    결과물이 상당히 자연스럽게 말 하는 것을 볼 수 있다. 굳이 음성 파일 없이 Text 를 입력해서 만들어도 되지만, Hedra에서 지원하는 음성이 몇 가지 되지 않아서 내가 마음에 드는 소리를 만들기가 어렵다. 그래서 많은 음성이 지원되는 Clipchamp 에서 음성을 만들어 Hedra 에서 Video 를 만든  것이다. 

결론적으로 

내 마음에 드는 내용을 내가 좋아하는 음성으로 만들어서 내가 만든 멋진 캐릭터가 말하는 동영상을 만들 수 있기 때문에 다방면에서 본인의 얼굴을 직접 드러내지 않고 활동하기를 원하는 많은 사람들에게 좋은 툴이지 않을까 생각해 본다.  순서대로 따라하면 별로 어렵지 않으니 한번 해보길 권 한다.


 

댓글

이 블로그의 인기 게시물

Comfyui Wildcard 사용법 - Stable Diffusion , Flux 에서 쉽게 Random Prompt 로 이미지 만들기

 Comfyui Wildcard 사용법에 대하여 알아본다. Comfyui 로 Stable Diffusion 또는 Flux 로 이미지를 만들 때 Prompt 가 이미지를 결정하는데 매우 중요한 역할을 한다.  영어가 모국어가 아닌 이상 영어로 prompt 를 만드는 것이 참 어려운 일이다. 물론 처음에는 많은 다른 사람들이 사용한 prompt 들을 모방하여 수정하고 사용하는데 이런 일을 하나하나 해 보기가 시간이 많이 걸리고 어렵다.   그래서 Random 으로 prompt 가 만들어 져서 이미지가 생성되고 그 이미지 중에서 마음에 드는 이미지들을 골라 그 이미지의 Prompt들 만을 가지고 보완하고 개선하면 더 편리하고 좋지 않을까 생각이 든다.  그런 식의 Random Prompt 생성이 가능하게 해주는 것이 wildcard 사용이다. Joker는 card game에서 wildcard 이다. 1. Wildcard 의 의미      와일드 카드(Wildcard)란 카드 게임에서 유래되었다.  이런 카드 게임에서 모든 카드의 대용으로 쓸 수 있는 비장의 카드를 와일드 카드라고 한다. 포커나 훌라를 할 때 조커가 이런 역할을 하는데 ,  이 의미가 컴퓨터와 스포츠로 확장되어 사용되는 것이다. 컴퓨터 용어로 쓰일 때는 한 디렉터리 내에 여러 파일이 존재하거나, 파일 이름의 뒷부분을 정확히 알지 못하는 경우에도 사용할 수 있는 명령어를 말합니다. '*'을 넣으면 빠진 것에 어떤 문자열이 있든지 대신할 수 있고,  '?'는 임의의 한 문자에만  대응한다. Comfyui 에서 wildcard 사용은 "--문자열--"  이런 식으로 wildcard 사용 가능한 노드에 prompt 를 입력해 주면 그 노드는 "문자열" 에  해당되는 파일을 찾아 그 파일 내용 중에서 임의의 일부분을 prompt 로 대체해 준다. 2. Wildcard 사...

Flux Controlnet 적용 방법 - Comfyui 에서 사용

Flux에서도 이제 Controlnet 기능을 사용할 수있다. Comfyui 에서 Stable Diffusion 과 같은 방식으로 사용 할 수 있는  controlnet 모델들이 출시 되었다. 1. Controlnet 이란 ?      ControlNet은 Stable Diffusion 과 같은 이미지 생성 모델에서 조건부 입력 을 추가하여 결과 이미지를 더 세밀하게 제어할 수 있게 한다. 예를 들어, 포즈 , 스케치 , 엣지 지도(edge map) 등을 입력으로 받아 생성된 이미지를 밑그림으로 이미지에 반영할 수 있다.  2. Flux용 Controlnet 모델     Stable Diffusion 용 Controlnet 모델들은 Canny, Depth, Hed, Scribble, Open Pose, Sketch 등 여러가지 모델들이 있는데 Flux 용 모델들은 그 중에서 Canny, Depth, Hed 3가지 종류의 모델들만 출시되었다. 각각의 적용하는 대상은 어떤 이미지를 생성 하는가에 따라 적합한 것을 사용하면 되는데 3가지 모델들이 서로 다른 듯 비슷한 기능들이 섞여 있어서 많은 시행을 해 본 후 더 적합한 모델들을 사용하기를 권한다. 3. Controlnet 적용 기본     Controlnet 의 적용은 먼저 원본 이미지가 필요하고 그것을 Controlnet 모델들이 인식할 수 있도록 바꾸어 주는 전처리기를 통과한 후 Controlnet 모델들을 선택하여 이  이미지를 적용하여 Sampler에 입력한다. 이를 간단하게 workflow 를 구성하면 다음과 같다. 기본 Controlnet Workflow 전처리기는 Controlnet 모델별로 각각 다른 전처리기를 사용하기 때문에 항상 모델에 맞는 전처리기를 사용하여야 올바른 이미지를 얻을 수 있다. 4. Controlnet 모델 과 필수Nod 다운로드 및 설치     다운로드는 huggingf...

Pinokio 앱 설치 - 오픈 소스 AI 플랫폼

  Pinokio 는 오픈 소스 AI 플랫폼이다. 로컬에서 AI 애플리케이션을 쉽게 설치하고 실행할 수 있게 도와주는 오픈 소스 AI 플랫폼이다. 이 플랫폼은 사용자가 복잡한 설치 과정 없이 클릭 한 번으로 AI 도구들을 설치할 수 있도록 설계되어 있다. 이를 통해 기술적인 배경 지식이 없는 초보자나 비전문가들도 쉽게 AI 애플리케이션을 사용할 수 있다.   이미 설치되어 있는 애플리케이션이 있어도 별도의 독립된 공간에서 문제없이 사용할 수 있게 해준다.   우리가 stable diffusion 을 comfyui 에서 사용하기 위해서는 "Python", "git ....", "conda"  뭔지 모르지만 설치해야 하는데 pinokio 브라우저에서 원 클릭으로 알아서 설치를 해주기 때문에  컴맹인 일반인도 쉽게 설치하고 사용 할 수 있다. pinokio.computer 1. Pinokio 주요 기능 원클릭 설치 : 복잡한 환경 설정이나 명령어 입력 없이도 다양한 AI 모델을 한 번의 클릭으로 설치할 수 있다. 예를 들어, Comfyui 나 Flux 같은 AI 도구들을 손쉽게 설치할 수 있다. 다양한 AI 애플리케이션 제공 : Pinokio는 다양한 오픈 소스 AI 애플리케이션을 제공하는 허브 역할을 하며, Pinokio 브라우저 나 홈페이지에서 쉽게 찾아 설치할 수 있다. 브라우저 기반 인터페이스 : 모든 설치된 애플리케이션은 Pinokio 웹 브라우저에서 관리할 수 있어, 친숙한 인터페이스로 쉽게 사용이 가능하다. 독립적인 가상 컴퓨터 : Pinokio는 백엔드 작업을 자동으로 처리하여, 애플리케이션이 로컬에서 실행되는 동안 인터넷에 연결되어 있지 않아도 된다. 2. Pinokio 설치 구글에서 pinokio 를 검색하여 " pinokio.computer " 를 클릭 Download 클릭 다운로드 된 pinokio 압축 파일을  푼다. pinokio 설치파일을 실행하여 설치 설치과정은 복...