무료로 동영상을 만들어 주는 사이트를 이제는 쉽게 찾아 볼 수 있다. 이중에서 상당히 좋은 성능을 발휘하고 있는 무료 동영상 사이트 (Viggle, Pixverse, Luma) 에 대하여 알아보고 한번 직접 사용해 보기로 한다.  물론 무료라는 의미는 일정 기능까지가 무료라는 뜻이고 좀 더 고기능이나 high quality 그리고 상업적 판매 목적을 가진 제작은 유료가 필수이다.  viggle, pixverse,luma 1. Viggle     Viggle  AI는 사용자가 제어 가능한 모션 동영상을 제작할 수 있는 최첨단 AI 툴이다.   캐릭터에 애니메이션을 적용하고, 이미지와 동영상을 혼합하고, 텍스트 프롬프트에서 애니메이션을 생성할 수 있는 도구를 제공한다.   캐릭터 이미지와 비디오 클립을 매끄럽게 혼합하여 독특하고 매력적인 애니메이션을 제작할 수 있다.  주로 댄스 동영상이나 쇼츠 같은 비디오 클립에 내가 원하는 캐릭터를 합성하여 동일한 모션을 만들어 주는 것에 사용한다. 사용해 보기          -. Viggle 사이트 접속         -. "Try on Web" 으로 클릭 : 다른 플랫폼으로 들어가서 해도 된다.          -. google 계정으로 로그인          -. 동영상 생성에 필요한 파일은 이미지와 비디오 클립이다. 이미지 나 비디오 클립을 uploading  하거나 비디오 클립이 없으면 viggle 사이트에 있는 Template 에서 원하는 비디오 클립을 선택 한다.             -. 만약 비디오 클립에 인물이 여러명이면 각각의 캐릭터 이미지를 uploading 하면 된다...

Flux에서도 이제 Controlnet 기능을 사용할 수있다. Comfyui 에서 Stable Diffusion 과 같은 방식으로 사용 할 수 있는  controlnet 모델들이 출시 되었다. 1. Controlnet 이란 ?      ControlNet은 Stable Diffusion 과 같은 이미지 생성 모델에서 조건부 입력 을 추가하여 결과 이미지를 더 세밀하게 제어할 수 있게 한다. 예를 들어, 포즈 , 스케치 , 엣지 지도(edge map) 등을 입력으로 받아 생성된 이미지를 밑그림으로 이미지에 반영할 수 있다.  2. Flux용 Controlnet 모델     Stable Diffusion 용 Controlnet 모델들은 Canny, Depth, Hed, Scribble, Open Pose, Sketch 등 여러가지 모델들이 있는데 Flux 용 모델들은 그 중에서 Canny, Depth, Hed 3가지 종류의 모델들만 출시되었다. 각각의 적용하는 대상은 어떤 이미지를 생성 하는가에 따라 적합한 것을 사용하면 되는데 3가지 모델들이 서로 다른 듯 비슷한 기능들이 섞여 있어서 많은 시행을 해 본 후 더 적합한 모델들을 사용하기를 권한다. 3. Controlnet 적용 기본     Controlnet 의 적용은 먼저 원본 이미지가 필요하고 그것을 Controlnet 모델들이 인식할 수 있도록 바꾸어 주는 전처리기를 통과한 후 Controlnet 모델들을 선택하여 이  이미지를 적용하여 Sampler에 입력한다. 이를 간단하게 workflow 를 구성하면 다음과 같다. 기본 Controlnet Workflow 전처리기는 Controlnet 모델별로 각각 다른 전처리기를 사용하기 때문에 항상 모델에 맞는 전처리기를 사용하여야 올바른 이미지를 얻을 수 있다. 4. Controlnet 모델 과 필수Nod 다운로드 및 설치     다운로드는 huggingf...

 Flux는 성능이 뛰어난 이미지 생성형 AI이다. 다만 flux 모델의 크기가 flux1-dev 버전인 경우 대략 22G정도 된다.  크기가 크기 때문에 보통의 데스크탑에서는 사실상 돌리기가 어렵다.  그래서 Flux1-dev-fp8 (대략 11G) 처럼 경량화된 버전들이 출시되어 사용되고 있지만 그래도 역시 이미지 한장 뽑는데 30초이상의 시간이 걸린다. 이 글에서 소개할 Flux-GGUF (약 12G) 버전은 크기도 절반이면서 Flux1-dev-fp8 보다 더 적은 시간으로 이미지를 만들어 준다.  1. Flux-GGUF 모델의 특징 및 장점     1-1.  저장공간 및 VRAM 절약 : GGUF 양자화 모델은 원래 모델에 비해 훨씬 적은 VRAM을 사용하면서도 성능은 비슷하다.  예를 들어, GGUF Q8 모델은 VRAM 사용량을 절반으로 줄이면서도 원본 모델과 99% 유사한 품질을 제공한다​.     1-2.  낮은 사양에서도 실행 가능 : GGUF 모델은 양자화를 통해 모델 크기를 줄였기 때문에, GPU 메모리가 부족한 하드웨어에서 실행할 수 있다. 6GB~12GB VRAM을 가진 장비에서도 원활하게 사용할 수 있어, 고성능 GPU가 없는 사용자에게 유리하다.     1-3.  속도 향상 : GGUF 모델은 이미지 생성 속도도 빠르다.  특히 Q8과 같은 고비트 모델은 일반적인 모델보다 빠르게 처리할 수 있다.     1-4.  호환성 : ComfyUI 및 Forge와 같은 주요 인터페이스에서 GGUF 모델을 지원하므로, 여러 플랫폼에서 쉽게 사용할 수 있다. ​ Flux-GGUF 이미지 ...

 인물사진에서 간단하게 여러가지 옷들을 갈아 입혀보고 싶다 내 사진이든 다른 인물사진 이든 혹은 의류 판매를 위한 모델에 여러가지 의상을 교체해서 입혀보고 싶을때 사용하기 쉬운 comfyui 를 이용한 의상교체하는 방법을 설명한다. 1. ComfyUI 란 ?      AI 기반 이미지 생성과 편집을 도와주는 직관적인 사용자 인터페이스이다.  주로 Stable Diffusion 모델을 활용하여 텍스트로부터 이미지를 생성하거나, 기존 이미지에 다양한 변화를 적용할 수 있다.  ComfyUI는 노드 기반의 시스템으로, 다양한 작업을 시각적으로 구성하고 처리 과정을 조정할 수 있어 창의적 이미지 작업에 매우 유용한 도구이다.  이 도구는 사용자 친화적인 UI와 높은 유연성을 제공하여 초보자도 쉽게 사용할 수 있게 한다.  몇가지 노드를 배열하여 쉽게 의상 교체를 할 수있다. 2. Workflow 구성을 위한 필수 Nodes SegmentAnythingUltra V2     이 노드의 역할은 image 로 부터 교체하고 싶은 의상 부위를 선택하여 masking 한다. CatVTON Wrapper      이 노드가 실제 인물사진의 원하는 부위에 의상을 교체하는 작업을 한다. 위의 두가지 노드들이 설치가 안되어 있으면 comfyui manager 를 통하여 설치하면 된다. 3. Workflow 구성 Workflow     노드 구성은 단순하다.  인물사진 과 의상 이미지를 입력받아서 인물사진의 의상교체부위을 masking 한 후 의상이미지로 바꾸어 인물사진을 생성해 준다. SegmentAnything node의 prompt 입력란에 "upper shirt" 라고 명시해 주면 인물사진에서 상의 부분을 masking 처리해 준다.   경우에 따라 입력 prompt를 수정하여서 원하는 부위가 반드시 masking 되어야...

 우리는 지금 인공지능(AI)이 빠르게 발전하는 시대에 살고 있다.      AI는 이미 우리의 일상 곳곳에서 사용되고 있는데,  내 스마트폰에도  음성 비서, 자동 번역기,  우리집에는 LG의 로봇청소기 가 다니고 로봇 물걸레 청소기도 돌아 다닌다.  거리로 나가서 음식점에 가면 이제는 키오스크가 주문을 받고 결혼식장에서 축의금 조차도 키오스크가 사용되고 있다. 그리고 자율주행 자동차까지 시범운행 하고 있는  AI 기술은 다양한 방식으로 우리의 삶을 변화 시키고 있다.  그렇다면 현재 AI의 트렌드는 어떤 것이고, 미래에는 어떻게 변화할 까?   그리고 우리는 어떻게 준비해야 할 지에 대해 이야기 해 보고 싶다. Midjourney가그린그림으로 대상받은 작품 - 캡쳐사진 1. 현재의 AI 수준 및 트렌드      현재 AI 기술의 가장 큰 트렌드는 "자동화"와 "데이터 기반 분석"입니다. 먼저 자동화는 제조업, 서비스업, 심지어 금융업까지 다양한 분야에서 인간의 반복적인 업무를 AI가 대신하는 것을 의미한다. 예를 들어, 현대자동차 조립라인에 가면 로봇이 일하는 모습을 다양한 공정에서 볼 수 있다.  이러한 공장자동화는 업무 효율성을 높이고, 기업의 비용을 절감하는 데 큰 역할을 한다. 또한, 데이터 기반 분석도 중요한 트렌드 중 하나이다. AI는 방대한 양의 데이터를 빠르게 분석하여 유의미한 정보를 도출하는 데 탁월한 능력을 가지고 있다. 예를 들어, 의학 분야에서는 환자의 진료 기록을 AI가 분석하여 맞춤형 치료법을 제안하거나, 질병을 예측하는 데 도움을 주고 있다.  작년 팬데믹 때에도 AI가 있어서 빠르게 예방백신 과 치료약이 만들어 질 수 있었다.  이처럼 데이터와 AI를 결합한 기술은 기업과 사회 전반에 걸쳐 혁신을 불러일으키고 있다. 특히 ChatGPT의 탄생은 인공지능의 새 장을 열었다고...

 AI를 이용하여 손상된 이미지를 고품질로 복구할 수 있는 SUPIR을 소개한다. SUPIR은  XPixel그룹에서 만든 "대규모 확산 생성 모델을 이용한 고품질 이미지 복원 기술" 이다.  대규모의 학습 데이터를 바탕으로 AI가 이미지를 단계적으로 복구하면서 손상된 이미지를 고품질로 되돌려 고화질을 만들어 준다.  쉽게 말해서 이미지가 흐릿하거나, 손상되었거나, 저화질 일 때 그 이미지를 원래 상태나 더 좋은 상태로 돌려주는 기술을 말한다. 좌측 이미지를 우측이미지로 SUPIR을 이용하여 만든다. online 상에서 저화질의 이미지를 고화질로 만들어 주는 사이트는 많이 있지만,  여기서는 SUPIR 을 comfyui 를 이용하여 개인용 컴퓨터에서 이용해 본다. 1. SUPIR 사용을 위한 노드 인스톨      comfyui 를 실행하고 Manager 에 들어가 SUPIR 을 검색하여 인스톨 한다.     ( 반드시 노드들을 인스톨 한 후 comfyui를 재실행하여 사용한다.) 2. SUPIR 모델을 다운받는다. 구글드라이브(https://drive.google.com/drive/home ) 에서 SUPIR을 검색하여 SUPIR-release 선택 이중에서 SUPIR-v0F.ckpt 와 SUPIR-v0Q.ckpt 를 다운받는다. 3. 다운받은 파일을 models/checkpoints 폴더에 저장한다. 4. comfyui를 실행하고 workflow를 만든다.  아래와 같이 구성하면 된다. workflow 5. 조건 선택 및 입력 checkpoint : SDXL 모델 SUPIR 모델 : SUPIR-v0Q.ckpt Load image : 여기에서는 표범사진 Image resize : 1024x1024 pos. prompt : high quality, detailed, photograph of leopard neg. prompt : ba...

 LoRA(Low-Rank Adaptation)는 딥러닝 모델의 학습을 최적화하고 경량화하는 기술로, 주로 Stable Diffusion과 같은 대형 모델을 커스터마이징할 때 사용된다.      스테이블디퓨전의 checkpoint 는 보통 6G 이상이고,  Flux1-dev 모델은 22G 정도 되는 대형 모델들이다.  이런 대형 모델들을 사용하면서 자신이 원하는 이미지를 만드는데 부족한 부분을 느낄 수있고 checkpoint 전체를 재 training 시키기 보다는 적은 용량으로 모델을 훈련시켜 보완적인 모델로 사용한다.  그런 소형 모델들을 Lora 라고 하며 checkpoint에 연결하여 사용한다. LoRA의 특징 경량화된 학습 : LoRA는 기존 대형 모델의 전체 파라미터를 모두 조정하지 않고, 특정 부분의 더 적은 파라미터만 조정한다. 이는 GPU 메모리를 적게 사용하게 만들어 학습 속도를 크게 높여준다. 빠른 Fine-tuning : LoRA는 대형 모델을 처음부터 다시 학습할 필요 없이, 기존 모델의 특정 요소를 개선하거나 변형할 때 유용하다.  특정 스타일의 이미지로 학습시키려면 LoRA를 사용하여 빠르게 그 스타일에 적합한 모델을 만들어 스타일을 적용 할 수 있다. 유연성하다 : LoRA는 원본 모델(checkpoint)을 손상시키지 않으면서도, 다양한 특성이나 새로운 스타일을 학습시킬 수 있기 때문에 매우 유연하다. 원본 모델과 LoRA 모델을 결합하여 사용하며, 기존 학습된 데이터를 기반으로 모델의 특성을 손쉽게 변경할 수 있다.  특히 특정 인물이나 특정 style 등을 훈련시켜 많이 사용한다. LoRA 사용법 (comfyui)     automatic1111 에서도 물론 LoRA를 사용 할 수 있지만  이 글에서는 comfyui 에서의 LoRA 적용법을 설명한다. LoRA 모델 다운로드 : LoRA 모델들을 다운로드 할 수 있는 사이트...

Flux는 이미지 생성형 AI 이다.      텍스트를 입력하여 이미지를 만드는 이미지 생성AI 는 미드저니, 스테이블디퓨전, Dall-e 등 이렇게 있는데 거기에 새로운 오픈형 생성AI 모델이 출시 되었다.  독일에 본사를 둔  스타트업 Black Forest Labs  에서 개발하였다.  주로 연구진이 스테이블 디퓨전을 개발한 사람들이 만들었기 때문에 스테이블디퓨전 버전업 정도로 이해가 된다.   Flux로 만든 이미지      미드저니 보다 좋다고 여기저기서 말 하길래 직접 다운로드 하여 사용해 본다.      Flux 모델도 comfyui 로 사용 할 수있다고 하니 comfyui 를 이용하여 사용해 본다. 1. Flux 모델 다운로드      Flux 모델은 3가지가 있다. Flux.1 [pro]  : 상업용 모델로 직접 로컬 컴터에서는 사용이  안되고 지원하는 클라우드서버(fal.ai)를 통해서 사용이 가능하다. Flux.1 [dev]  : 비 상업용으로 연구 목적을 위하여 사용이 가능하다. Flux.1 [schnell] : 개인들이 로컬 컴퓨터로 역시 비 상업용 용도로 사용하는데 속도가 빠르다는 모델이다.      이중에서 Flux.1 [dev] 를 다운로드 한다.       좀 더 빨리 이미지를 생성하고 싶으면 Flux.1 [schnell] 을 다운받아 사용하면 된다.      Hugging Face 에서 다운로드.  https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main Hugging Face 의 Flux 모델 다운로드받는곳      여기서  flux1-dev.safetensors (2...

Prompt 란 일종의 AI에게 지시하는 명령어 이다.      Stable Diffusion은 텍스트 기반의 이미지 생성 모델로, 사용자가 입력한 프롬프트(prompt)에 따라 다양한 스타일의 이미지를 생성할 수 한다. 프롬프트는 모델이 어떤 이미지를 생성할지 지시하는 중요한 명령어다. 따라서, 효과적인 프롬프트 작성 방법을 이해하는 것은 Stable Diffusion을 잘 활용하기 위한 필수적인 단계이다. 이 글에서는 프롬프트 작성 시 고려해야 할 요소와 몇 가지 예시를 통해 그 사용 방법을 설명한다. 1. 영어로 명확하고 구체적으로 작성(Positive prompts)      프롬프트는 모델이 생성할 이미지를 구체적으로 묘사하는 텍스트이다. 짧고 모호한 프롬프트는 원하는 결과를 얻기 어렵다. 예를 들어, 단순히 "landscape"이라고 입력하면 매우 다양한 스타일의 풍경이미지가 나온다. 반면에 "Green fields with sunlight, blue sky, and mountains in the distance"이라는 프롬프트는 훨씬 더 구체적이고 원하는 이미지를 얻을 수있다.  그리고 아쉽게도 반드시 영어로 작성 해 주어야 한다.       프롬프트에는 다음과 같은 세부 사항을 포함하는 것이 좋다. 주제(subject)  : 가장 중요하며 맨 처음에 입력하기를 권한다.  'a beautiful woman' , 'a body builder', 'a cute baby' 등 이미지 종류 : 'picture', 'drawing', 'painting' 등 스타일 : 주제에 대한 스타일  'slim body' ,'red lips', 'smile' , 'wearing white t-shirt and jean' 등 장소 또는 배경  : ' in room', 'c...

  ComfyUI 는 automatic1111 처럼 Stable Diffusion과 같은 AI 이미지 생성 모델을 사용하기 위한 그래픽 인터페이스(GUI)이다.       이 툴은 사용자들이 이미지 생성 과정을 시각적으로 쉽게 이해하고, 세밀한 부분들을 커스터마이즈 할 수 있게 도와준다.   1. comfyui 의 주요 특징: 노드 기반 인터페이스 : ComfyUI는 노드(Node) 방식을 사용하여, 이미지 생성의 각 단계를 시각적으로 연결하면서 작업할 수 있어요. 이미지 생성이 어떤 과정을 거쳐서 만들어 지는지 보이기 때문에 좀 더 이미지생성AI 를 이해 할 수있다. 직관적 : 코드 작성 없이 마우스 클릭과 드래그로 AI 이미지 생성 파이프라인을 설정할 수 있다. 유연성 : 다양한 옵션과 설정을 제공하여, 사용자가 원하는 대로 모델을 미세하게 조정하거나 이미지 생성 흐름을 바꿀 수 있다. 쉽게 말해, ComfyUI는 복잡한 AI 이미지 생성 과정을 더 쉽게, 그리고 시각적으로 할 수있게 도와주어 좀 더 사용자 중심의 GUI 라고 볼 수있다. 다만 comfyui 는 처음 익히기에 automatic1111 보다 어려워서 생각보다 좋은 이미지 생성이 안되지만 익숙해지면 유연성과 확장성이 뛰어나 원하는 좋은 이미지를 만들기가 더 쉽다. 예쁜 아기고양이 이제 comfyui 를 이용하여 이런 예쁜 아기고양이 사진을 만들어 본다. 2. Comfyui 설치      step1.    https://github.com/comfyanonymous/ComfyUI#windows 에 들어가서      step2.    Direct link to download      를 눌러서 파일을 다운로드 한다.            ComfyUI_wind...