Comfyui 의상 바꾸기 - Flux-fill , Flux-Redux, Catviton Lora 사용

 Comfyui 에서 의상을 쉽게 바꿔 보자.

기존 이미지의 인물에 내가 원하는 의상들을 입혀보면 어떨까?

이를 위하여 다양한 모델들이 필요한데,  그중에서 거의 정확하게 원하는 의상들을 입혀 보기 위하여는 CatVTON 모델이 필요하다.

CatVTON은 효율적인 가상 착의(diffusion) 모델로, 인샵 또는 착용 중인 의류를 대상 인물에게 원활하게 적용할 수 있다.

CatVTON 모델을 사용하기 위하여 모델이 있는 사이트에 직접 접속하여 사용 할 수도 있는데, 여기서는 CatVTON 과 Flux-Fill 그리고 Flux-Redux 모델과의 결합으로 Comfyui 환경에서 사용을 해 볼 것이다.

의상 변경 사례

1. 필요 모델 다운 및 설치

    주요 필요 모델은 사이트 ( https://github.com/lrzjason/Comfyui-In-Context-Lora-Utils ) 에접속하여 다운 받으면 된다.

필요한 모델들

접속하여 아래로 스크롤 하여 내려가면 위와 같은 곳을 찾아 필요한 모델들을 다운받고 설치 위치도 지정된 곳에 설치하면 된다.

그리고 catvton lora 는 아래 사이트에서 다운 받아 Models\Lora 폴더에 설치하면 된다.

( https://huggingface.co/xiaozaa/catvton-flux-lora-alpha/tree/main )

2. Workflow 작성

Workflow

위에 workflow  이미지를 다운받아 Comfyui 에 드래그 하면 사용 가능 할 것이다.

물론 없는 node 들은 Manager 를 통하여 다운 받아 사용한다.

특히 Guidence 값은 30 정도 하고,  Add Mask For IC Lora 노드 없이 생성하면 의상 이미지가 비슷하지만 좀 변형된 의상이 입혀지기 때문에 개인적으로 Add Mask For IC Lora 노드를 중간에 넣어 사용하였다.

문제는 Add Mask For IC Lora 노드를 사용하면 두개의 이미지가 연결되어 나오기 때문에 추가적인 이미지 분할 작업이 필요하다.

만약 이미지의 머리 부분이 원본보다 많이 짤리면 Add Mask For IC Lora 노드의 output_length 값을 늘려서 조정하면 된다.

이미지를 crop 한 절차를 추가한 workflow

ReduxAdvanced 노드의 downsampleing_factor 값은 1 ~ 5 에서 조정하는데  1은 가장 강도가 세고 5는 가장 약하기 때문에 보통 적용할 때 1을 사용하면 되며,  의상의 이미지가 약간 변형 되어 적용하게 원하면 수치를 올려 사용하면 된다.

3. 의상 바꾸기 사례

좌: 의상 , 우: 적용 결과

사진에 있는 의상을 따라서 똑같은 의상으로 적용하기는 어려우나 대체적으로 거의 비슷한 의상으로 교체 되었다.  팔 부분은 마스킹을 팔 윗부분만 했기 때문으로 보인다.

좌: 의상, 우: 적용 결과

이런 의상은 구분이 확실하기 때문에 적용 결과도 매우 똑같이 적용된다.

좌: 하의 , 우: 적용 결과

이 경우는 하의만 바꾸길 원했는데 마스킹을 상,하의 모두 한 결과로 이런 이미지가 생성이 된것이다.  마스킹은 입히고자 하는 의상에 맞추어 해 주어야 한다.

좌: 상,하의상  우: 적용 결과

대체적으로 거의 비슷한 의상이 만들어 졌다.

꽃 장식이 있는 의상 적용

꽃은 의상으로 인식을 못 한것인지  의상에 있는 자수들만 적용되었다.

그래도 의상을 저 정도로 비슷하게 입힐 수 있어서 Flux-Fill 과 Flux-Redux 모델의 기능이 상당히 놀라운 수준으로 간주된다.