Flux Controlnet 적용 방법 - Comfyui 에서 사용

Flux에서도 이제 Controlnet 기능을 사용할 수있다.

Comfyui 에서 Stable Diffusion 과 같은 방식으로 사용 할 수 있는 controlnet 모델들이 출시 되었다.

1. Controlnet 이란 ?

ControlNet은 Stable Diffusion과 같은 이미지 생성 모델에서 조건부 입력을 추가하여 결과 이미지를 더 세밀하게 제어할 수 있게 한다. 예를 들어, 포즈, 스케치, 엣지 지도(edge map) 등을 입력으로 받아 생성된 이미지를 밑그림으로 이미지에 반영할 수 있다.

2. Flux용 Controlnet 모델

Stable Diffusion 용 Controlnet 모델들은 Canny, Depth, Hed, Scribble, Open Pose, Sketch 등 여러가지 모델들이 있는데 Flux 용 모델들은 그 중에서 Canny, Depth, Hed 3가지 종류의 모델들만 출시되었다. 각각의 적용하는 대상은 어떤 이미지를 생성 하는가에 따라 적합한 것을 사용하면 되는데 3가지 모델들이 서로 다른 듯 비슷한 기능들이 섞여 있어서 많은 시행을 해 본 후 더 적합한 모델들을 사용하기를 권한다.

3. Controlnet 적용 기본

Controlnet 의 적용은 먼저 원본 이미지가 필요하고 그것을 Controlnet 모델들이 인식할 수 있도록 바꾸어 주는 전처리기를 통과한 후 Controlnet 모델들을 선택하여 이 이미지를 적용하여 Sampler에 입력한다. 이를 간단하게 workflow 를 구성하면 다음과 같다.

기본 Controlnet Workflow

전처리기는 Controlnet 모델별로 각각 다른 전처리기를 사용하기 때문에 항상 모델에 맞는 전처리기를 사용하여야 올바른 이미지를 얻을 수 있다.

4. Controlnet 모델 과 필수Nod 다운로드 및 설치

다운로드는 huggingface.com 에서 3가지 모델 모두 다운 받는다.

Canny 모델 ( https://huggingface.co/XLabs-AI/flux-controlnet-canny-v3 )

Depth 모델 ( https://huggingface.co/XLabs-AI/flux-controlnet-depth-v3 )

Hed 모델 ( https://huggingface.co/XLabs-AI/flux-controlnet-hed-v3 )

이 모델들을 다운로드하여 (...\models\xlabs\controlnets ) 에 설치 하면 된다.

필수 Nod 들은 Comfyui 의 Manager 에서 설치하면 된다.

필수 nod 설치

반드시 nod 설치가 완료되면 업데이트를 실시하고 comfyui 를 재 실행 한다.

5. Controlnet 을 이용한 이미지 생성

먼저 Canny 모델을 적용하여 이미지를 만들어 본다. 다른 모델들은 전처리기 노드만 다를 뿐 모든 workflow 가 동일 하기 때문에 Canny 모델을 적용할 수 있다면 다른 모델들도 쉽게 적용 가능하다. 다음은 완성된 Workflow 이다.

완성된 workflow

6. Controlnet 기능 작용 순서

원본이미지

원본이미지를 로드한 후 전처리기(Canny Edge)를 통과하면

전처리기 통과 이미지

이렇게 주요 line 으로 변경시킨 이미지가 나온다. 이 이미지와 Controlnet 모델을 Canny 로 선택하여 Xlabs Sampler 노드로 입력한다.

Prompt : "A dark, modern kitchen in the dead of night, illuminated only by the faint glow of subtle mood lighting. The built-in refrigerator, covered with photos, casts a gentle shadow on the floor, and the island counter is barely visible in the dim light. The room feels quiet and still, as if everyone is asleep, ((indoor photo :1.3)), 4K, high detail, best quality, intricate detailed, artstation" 역시 Xlabs Sampler 노드에 함께 입력된다.

이미지 생성을 클릭한 후

최종 결과 이미지

원본 이미지와 구도가 비슷한 이미지가 만들어 진다. 다양한 색상과 style을 변경 시키면서 이미지를 만들면 같은 구도를 가진 느낌이 다른 여러가지 이미지를 만들 수 있다.

7. 결론

Controlnet 기능은 이미지 생성에 세밀한 조절이 가능한 유용한 기능이기 때문에 Flux에서도 사용할 수 있다는 것은 매우 바람직한 일이다. 다만 Stable Diffusion 에서 사용했던 Open Pose 기능이 아직 출시되지 않아서 아쉽지만 조만간 그 모델도 출시될 것이라고 예상한다. 원하는 이미지를 만들수있는 Controlnet의 기능은 Flux 사용에 필수적인 기능이다.

이 블로그 검색