기본 콘텐츠로 건너뛰기

Flux 사용방법

Flux는 이미지 생성형 AI 이다.

    텍스트를 입력하여 이미지를 만드는 이미지 생성AI 는 미드저니, 스테이블디퓨전, Dall-e 등 이렇게 있는데 거기에 새로운 오픈형 생성AI 모델이 출시 되었다.  독일에 본사를 둔 스타트업 Black Forest Labs 에서 개발하였다.  주로 연구진이 스테이블 디퓨전을 개발한 사람들이 만들었기 때문에 스테이블디퓨전 버전업 정도로 이해가 된다.

 

Flux로 만든 이미지

    미드저니 보다 좋다고 여기저기서 말 하길래 직접 다운로드 하여 사용해 본다.

    Flux 모델도 comfyui 로 사용 할 수있다고 하니 comfyui 를 이용하여 사용해 본다.


1. Flux 모델 다운로드

    Flux 모델은 3가지가 있다.

  • Flux.1 [pro]  : 상업용 모델로 직접 로컬 컴터에서는 사용이  안되고 지원하는 클라우드서버(fal.ai)를 통해서 사용이 가능하다.
  • Flux.1 [dev]  : 비 상업용으로 연구 목적을 위하여 사용이 가능하다.
  • Flux.1 [schnell] : 개인들이 로컬 컴퓨터로 역시 비 상업용 용도로 사용하는데 속도가 빠르다는 모델이다.


    이중에서 Flux.1 [dev] 를 다운로드 한다. 
    좀 더 빨리 이미지를 생성하고 싶으면 Flux.1 [schnell] 을 다운받아 사용하면 된다.


    Hugging Face 에서 다운로드. https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main
Hugging Face 의 Flux 모델 다운로드받는곳
    여기서 flux1-dev.safetensors (23.8G) 를 다운로드하여 
모델을 unet 폴더에 넣는다.
    파일이 상당히 크다.
    그리고 VAE 모델 (ae.safetensors - 335MB) 도 다운로드 하여 
vae 폴더에 넣는다.

2. CLIP 모델 다운로드https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

3개 파일 다운로드
    clip_l.safetensors (246MB) , t5xxl_fp16.safetensors (9.79 G) , t5xxl_fp8_e4m3fn.safetensors (4.89 G) 3개를 다운받아 
clip 폴더에 넣는다.

3. comfyui 는 가장 최신 버전으로 업데이트

    Flux가 출시된 후 그것을 원활히 사용하기 위해  comfyui 도 많은 부분들이 업데이트 되었다. 그래서 flux 를 사용하기 위해서는 comfyui 최신 업데이트가 반드시 필요하다.

4. Flux 용 workflow를 사용하여 실습 

    이제 아래 workflow 를 다운받아 comfyui 에서 실행 하고  prompt 를 수정하면서 이미지를 만들어 본다.
Flux 모델용 workflow

    처음 실행하면 대략 1분이상이 소요된다.

    prompt 를 변경하면서 실행해 보니 대략 30 ~ 40초가 소요된다.

    스테이블 디퓨전 SDXL 보다 시간은 더 많이 걸린다.
    prompt : cute anime girl with massive fluffy fennec ears and a big fluffy tail blonde messy long hair blue eyes wearing a maid outfit with a long black gold leaf pattern dress and a white apron mouth open holding a fancy black forest cake with candles on top in the kitchen of an old dark Victorian mansion lit by candlelight with a bright window to the foggy forest and very expensive stuff everywhere

    이것으로 만들었는데 prompt 에서 묘사한 대로 잘 만들었다.
케익 든 애니걸

    Flux 의 가장 큰 장점이 글씨 묘사가 비교적 정확하고 잘 써진다는 것이다. 물론 영어로  만 가능하다.  그래서 글씨를 넣고 한번 만들어 본다.

    prompt : a beautiful korean Waman with t-shirt and skirt, lovely pose, text "I love korea" on white board, best quality, photorealism, 
I love korea


    얼굴도 사실적인 느낌이 더 많고 , 글씨가 잘 써지고 손 모양이 자연스럽게 잘 묘사된다.
    Flux 가 모델의 크기가 커서 스테이블디퓨전 보다 무겁고 시간이 더 걸리지만,  좀 더 사실적인 이미지를 만들고 글자가 정확히 나타나며 특히 손 모양이 많이 자연스럽게 잘 나온다.  그렇다고 미드저니 나 스테이블디퓨전 보다  낫다 라고 속단 하기는 시기상조이고 좀 더 많은 이미지를 만들어 보아야 장단점을 더 알 것 같다.

    참고로 Flux.1 [dev] 파일이 커서 무겁고 컴퓨터가 느리고 이미지 생성이 느리면 
    최신의 좀 더 작은 크기의 모델을 다운받아 사용해 보라. .  https://huggingface.co/Kijai/flux-fp8/tree/main
flux1-dev-fp8.safetensors 또는 flux1-schnell-fp8.safetensors 를 다운로드

5. Flux 에 대한 결론

    Flux는 확실히 오픈소스모델이면서 이미지 품질,  text 묘사 능력이나 사람의 손 모양을 만드는데 있어서 높은 점수를 주고 싶다.  추후 업그레이드가 되고 다른 Lora 모델이나 trained 된 checkpoint모델들이 많이 파생한다면  가장 좋은 이미지 생성형AI 로 불릴 수도 있지 않을까 생각이 든다.

 


댓글

이 블로그의 인기 게시물

Comfyui Wildcard 사용법 - Stable Diffusion , Flux 에서 쉽게 Random Prompt 로 이미지 만들기

 Comfyui Wildcard 사용법에 대하여 알아본다. Comfyui 로 Stable Diffusion 또는 Flux 로 이미지를 만들 때 Prompt 가 이미지를 결정하는데 매우 중요한 역할을 한다.  영어가 모국어가 아닌 이상 영어로 prompt 를 만드는 것이 참 어려운 일이다. 물론 처음에는 많은 다른 사람들이 사용한 prompt 들을 모방하여 수정하고 사용하는데 이런 일을 하나하나 해 보기가 시간이 많이 걸리고 어렵다.   그래서 Random 으로 prompt 가 만들어 져서 이미지가 생성되고 그 이미지 중에서 마음에 드는 이미지들을 골라 그 이미지의 Prompt들 만을 가지고 보완하고 개선하면 더 편리하고 좋지 않을까 생각이 든다.  그런 식의 Random Prompt 생성이 가능하게 해주는 것이 wildcard 사용이다. Joker는 card game에서 wildcard 이다. 1. Wildcard 의 의미      와일드 카드(Wildcard)란 카드 게임에서 유래되었다.  이런 카드 게임에서 모든 카드의 대용으로 쓸 수 있는 비장의 카드를 와일드 카드라고 한다. 포커나 훌라를 할 때 조커가 이런 역할을 하는데 ,  이 의미가 컴퓨터와 스포츠로 확장되어 사용되는 것이다. 컴퓨터 용어로 쓰일 때는 한 디렉터리 내에 여러 파일이 존재하거나, 파일 이름의 뒷부분을 정확히 알지 못하는 경우에도 사용할 수 있는 명령어를 말합니다. '*'을 넣으면 빠진 것에 어떤 문자열이 있든지 대신할 수 있고,  '?'는 임의의 한 문자에만  대응한다. Comfyui 에서 wildcard 사용은 "--문자열--"  이런 식으로 wildcard 사용 가능한 노드에 prompt 를 입력해 주면 그 노드는 "문자열" 에  해당되는 파일을 찾아 그 파일 내용 중에서 임의의 일부분을 prompt 로 대체해 준다. 2. Wildcard 사...

Flux Controlnet 적용 방법 - Comfyui 에서 사용

Flux에서도 이제 Controlnet 기능을 사용할 수있다. Comfyui 에서 Stable Diffusion 과 같은 방식으로 사용 할 수 있는  controlnet 모델들이 출시 되었다. 1. Controlnet 이란 ?      ControlNet은 Stable Diffusion 과 같은 이미지 생성 모델에서 조건부 입력 을 추가하여 결과 이미지를 더 세밀하게 제어할 수 있게 한다. 예를 들어, 포즈 , 스케치 , 엣지 지도(edge map) 등을 입력으로 받아 생성된 이미지를 밑그림으로 이미지에 반영할 수 있다.  2. Flux용 Controlnet 모델     Stable Diffusion 용 Controlnet 모델들은 Canny, Depth, Hed, Scribble, Open Pose, Sketch 등 여러가지 모델들이 있는데 Flux 용 모델들은 그 중에서 Canny, Depth, Hed 3가지 종류의 모델들만 출시되었다. 각각의 적용하는 대상은 어떤 이미지를 생성 하는가에 따라 적합한 것을 사용하면 되는데 3가지 모델들이 서로 다른 듯 비슷한 기능들이 섞여 있어서 많은 시행을 해 본 후 더 적합한 모델들을 사용하기를 권한다. 3. Controlnet 적용 기본     Controlnet 의 적용은 먼저 원본 이미지가 필요하고 그것을 Controlnet 모델들이 인식할 수 있도록 바꾸어 주는 전처리기를 통과한 후 Controlnet 모델들을 선택하여 이  이미지를 적용하여 Sampler에 입력한다. 이를 간단하게 workflow 를 구성하면 다음과 같다. 기본 Controlnet Workflow 전처리기는 Controlnet 모델별로 각각 다른 전처리기를 사용하기 때문에 항상 모델에 맞는 전처리기를 사용하여야 올바른 이미지를 얻을 수 있다. 4. Controlnet 모델 과 필수Nod 다운로드 및 설치     다운로드는 huggingf...

Pinokio 앱 설치 - 오픈 소스 AI 플랫폼

  Pinokio 는 오픈 소스 AI 플랫폼이다. 로컬에서 AI 애플리케이션을 쉽게 설치하고 실행할 수 있게 도와주는 오픈 소스 AI 플랫폼이다. 이 플랫폼은 사용자가 복잡한 설치 과정 없이 클릭 한 번으로 AI 도구들을 설치할 수 있도록 설계되어 있다. 이를 통해 기술적인 배경 지식이 없는 초보자나 비전문가들도 쉽게 AI 애플리케이션을 사용할 수 있다.   이미 설치되어 있는 애플리케이션이 있어도 별도의 독립된 공간에서 문제없이 사용할 수 있게 해준다.   우리가 stable diffusion 을 comfyui 에서 사용하기 위해서는 "Python", "git ....", "conda"  뭔지 모르지만 설치해야 하는데 pinokio 브라우저에서 원 클릭으로 알아서 설치를 해주기 때문에  컴맹인 일반인도 쉽게 설치하고 사용 할 수 있다. pinokio.computer 1. Pinokio 주요 기능 원클릭 설치 : 복잡한 환경 설정이나 명령어 입력 없이도 다양한 AI 모델을 한 번의 클릭으로 설치할 수 있다. 예를 들어, Comfyui 나 Flux 같은 AI 도구들을 손쉽게 설치할 수 있다. 다양한 AI 애플리케이션 제공 : Pinokio는 다양한 오픈 소스 AI 애플리케이션을 제공하는 허브 역할을 하며, Pinokio 브라우저 나 홈페이지에서 쉽게 찾아 설치할 수 있다. 브라우저 기반 인터페이스 : 모든 설치된 애플리케이션은 Pinokio 웹 브라우저에서 관리할 수 있어, 친숙한 인터페이스로 쉽게 사용이 가능하다. 독립적인 가상 컴퓨터 : Pinokio는 백엔드 작업을 자동으로 처리하여, 애플리케이션이 로컬에서 실행되는 동안 인터넷에 연결되어 있지 않아도 된다. 2. Pinokio 설치 구글에서 pinokio 를 검색하여 " pinokio.computer " 를 클릭 Download 클릭 다운로드 된 pinokio 압축 파일을  푼다. pinokio 설치파일을 실행하여 설치 설치과정은 복...