Stable Diffusion & Flux로 멋진 이미지 만드는 방법

Stable Diffusion & Flux로 멋진 이미지 만드는 방법은

각 개인마다 경험한 방법이 모두 다르지만, 개인적으로 그동안 많은 이미지를 만들면서 느낀 멋진 이미지를 만들기 위한 나만의 방법을 정리 할려고 한다.

Flux 를 이용하여 만든 파리의 여인

이미지 품질을 결정하는 가장 중요한 3요소는 Checkpoint, Prompt 그리고 GUI 도구 라고 생각한다. 그다음 중요한 요소들이 Lora, Controlnet, Inpaint, Ipadapter, Detailer, 등이 있지만 처음에는 3요소에 집중을 하는것이 중요한데 이미 Checkpoint 는 다운받아 이것 저것 사용해 보면 되고 ,GUI 사용법은 계속 사용하면서 익숙해 진다. 그런데 프롬프트(Prompt)는 하면 할 수록 범위가 광범위하고 배울것이 많고 새롭다. 그래서 첫번째로 집중해서 배워야 할 것이 **프롬프트(prompt)** 라고 생각한다.

1. 좋은 프롬프트 작성법

(1) 기본 구조

주제: 어떤 장면을 그리고 싶은지 명확하게 설정
스타일: 원하는 분위기, 질감, 색감 지정
세부 사항: 배경, 조명, 구도 등을 구체적으로 묘사
해상도 & 품질: high resolution, 16K, HDR, ultra-detailed 같은 단어 추가

적정한 길이 : 개인적으로 원하는 이미지에 가깝게 만들고 싶으면 초보수준에서는 50단어 정도 라고 생각한다. 20단어 정도는 단어가 모두 반영할 경우가 많지만 다른 이미지 생성이 나오기 쉽고, 50 단어 이상 70 단어 100 단어 이렇게 길면 어느 부분은 무시하고 이미지를 생성하기 때문에 50 단어 내외 정도가 적당한 길이 라고 생각한다. 점점 더 익숙해 지면 70단어 이상 개인적으로는 100단어 정도에서 사용하고 있다.

110 단어 정도 사용 한 결과
Prompt : Three-panel traditional Chinese wall art featuring a male and female bird perched on a flowering branch. The birds have vibrant blue, orange, and white plumage, with intricately detailed feathers. Surrounding them are pink and white blossoms with yellow centers, set against a soft, neutral-toned wall.
The setting is a modern living room with a mint green sofa adorned with pastel cushions. A round glass-top coffee table with a wooden base holds colorful books and a yellow cup. Potted greenery adds life to the space. The aesthetic is clean, contemporary, and minimalist, using mint, cream, and light wood tones. The room is well-lit, enhancing the intricate wall art and creating a warm, tranquil atmosphere.

이 프롬프트가 대략 110 단어로 이루어 져있다.

(2) 예제 프롬프트
✔ 클래식 초상화 스타일
A beautiful woman in a renaissance dress, ultra-detailed, soft lighting, oil painting, Rembrandt style, high resolution, 16K

✔ 환상적인 풍경
A magical forest with glowing mushrooms, fairy lights, soft mist, ultra-realistic, 8K, highly detailed, cinematic lighting

✔ 플로럴 배경
A dreamy floral background with pastel colors, watercolor texture, bright red vine flowers, high definition, 300dpi, soft and elegant

2. Stable Diffusion 에서 고품질 이미지 만들기

Stable Diffusion 은 모델과 설정을 잘 활용하면 훨씬 멋진 이미지를 만들 수 있다.

(1) 모델 선택

Photorealistic (사진 같은 스타일): Flux1-Dev, realvisxlV50_v50Bakedvae, DreamShaper,
Anime & 2D 스타일: AnythingV5, Counterfeit
환상적인 분위기: Dreamlike Diffusion
정확한 포즈 나 19 금 이미지 : Pony 계열 모델
정확한 버전 : 각 checkpoint 모델들은 각각 다른 버전들이 계속 업데이트 되고 있기 때문에 자신에게 필요한 버전의 checkpoint 모델을 다운 받아 사용해야 한다. 대표적으로 SD1.5 , SDXL. Pony , Flux.1D 가 있다.
모델들은 CIVITAI 사이트에 접속하면 쉽게 다운 받아 사용할 수있다.

(2) Sampling Method & Steps

DPM++ 2M Karras →보편적으로 사용하는 종류인데 선명하고 깨끗한 결과물을 만들어 준다.
Sampling Steps: 20~30 정도가 적당

(3) CFG Scale (프롬프트 반영 강도)

6~8이 적당 (너무 높으면 이상한 결과, 너무 낮으면 엉뚱한 그림)

(4) 해상도 설정

512x512 기본(SD1.5) 이지만, 1024x1024 이상 (SDXL, 또는 Flux) 으로 설정하면 훨씬 선명한 결과물 생성
Upscale : 개인적으로 Hires. fix 주로 사용하는데 저해상도 이미지를 업스케일해서 더 선명하게 해 준다.

(5) LoRA & ControlNet 활용

LoRA: 특정 스타일이나 캐릭터 반영 가능 (예: 특정 아티스트 스타일, 인물 특징)
Lora 모델도 CIVITAI 사이트에 가면 여러가지 다양한 모델들이 있으며, 항상 다운 받을때는 사용할 Checkpoint (버전) 에 맞는 Lora를 다운 받아 사용 해야한다.
ControlNet: 원하는 구도나 포즈를 정확하게 조절 가능. 이 기능은 다른 것들이 어느정도 익숙해 졌 을때 배워서 사용하기를 권 한다.

3. Flux에서 멋진 이미지 만드는 팁

Flux는 이미지의 품질 만으로 보았을 때 Stable Diffusion 보다 훨씬 뛰어난 품질을 보여준다. 미드저니와 비교해도 전혀 뒷 쳐지지 않을 만큼의 좋은 이미지를 만들어 준다. 특히 손 모양이 비교적 잘 나오고, 문자도 잘 만들어 준다. 다만 인물의 포즈 나 이미지의 스타일에 있어서는 생각보다 원하는 이미지가 잘 안 나오고 인물 이미지에서 배경 이미지가 상당히 블러 처리가 되기 때문에 아쉽다. 특히 메모리를 많이 사용하기 때문에 좀 더 고성능의 컴퓨터가 필요하다. 개인적으로 GTX4070 super 16G 를 사용 중인데 이 정도의 스펙일 경우 처음 생성 70초 정도고 2번째 이미지 부터는 30~40 초 씩 걸린다.

Flux의 Prompt 는 Stable Diffusion 과 대체적으로 비슷하게 사용해도 된다. 다만 생성되는 이미지는 약간 다를 것이다.

좌 : SDXL , 우 : Flux 모델 사용

Prompt : (elegant lady), graceful pose, vivid (colors of the rainbow), flowing attire, chic accessories, soft and dreamy ambiance, radiating a sense of joy, ultra-detailed, ambient lighting, romantic atmosphere, intricate patterns, harmonious blend of hues, beautifully flowing hair, serene expression, enchanting background bursting with color, high-quality rendering.
동일한 프롬프트를 사용하였지만 다른 결과 이미지가 나온다.

그러나 프롬프트마다 Flux 에서 잘 먹히는 것이 있고 Stable Diffusion 에서 잘 먹히는 단어들이 있기 때문에 이것은 많은 이미지를 만들면서 스스로 알아내는 것이 중요하다.

4. 추가 꿀팁

✔ 좋은 레퍼런스 찾기

Pinterest, ArtStation, Unsplash에서 원하는 스타일의 이미지를 가지고 Image to Prompt 를 하여 프롬프트를 추출한 후 그것을 참고하면 프롬프트 작성에 도움 된다.
Image to Prompt 는 구글에서 검색해보면 여러곳에서 서비스를 해주기 때문에 좋은 사이트를 찾아서 애용하면 된다.

Image to Prompt Workflow

Comfyui 를 사용하면 이런 Workflow를 구성하여 이미지에서 프롬프트를 추출할 수있다.

사용된 이미지

추출된 Prompt : A portrait of a woman seated at a table in a serene outdoor setting. She wears a light blue, sleeveless dress with lace detailing and a delicate butterfly tattoo on her right shoulder. Her hair is styled in an elegant updo with a pearl hair accessory. She holds a bouquet of roses in a clear glass vase. The table is covered with a white tablecloth and has a folded white napkin. The background is a window with a view of greenery, indicating a garden or park. The image has a soft, dreamy color palette with a focus on the woman and the flowers.

✔ 프롬프트 비교 실험

같은 주제라도 다양한 단어를 조합해 실험해 보면 원하는 스타일을 찾기 쉽다.
같은 단어라도 단어 순서를 앞 뒤로 바꾸어 사용해 보면 다른 결과가 나올 수도 있다. 특히 프롬프트가 긴 경우에는 중요한 단어는 앞쪽에 배치하여야 한다.

✔ AI 이미지 편집 기능 활용

Stable Diffusion & Flux의 Inpaint 기능을 활용하면 Image to Image 로 이미지를 수정하여 만들어 낼 수있다.

✔ AI 업스케일러 사용

개인적으로 HirexFix 를 애용한다.

이 블로그 검색