좋은 이미지를 만들기 위한 조건 - Flux 또는 Stable Diffusion 활용법

좋은 이미지를 만들기 위한 조건을 살펴 보면

그동안의 경험을 바탕으로 개인적으로 Stable Diffusion 과 Flux 를 이용하여 어떻게 멋진 이미지를 만들 수 있는 가를 정리해 보고자 한다. 물론 이 글의 내용은 개인적인 생각일 뿐 이것이 정석은 아니라는 것이다. 다른 달인들의 방식은 나의 방식과 다를 수도 있다. 그러나 그동안 수만장의 이미지를 생성하면서 나름 느꼈던 바를 정리한 것이기 때문에 초보자들에게 조금이라도 도움이 되었으면 한다.

Flux Master

1. Prompt 의 중요성

이미지 생성형 AI에서 프롬프트는 결과물에 가장 큰 영향을 준다. 프롬프트는 사용자가 원하는 이미지를 AI에게 설명하는 텍스트 명령이다. 구체적이고 명확한 프롬프트가 중요하다. 예를 들어, "beautiful landscape"보다는 "sunset over mountains with a calm lake in the foreground, vibrant orange and pink hues reflecting on the water"와 같이 자세히 묘사하는 것이 더 좋은 결과를 얻을 수 있다.

구체적인 묘사: 색상, 분위기, 구도, 시간대, 스타일 등을 포함하면 더 정교한 이미지를 얻을 수 있다.
키워드 선택: 핵심적인 단어들을 명확히 사용한다. 예를 들어, "photorealistic" 또는 "surreal" 같은 단어로 스타일을 지정할 수 있다. 개인적으로 가장 좋아하는 키워드는 "silhouette" 이다. 이것은 여성 인물을 묘사하는데 좋은 작품성을 부여한다.
부정 키워드 사용: 원하지 않는 요소는 Negative Prompt 에 부정 키워드로 명시할 수 있다. 예를 들어 "bad quality, bad anatomy, wrong fingers" 또는 "text, watermark"라고 하면 해당 요소가 배제된다. 다만 부정 키워드는 스테이블 디퓨전 SD1.5 에서 주로 영향을 주었고 , SDXL 버전에서는 부정 키워드가 없어도 제법 잘 나온다. 특히 Flux 에서는 Negative Prompt 입력이 필요가 없다.

2. Style 과 분위기

이미지의 스타일과 분위기를 설정하는 것도 매우 중요하다. AI는 다양한 예술적 스타일을 모방할 수 있기 때문에 원하는 스타일이 있다면, 프롬프트에 그 스타일을 명시하면 된다.

예술적 스타일: "Impressionist painting" 또는 "Art Deco"와 같은 구체적인 예술 사조를 명시하면 특정 시대나 예술가의 스타일을 반영한 이미지가 생성된다.
사진 스타일: "cinematic lighting" 또는 "photography"와 같은 표현을 사용하여 이미지를 더욱 사실적으로 만들 수 있다.
그림 재료 스타일: "oil painting" , "water color painting" , "pencil sketch" 또는 "ink painting" 등 으로 표현해 주면 그런 미술 스타일의 작품들이 만들어 진다.
감정 및 분위기: "dark and moody" 또는 "bright and cheerful"과 같이 이미지의 전반적인 느낌도 표현할 수 있다.

3. Model 선택 - Checkpoint 또는 Loras

Stable Diffusion Checkpoint 는 SD 모델과 SDXL 그리고 Pony 모델이 있다. SD 는 512x512 의 해상도로 훈련되었고, SDXL 은 1024x1024 해상도로 훈련이 된 모델이다. 따라서 SDXL 모델 사용시 더 좋은 해상도의 이미지를 얻을 수 있다. Pony 모델은 파생된 모델로 애니메이션 캐릭터 스타일로 독특한 일러스트레이션을 생성하기 위해 주로 사용된다. Flux 모델도 1024x1024 로 훈련 되었기 때문에 높은 해상도의 이미지를 만들 수 있다. 개인적으로는 Flux의 이미지 품질이 가장 높은 것으로 생각된다. Midjourney 에도 결코 뒤지지 않는 모델이다.

Checkpoint 또는 Flux Unet 모델 : stable diffusion 과 Flux 모두 맨 처음의 기본 모델 들이 있고 거기서 변형된 파생 모델들이 수 없이 많이 존재한다. 그 모델들은 주로 CIVITAI 사이트에서 다운 받을 수 있기 때문에 수시로 들어가서 마음에 드는 모델들을 다운받아 사용 하기를 권한다. 똑같은 prompt 라도 어떤 모델을 사용 하는가에 따라 이미지의 결과물이 많이 다르다. 인물, 풍경, 사이버, 환타지, 그림, 스케치 등이 각각 모델에 따라 다르기 때문에 여러가지 모델들을 사용한 후 자신의 취향에 맞는 모델들을 찾을 수 있을 것이다. 반드시 수많은 이미지를 생성해 보아야 한다.
Pony 모델 : 이것 역시 수많은 파생 모델들이 존재한다. 그림체도 제각각이고 SFW, NSFW도 구분되어 있다. 참고로 NSFW 모델이 섹시하고 야한 19금 그림을 만들 수 있는 모델이다. 좋은 모델을 찾는 것이 아마도 좋은 이미지를 만들 수 있는 지름길이 될 것이다.
Loras : 좋은 checkpoint 모델을 찾았어도 그 모델이 100% 만족감을 주기 어렵다. 뭔가 아쉬운 부분이 존재하게 되는데 이럴 때 부족한 부분을 채워줄 모델이 Lora 모델 들이다. Lora 모델과 함께 사용하면 상당히 만족할 만한 이미지 생성이 가능하다. 보통 Lora 모델을 사용 할 때에는 Trigger 키워드를 사용하여야 Lora 모델이 작동하는 방식이다.

수 많은 이미지를 생성해 보면 어떤 모델에는 어떤 Prompt 가 잘 되는지 특성이 파악되고 그렇게 찾은 후에 적절한 정도의 Prompt 를 사용해도 좋은 결과를 얻을 수 있다. Midjourney , Stable Diffusion, Pony, Flux 에 적용되는 prompt 들이 각각 모두 다르기 때문에 이것은 많은 시행오차를 겪은 후에야 특성을 파악할 수 있을 것으로 본다.

4. 여러가지 방법 시도

많은 이미지를 생성해 보는 것은 당연한 일이다. 그런데 문제는 prompt 는 영어로 만들어야 하는데 외국어인 영어로 만들기가 쉽지 않는 일이다. 간단한 이미지를 위한 prompt 조차도 시간이 걸린다. 그래서 처음에는 다른 사람이 만든 prompt 를 가지고 많이 만들어 보기를 권한다. 거기서 여러가지 키워드를 변경하면서 시도해 보면 좋은 키워드도 찾을 수 있다. stable diffusion 을 사용하기 위해 반드시 SD 로 만든 prompt 만 참고 할 필요는 없다. Midjourney 용 prompt 도 복사해서 사용해 보라. 예기치 않는 멋진 이미지가 만들어 지는 것을 종종 느낄 수 있다. 원하는 이미지는 아니지만 더 멋진 이미지가 만들어 진다면 즐거운 일이다. 그것으로 그 prompt 를 수정해 나가면 나만의 독특한 작품이 만들어 진다.

5. 나만의 모델 만들기 - Lora

이미지를 계속 만들다 보면 다른 사람들이 만든 이미지도 보이고 어떻게 만든 것인지도 예상이 된다. 그리고 독특한 느낌의 이미지가 무엇인지도 알게 된다. 그럴 때 나만의 독특한 이미지를 만들고 싶을 것이다. 이런 경우에 checkpoint 를 변형해서 나만의 모델을 만들 수도 있지만 비용이 들고 만들기도 쉽지 않다. 그래서 나만의 독특한 Lora 를 만들어 사용하라는 것이다. Lora를 만드는 방법은 이전에 작성된 다른 글을 참조 하면 된다. 특히 나만의 얼굴을 가진 캐릭터를 원한다면 반드시 Lora를 만들어 사용하기를 권한다.

결론적으로

좋은 이미지를 만들기 위해서는 구체적인 프롬프트 작성, 적절한 AI 모델 선택, 반복적인 작업, 나만의 독특한 Lora 제작 등 여러 요소가 결합되어야 합니다. AI가 제공하는 다양한 기능을 최대한 활용하면서 반복적인 시도를 통해 최적의 조건들을 찾아내면 내가 원하는 이미지를 만들어 낼 수 있다. 생성형 이미지의 달인이 되는 길은 만들고 또 만들고 반복하면서 checkpoint - lora - prompt - 기타 조건 들의 최적 조건을 찾는 것이라고 생각한다.

이 블로그 검색