스테이블 디퓨전은 AI를 기반으로 하는 이미지 생성 도구로, 사용자가 원하는 스타일과 내용의 이미지를 생성할 수 있습니다. 복잡한 프로그래밍 없이도 높은 품질의 이미지를 만들 수 있습니다. 이 글에서는 스테이블 디퓨전을 이용해 원하는 이미지를 생성하는 방법에 대해 자세히 설명하겠습니다.
먼저 스테이블 디퓨전 설치가 안되신 분들은 다음 글을 참고하여 설치를 진행해 주시기 바랍니다.
- 스테이블 디퓨전 코랩 무료 및 로컬 설치 방법 바로가기
- 스테이블 디퓨전 WebUI 화면 설명 바로가기
- 스테이블 디퓨전 프롬프트 공유 사이트 소개 바로가기
- 스테이블 디퓨전 그래픽카드 사양에 따른 VRAM 설정 방법 바로가기
- 스테이블 디퓨전 자동 업데이트 설정 및 사용자 인터페이스 5가지 소개 바로가기
스테이블 디퓨전 체크포인트 모델 다운로드
기본으로 제공하는 체크포인트 모델인 v1-5-pruned-emaonly은 비교적 이미지 퀄리티가 좋지 않으니 civitai.com 사이트로 이동하여 원하는 이미지와 유사한 이미지 모델을 찾아 다운로드 합니다.
- 모델 선택: 먼저 생성하고자 하는 이미지의 스타일과 유사한 스테이블 디퓨전 모델을 선택합니다.
- 다운로드: 선택한 모델의 상세 페이지에서 다운로드 버튼을 클릭하여 모델을 다운로드합니다.
- 적용: 다운로드 받은 모델을 스테이블 디퓨전 설치 경로\models\Stable-diffusion 경로로 이동에 붙여 넣어줍니다.
- 체크포인트 설정: 스테이블 디퓨전 WebUI 화면에서 체크 포인트에 방금 다운로드 받은 모델을 선택합니다.
전 저번 글에서 다운로드 받은 majicMIX realistic 체크포인트 모델을 사용하겠습니다.
해당 모델은 실사 이미지에 특화된 모델입니다.
스테이블 디퓨전 WebUI에서 다운로드 받은 체크포인트 모델 majicmixRealistic_v7를 선택합니다.
스테이블 디퓨전 간단한 이미지 생성
그럼 저번 글에서 소개해드린 스테이블 디퓨전 프롬프트 공유 사이트를 통해 원하는 이미지의 생성 정보를 확인합니다.
전 다음 사진을 만들어 보겠습니다.
위 이미지 생성 정보는 다음과 같습니다.
- prompt: 1girl,face,white background,
- Negative promt: (worst quality:2),(low quality:2),(normal quality:2),lowres,watermark,
- Model: majicmix7
- CFG Scale: 7
- Steps: 30
- Sampler: Restart
- Seed: 2840409752
- Clip skip: 2
또는 설정 정보 하단에 있는 ‘Copy Generation Data‘를 클릭하면 상세 정보를 확인할 수 있습니다.
[상세 정보]
1girl,face,white background,
Negative prompt: (worst quality:2),(low quality:2),(normal quality:2),lowres,watermark,
Steps: 30, VAE: vae-ft-mse-840000-ema-pruned.safetensors, Size: 512x768, Seed: 2840409752, Model: majicmix7, Version: v1.6.0, Sampler: Restart, VAE hash: 2453b80bc1, CFG scale: 7, Clip skip: 2, Model hash: 7c819b6d13, Hires steps: 20, BMAB contrast: 0.9, Hires upscale: 2, Hires upscaler: ESRGAN_4x, BMAB brightness: 1.1, Denoising strength: 0.1, BMAB color temperature: 15, BMAB noise alpha final: 0.05처음에는 위 정보를 자신의 스테이블 디퓨전에 똑같이 적용하여 이미지를 생성합니다.
만약 Sampling method, Hires.fix 등 WebUI 화면에 있는 설정 정보를 모르시겠다면 다음 글을 확인해 보시기 바랍니다.
다음과 같은 이미지가 생성되었습니다.
위의 civitai.com 에서 확인한 이미지와 비슷한 이미지 생성되었습니다.
스테이블 디퓨전 프롬프트 작성 요령
아래 이미지를 생성해 보겠습니다. 해당 이미지 생성 정보에 있는 프롬프트와 네거티브 프롬프트를 확인해 보면 위에서 사용하지 않는 특정 단어들을 확인할 수 있습니다.
그럼 해당 프롬프트에 작성되어 있는 내용을 좀 더 상세히 알아보겠습니다.
1. 괄호() – 프롬프트 내용 강조하기
[prompt]
masterpiece,best quality,bright colors,solo,photo_,(1girl:1.3),(standing:1.3),(looking at viewer:1.4),Elegant,detailed gorgeous face,(cowboy shot:1.4),realistic,dappled sunlight,(seaside background:1.4),sun,,MIS,abdominal girdle,long sleeves,<lora:MIS40:0.75>위 프롬프트를 보시면 괄호()를 적용한 프롬프트를 확인하실 수 있습니다.
(1girl:1.3),(standing:1.3),(looking at viewer:1.4) 등과 같이 ()안에 있는 프롬프트는 해당 내용을 강조하기 위해 괄호()로 묶어주는 것입니다.
스테이블 디퓨전은 작성된 모든 프롬프트를 다 인식하여 이미지 생성에 반영하지만 때론 특정 프롬프트의 내용을 무시하고 이미지를 생성하기도 합니다.
이럴 때 꼭 이미지에 포함되어야 할 요소가 있다면 괄호()안에 작성하여 강조하는 것입니다.
프롬프트의 중요성에 따라 이중괄호((프롬프트))를 사용하기도 합니다.
2. Lora 모델 적용
masterpiece,best quality,bright colors,solo,photo_,(1girl:1.3),(standing:1.3),(looking at viewer:1.4),Elegant,detailed gorgeous face,(cowboy shot:1.4),realistic,dappled sunlight,(seaside background:1.4),sun,,MIS,abdominal girdle,long sleeves,<lora:MIS40:0.75>프롬프트 마지막에 보이는 <lora:MIS40:0.75>는 Lora 모델을 적용한 것입니다.
Lora란?
Lora란 Low Rank Adaptation의 약자로, 기존 체크 포인트 모델에서 추가적으로 이미지의 스타일이나 세부 사항을 조정하고 싶다면, Lora 모델을 다운로드 받아 이미지에 반영할 수 있습니다.
Lora 모델 적용 방법
Lora 모델 또한 civitai 사이트에서 다운로드 받아 스테이블 디퓨전 설치 경로\models\Lora 에 넣어주면 됩니다.
Lora 모델 사용 방법
Lora 사용법은 두 가지가 있습니다.
첫 번째 방법은 Lora 탭에서 사용할 lora를 클릭하여 프롬프트에 즉시 반영하는 방법입니다.
클릭하면 자동으로 프롬프트에 작성되고 반영 비율도 :1으로 설정되어 있습니다. 반영 비율을 수정하고 싶으시다면 0~1 사이에 값으로 :1 값을 수정하시면 됩니다.
두 번째 방법은 프롬프트에 직접 텍스트를 작성하는 것입니다.
- <> 괄호 안에 ‘lora’를 적습니다.
- : 뒤에 lora 이름을 적습니다. (이름 lora 파일 이름과 동일해야 합니다.)
- : 뒤에 이미지 생성에 반영될 강도를 적습니다
강도는 0~1까지 적용 가능합니다. 0은 반영하지 않는 것이고 1은 완전히 반영하여 이미지를 생성하는 것입니다.
즉 <lora:MIS40:0.75>는 lora 모델 MIS40을 사용하고 반영 비율은 0.75 강도로 반영하겠다 라는 뜻입니다.
MIS40 lora는 MIS S40 Lora로 파일 이름은 MIS40 입입니다.
해당 lora는 다음 링크에서 다운로드 받으실 수 있습니다.
MIS S40 로라(lora) 말고도 다양한 로라가 존재하니 civitai 등의 사이트를 통해 검색해 보고 다운로드 받아 직접 사용해 보시기 바랍니다.
3.네거티브 프롬프트 EMBEDDINGS 설정
- 스테이블 디퓨전을 사용하다 보면 이목구비와 손, 이미지 구도 등이 부자연스러운 경우가 많습니다.
이럴 경우 이미지에 부정적인 요소를 네거티브 프롬프트에 작성해줘야 합니다. 하지만 이미지를 생성할 때마다 매번 수 많은 프롬프트를 입력하기란 매우 번거롭습니다.
이럴 경우 미리 작성된 네거티브 프롬프트를 불러와서 사용할 수 있습니다. 이렇게 미리 작성된 네거티브 프롬프트 모음을 임베디드라고 부릅니다.
위 이미지의 임베디드를 보면 다음과 같습니다.
[Negative prompt]
badhandv4,EasyNegative,ng_deepnegative_v1_75t,rev2-badprompt,verybadimagenegative_v1.3,negative_hand-neg,bad-picture-chill-75v,(watermark:2),(holding phone:2),(tattoo:2),(dedicated_to_artificial_humans_1.2),(sunglasses:1.9),(holding phone:2),(bag:1.8),바로 여기 보이는 badhandv4, EasyNegative, ng_deepnegative_v1_75t, rev2-badprompt, verybadimagenegative_v1.3, negative_hand-neg, bad-picture-chill-75v 등이 바로 네거티브 프롬프트 모음 즉 임베디드입니다.
임베디드 프롬프트 사용 방법
거티브 프롬프트 모음 적용 방법은 다음과 같습니다.
- cititai.com 사이트에서 해당 네거티브 프롬프트 검색
- 다운로드하기
- 스테이블 디퓨전 설치 경로\embeddings 경로에 붙여 넣기
- 네거티브 프롬프트에 적용
다음 사진과 같이 civitai.com 사이트에서 badhandv4를 검색하여 다운로드 받습니다.
확인해야 할 사항은 Type에 EMBEDDING과 Trigger words 키워드입니다.
Trigger words는 해당 badhandv4 프롬프트를 불러오는 조건입니다. 네거티브 프롬프트에 badhandv4를 작성하면 이 embedding이 자동으로 불어와 지게 되는 것입니다.
그럼 badhandv4을 포함하여 EasyNegative, ng_deepnegative_v1_75t, rev2-badprompt, verybadimagenegative_v1.3, negative_hand-neg, bad-picture-chill-75v도 모두 다운로드 합니다.
각 네거티브 프롬프트 모음에 대한 설명은 해당 다운로드 페이지에서 확인할 수 있습니다.
예를 들어 ng_deepnegative_v1_75t은 잘못된 인체 구조, 안 좋은 색상, 위 아래가 맞지 않는 구조 등을 학습했고 이런 부정적인 것들을 피하기 위해 도와준다고 작성되어 있습니다.
다운로드 완료 후 다음과 같이 해당 파일을 스테이블 디퓨전 설치경로\embeddings 폴더에 넣어줍니다.
다운로드 받은 임베디드는 스테이블 디퓨전 WebUI 화면의 ‘Textual Inversion‘ 탭에서 확인할 수 있습니다.
해당 탭에 있는 임베디드를 클릭하거나 또는 프롬프트에 직접 작성하여 사용하실 수도 있습니다.
지금까지 스테이블 디퓨전을 이용한 간단하게 이미지 생성하는 방법부터 특정 요소 강조 표현, Lora 모델 적용, 임베디드 사용법까지 알아보았습니다.
가장 중요한 것은 직접 이미지를 생성해보고 다양한 프롬프트를 작성해 보는 것이 중요합니다.
프롬프트 공유 사이트를 통해 다른 사람이 많든 이미지를 참고하여 프롬프트 요소(단어) 들을 확인하고 영감 받아 이미지를 생성하시기 바랍니다.
그럼 다음은 콘티, 테마, 초점, 배경, 장소, 인물 설정, 얼굴 상태 행동 등 다양한 설정에 사용하는 스테이블 디퓨전 프롬프트에 대해 소개하겠습니다.