Stable Diffusion 용어 정리(Checkpoint, Lora, VAE, Embedding)

Stable Diffusion을 처음 사용하시면 낯선 용어들이 많이 보이실 겁니다. Checkpoing부터 Lora, VAE 같은 용어들로 되어 있는 설정들을 확인하고 설정을 해주셔야 하는데, 이게 어떤 것을 뜻하는지 알지 못하면 설정하기 어렵겠죠?

오늘은 Stable Diffusion에서 사용하는 몇 가지 용어를 알려드리도록 하겠습니다. 일반 사용자들을 위해 간략하게 알려드리겠습니다.

 

Stable Diffusion 용어 정리 Checkpoint / Lora / VAE / Embedding / Hyper Network

1. Checkpoint

모델이라고 불리우는 체크포인트입니다. 메인 모듈입니다.

어떤 메인 모듈을 사용하냐에 따라서 그림의 전체적인 형태가 바뀌게 됩니다.

애니풍, 실사, 반실사 등 모델의 종류에 따라서 나오는 그림의 형태가 바뀝니다.

 

2. Lora

로라를 듣고 모델의 이름인가? 하는 의문이 있을 수 있습니다. 로라(Lora)는 Low-Rank Adaptation의 줄임말로 기존 모델에 새로운 피사체를 학습시키는 추가 학습 기법입니다.

로라는 모델 전체의 스타일을 바꾸는 역할을 합니다. AI 그림에서 영향도가 상당히 큽니다.

드림부스 기반으로 체크 포인트를 학습시킵니다. GPU 요구사항이나 용량이 크지 않습니다.

동시에 여러 Lora를 AI 그림에 적용할 수 있고, 가중치 조절도 가능합니다.

 

 

DreamBooth 같은 기법도 있지만 이런 것들의 대비 로라의 강점은

- 짧은 시간에 학습이 가능하다

- 비교적 낮은 사양의 PC에서도 학습이 가능하다

- 모델 파일의 용량이 작다(가볍다)

 

3. Embedding

임베딩은 모델에 영향을 주지 않는 상태에서 프롬프트를 추가 학습하는 것 입니다. Textual inversion이라고 불리기도 합니다.

다음 경로에 넣으면 적용이 가능합니다.

sd/stable-diffusion-webui/embeddings/

영향력이 크지 않기 때문에 어떤 특징을 학습 시키더라도 100% 발현되지 않을 수 있습니다.

easynagative 임베딩을 사용하면 프롬프트에 easynegative가 새롭게 생기게 됩니다.

(easynegattive:0.5) 와 같은 방법으로 프롬프트에서 사용하실 수 있습니다.

 

4. Hyper Network

임베딩과 비슷한 역할로 모델에 공부를 시킵니다. 임베딩과 하이퍼 네트워크는 모델과 로라에 비해 영향력이 크지 않습니다.

하이퍼 네트워크는 위 처럼 프롬프트에서 사용하실 수 있습니다.

 

경로는 다음과 같습니다

\stable-diffusion-webui\models\hypernetworks

 

5. VAE

VAE는 Variational Autoencoder의 약자로 Stable Diffusion에서 데이터 분포의 잠재 공간 학습에 사용되는 기술입니다.

간단하게 말해서는 그림 보정 기능이라고 생각하시면 편합니다.

같은 모델인데 그림이 흐리거나 퀄리티가 떨어진다면 VAE를 사용하지 않아서 그런 이유가 클 겁니다.

'vae-ft-mse-840000-ema-pruned.ckpt' 같은 이름의 파일이 VAE 파일에 해당됩니다.

 

 

모델은 stable-diffusion-webui\models\Stable-diffusion 폴더에

VAE는 stable-diffusion-webui\models\VAE 폴더에 추가

 

플러그인을 사용하시는 분들은 VAE를 모델 아래에 설정해 주시면 됩니다.

 

settings에 적용 후에는 꼭 Apply settings를 클릭해 줘야 합니다. 그런 다음 Reload UI를 클릭해서 WebUI를 다시 열어 주세요

 

VAE를 적용했는데도 안된 것 같다면, 이미 모델에 VAE가 적용되어 있는 경우가 있습니다.

Ignore selected VAE for stable diffusion checkpoints that have their own .vae.pt next to them
옆에 자체 .vae.pt 이 있는 안정적인 확산 체크포인트의 경우 선택한 VAE를 무시합니다

이 부분을 체크해서 모델에서 기본으로 쓰이는 VAE를 무시할 수 있습니다.

 

[정보, 꿀팁(info)] - Stable Diffusion AI 실사 모델 공유 사이트 모음 4가지

Stable Diffusion AI 실사 모델 공유 사이트 모음 4가지

[정보, 꿀팁(info)] - 스테이블 디퓨전(stable diffusion) 사용방법

스테이블 디퓨전(stable diffusion) 사용방법

[정보, 꿀팁(info)] - 아이폰, 아이패드 AI 그림 만드는 앱(Mobile Stable Diffusion Draw Things)

아이폰, 아이패드 AI 그림 만드는 앱(Mobile Stable Diffusion Draw Things)