[AI] 4. WebUI ControlNet 사용

자세 교정이 가능한 컨트롤넷이다.

지금까진 어떤 자세를 추출하기 위해 prompt를 시험하고 무수한 가챠(?)를 돌려서

그림을 만들어야했고, 능력자의 프롬프트가 (예 원소법전이라는..)나와주길 기다리는 수 밖에

없었다. 이 기능으로 AI그림은 한층 더 발전했다고 생각한다.

 

일단 아무거나 올려서 시험해보자

 

Enable을 체크해서 활성화 후 Preprocessor - Canny , Model - Canny(왼쪽 계산, 오른쪽 적용)

가장 처음에 있는 Canny를 사용했다.

확실히 입력 그림과 같은 포즈의 그림이 추출되었다.

 

낚서는 scribble

그림스케치는 canny

부드러운 경계선 HED

직각 라인은 mlsd

본추출 pose

깊이 depth

노멀 normal

그 외 색으로 사물구분 seg

 

등등 자세한건 아래 링크에서 참고!

 

<자세한 참고>

https://github.com/lllyasviel/ControlNet

GitHub - lllyasviel/ControlNet: Let us control diffusion models!

 

만약 추출된 정보가 있다면 왼쪽은 none으로 두고

model에 추출 정보와 같은 모델을 선택해서 사용한다.

 

주로 오픈포즈가 많이 사용되는데 3D로 접근하기 가장 용의하다.

 

확장기능에서 사용 가능한 목록을 보면 3D Openpose라는게 있다.

마음대로 포즈를 만들고 늘 삐꾸나는 손모양까지 Depth로 한번에 뽑을 수 있어서 아주 좋은 툴!!

 

 

완벽하진않다! 하지만... 좋다!

컨트롤넷은 다중 사용이 가능하다.

 

 

Multi ControlNet 메뉴에서 몇개의 컨트롤넷을 사용할지 결정가능하다. 기본 4개로 되어있다.

아래 allow Other script to control this extension 메뉴도 체크해두자

이 메뉴는 체크를 해두면 다른 확장 스크립트를 사용할때 컨트롤넷이 사용된다.(m2m 영상에도 사용)

 

컨트롤넷은 t2i , i2i 둘다 사용가능하다.

 

기본 모델은 여기 링크인데 알아만 두고 받지말자! (개당 5.7GB!!)

https://huggingface.co/lllyasviel/ControlNet/tree/main/models

lllyasviel/ControlNet at main

 

최적화된 모델(개당 700mb)을 받으면된다.

https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main

webui/ControlNet-modules-safetensors at main

모델을 넣는 폴더는 \stable-diffusion-webui\extensions\sd-webui-controlnet\models\ 여기에 넣으면된다.