[AI] 5. Lora 설치와 학습

https://github.com/bmaltais/kohya_ss

GitHub - bmaltais/kohya_ss

 

먼저 git에 들어가서 주소를 복사하자.

 

 

 

아무곳이나 폴더를 만들어서 Git Bash Here를 눌러준다.

(git 설치 그리고 PATH 환경설정(설치시 자동)이 되어있어야 한다.)

 

파이썬은 반드시 3.10.6으로 설치!! (버전으로 인한 오류가 발생할 수 있음)

 

 

 

 

 

 

git clone 주소 를 입력하면 kohta_ss 라는 폴더가 생긴다.

 

 

 

 

 

 

폴더안에 setup을 눌러보자.

 

 

 

 

 

 

 

그동안 일일이 해야했던 세부 설정들이 자동으로 진행된다.

설치 폴더에 DataSet폴더 - a,b를 만들었다.

a는 내가 학습에 사용 할 리소스를 담은 폴더

b는 로라 학습시에 사용 할 폴더

어떻게 폴더 관리하든 본인 마음이며, 따라 할 필요는 없다.(로라학습도 누군가의 글을 보고 배운걸....//ㅁ//)

 

 

 

 

 

((masterpiece, best quality)),1girl, solo, 
pants, denim, white shirt, breasts, black jacket, long sleeves, jeans, bangs, 
black hair, short hair, brown eyes, medium breasts,

 

 

 

그럼 연습삼아 여친을 만들어보자!!

 

 

 

 

 

사용한 모델은 어비스오랜지2

https://huggingface.co/WarriorMama777/OrangeMixs

WarriorMama777/OrangeMixs · Hugging Face

 

 

 

요렇게 자동 누끼로 배경을 없애고 수백장 돌려서 잘나온거만 추려냈다.

 

 

 

 

 

 

Utilities탭으로 가면 캡션 메뉴에 WD14 Captioning 이라는게 있다.

이건 그림에 프롬프트를 자동으로 작성해준다.

 

 

 

 

폴더를 지정해주고 Caption images를 눌러보자.

 

 

 

 

그럼 자동으로 WD14 데이터모델을 다운받고 캡셔닝을 해주게된다.

 

 

 

 

 

 

 

요렇게 그림마다 txt로 자동으로 프롬프트가 붙을걸 볼 수 있다.

그림과 캡션님한 txt를 DataSet폴더 A라고 만든곳에 복사해두자.

 

 

 

 

 

그럼 드림부스 로라탭으로 넘어가서 ....

 

 

 

 

Source, folders, Training parameters, Tool 탭이 보인다.

도전의식이 없어서 인터넷에서 배운대로만 사용하니 그대로 설정해보자.(설정은 자신에게 맞게 바꿔가면서 익혀야함)

Instance prompt - iom (몇가지 있었는데 까먹음 iom을 평균적으로 사용한다고 함)

Class prompt - 1girl (트리거 태그로도 사용이 가능해서 특이한 태그를 적으면 로라를 더 잘 인식함)

(특정 스타일 로라는 style이라고 쓰면 더 잘먹는 경우가 있다고한다.)

Training images - A폴더

Destination training directory - B폴더

Repeats - 100~150 (반복횟수 중요 100에서 150사이가 가장 좋다고함) 

 

 

 

 

 

요 버튼을 차례로 눌러주자

그럼 A폴더의 아까 넣었던 이미지와 태그가 B폴더에

 

 

 

 

 

 

요렇게 자동으로 폴더가 만들어지면서 복사가됨

 

 

 

 

 

다음으로 Folders 탭을 보면 복사될때 자동으로 폴더경로가 들어가 있는걸 볼수있다.

Model output name 이 last로 되어있는데 학습시키면 나오는

로라모델의 이름이니 아무거나 바꿔도 상관없다. 학습이후에도 바꿔도 된다.

 

 

 

 

다음으로 Source model 폴더를 보면 맨앞이 학습할때 기준이되는 모델을 넣어야한다.

본인은 학습용 기본 애니띵 v3을 넣었다.

 

 

 

https://huggingface.co/Linaqruf/anything-v3.0/tree/main

Linaqruf/anything-v3.0 at main

 

 

두번째 Model Quick Pick는 무시하자. 바꾸면 그 모델을 한세월 다운받고있게 된다.

세번째는 sefetensor로 바꾸자. ckpt는 변조의 우려가 있는 관계로 배포시에 받는 사람이 불안해한다.

v2라고 적힌 체크는 꺼주자 SD 2.0 이상과 관련되어있다.

 

 

 

 

 

이제 학습에 필요한 설정이다. 요건 그냥 기본으로 두자.

Epoch가 중요하다는데 잘모르겠다. 3정도 주니

 

 

 

 

 

요런식으로 3개가 튀어나오는데 시간이 3배로 걸린다... 그냥 학습 조금 미흡해도 1로 하면 20분안에 학습된다....

 

 

 

 

자! 이제 대망의 학습 버튼을 뚜둥!!

 

 

 

 

 

학습이 시작되었다. 그림의 양과 복잡도에 따라 시간이 많이 걸린다.

학습시에 그래픽 카드 VRAM 8GB이상이면 좋다.

 

 

 

 

 

 

Lora를 모델폴더에 넣고 <Lora:firstgirl : 1> 적용하면 원하던 캐릭터가 그대로 나오게된다.

1girl을 빼고 firstgirl을 트리거 태그로 넣었기에 firstgirl이라는 태그를 프롬프트에 넣어주었다.

 

 

 

 

 

아무 모델이나 바꿔서 시험을 해봤다. 대충 학습이 된것같다.

학습 그림을 뽑을때 되도록 VAE는 쓰지 않는 것이 좋다.

VAE를 사용해서 뽑으면 로라적용시 VAE를 넣었을때 그림이 너무 타는 현상이 있는것 같다.

 

 

 

 

그리고 정규화 이미지라는게 있다.

특정 그림만 학습시키면 다양성이 없어져 학습이 튀는걸 방지하는 차원에서 넣어준다는데

솔직히 정규화 이미지를 넣고 해보지 않아서 관련된 링크만 첨부!

 

 

https://arca.live/b/aiart/72343727?target=all&keyword=%EC%A0%95%EA%B7%9C%ED%99%94&category=%EC%9E%90%EB%A3%8C%EC%8B%A4&p=1 

학습용 정규화이미지 animefull 2000장 - AI 그림 채널