이제까지의 메타코드M 강의에서는 생성형AI로 그림을 그리는 것을 학습했다. 지금부터는 새로운 영역, AI로 영상을 만들어볼 것이다. 스테이블 디퓨전의 Deforum, mov2mov 기능을 활용해 쉽고 빠르게 영상을 생성해보자.
메타코드M
빅데이터 , AI 강의 플랫폼 & IT 현직자 모임 플랫폼ㅣ메타코드 커뮤니티 일원이 되시기 바랍니다.
mcode.co.kr
Index
3강. 생성 AI 실습
Deforum으로 만드는 Shorts 영상
먼저 영상으로 만들고자 하는 이미지를 프롬프트를 넣어 만들어야 한다. 본 강의에서는 ckpt 파일을 revAnimated로 진행했다.
다음으로 Extensions에서 Available 탭으로 가 Load from을 클릭한다. 그리고 'deforum'을 검색하여 나오는 결과를 선택해 설치하면 된다. 다른 방법으로는 Install from URL 탭에서 이 주소 (https://github.com/deforum-art/sd-webui-deforum)를 입력하여 다운로드하는 것이 있다.
Deforum이 정상적으로 설치됐다면, Deforum이라는 카테고리가 생기고 이와 같은 화면이 뜰 것이다.
Run 좌측의 Keyframes에서 키프레임을 설정한다. 여기서는 카메라 무빙을 조작한다. Frames를 높이면 긴 영상이 된다. Strength schedule의 형식에 주목해야 하는데 '0: (0.65)'는 0번째 프레임 즉, 영상 시작부터 0.65 정도의 스트렝스를 적용한다는 의미다. 여기서 스트렝스란 이미지 작업에서도 부여했던 denoising strength이다.
강의에서는 Motion을 위와 같이 설정했다. Rotation 3D Y로 설명하자면, 30 프레임부터 -3.5 스트렝스를 적용하다가 90프레임까지 0.5 스트렝스로 점점 올려간다는 뜻이라고 할 수 있다. 이미지가 잘 안보이면 '더보기'를 펼쳐서 확인하길 바란다.
Strength schedule 0: (0.65),25: (0.55)
Translation Z 0:(0.2),60:(10),300:(15)
Rotation 3D X 0:(0),60:(0),90:(0.5),180:(0.5),300:(0.5)
Rotation 3D Y 0:(0),30:(-3.5),90:(0.5),180:(-2.8),300:(-2),420:(0)
Rotation 3D Z 0:(0),60:(0.2),90:(0),180:(-0.5),300:(0),420:(0.5),500:(0.8)
FOV schedule 0: (120)
Noise schedule 0:(-0.06*(cos(3.141*t/15)**100)+0.06)
Anti blur AS 0:(0.05)
파라미터에 관해 보다 상세한 설명이 필요한 경우, 다음 주소 (링크)에서 찾아보면 도움이 될 것이다.
수업의 기타 설정은 위와 같고 나머지는 기본 설정을 유지했다. 모션 설정이 가장 중요한 만큼, 소요되는 시간도 길 것으로 보인다.
Prompts에서는 각 프레임에 어떤 이미지를 생성할 것인지 넣어주어야 한다. ChatGPT로 프롬프트를 준비하면 시간을 단축할 수 있을 것이다.
Init은 영상의 첫 이미지를 설정하는 공간이다. 롤에서 한타를 여는 것을 '이니시'라고 하는데 같은 단어에서 비롯된 것이라 친숙할 것으로 생각한다. 강의에서는 위의 이미지를 넣었더니 울버린과 결합된 형태의 이미지로 바뀌었다.
여기서는 FPS를 조정하거나 사운드를 추가해 결과물의 퀄리티를 높일 수 있다.
이 과정까지 끝나면 화면 우측에서 Generate 버튼을 누르면 된다. 그 결과, 다수의 이미지가 만들어 지는데 PC 사양에 따라 30분까지 걸릴 수 있다고 한다.
요약하자면, Deforum은 여러 이미지를 생성해 이를 연속 재생하여 영상처럼 보여주는 방법이고, 카메라 무빙으로 몰입감을 높이는 것이 핵심인 듯하다.
mov2mov를 활용한 실사 동영상 애니화
mov2mov는 영상을 학습해 새로운 영상을 만드는 것이다. 당연히 영상을 다루는 만큼 시간도 이미지에 비해 더 오래 걸리므로 실습용으로는 짧은 영상으로 테스트하는 것을 추천한다.
유튜브에 올라와 있는 대부분의 AI 영상은 temporal kit이라는 것으로 만들어졌는데 mov2mov는 temporal kit의 근간이 되는 기술이라고 한다.
여느 때처럼 설치부터 시작한다. Extensions - Available에서 Load from을 눌러 mov2mov를 설치한다. 다 깔고 installed에서 apply 버튼을 클릭하는 것을 잊지말자.
mov2mov를 제대로 설치했다면 위와 같은 화면이 나올 것이다. 다음 단계를 위해 영상은 짧은 것으로 준비하고 i2i에서 활용하기 위한 컷도 하나 준비한다.
프롬프트는 물론 화면 아래의 세부설정까지 진행한다. 특이사항으로는 Sampling Steps를 40으로 했다는 것인데 이는 다소 높은 편으로 henmix 제작자의 스타일에 따른 것이라고 한다.
i2i에서 에스파 윈터를 학습시켰더니 위의 이미지가 만들어졌고 영상도 이와 유사한 스타일로 생성될 것임을 알 수 있다.
mov2mov로 이동하여 i2i에서 설정했던 내용을 그대로 입력하고, 준비했던 짧은 영상을 업로드 한 다음 Generate를 클릭한다.
mov2mov로 만들어진 영상은 꽤나 그럴싸했지만 확실히 AI의 티가 났다. 손과 같은 신체 부위는 괴상하게 표현되기도 했다.
* 이미지 프롬프트 및 옵션 txt 파일 생성
Settings에서 'Create a text ~' (화면 마지막) 옵션을 체크하면 결과물 생성 시 자동으로 해당 결과물의 프롬프트와 옵션이 담긴 텍스트 파일이 생성된다. 이를 활용하면 i2i의 설정을 mov2mov에서 다시 설정할 때 보다 쉽게 처리할 수 있다.
AI 영상 강의는 총 4강이나 포스트 분량을 고려하여 2개로 나누었다. 다음 메타코드M '생성형 AI 입문 완성강의ㅣ스테이블 디퓨전 프로젝트 실습 + 프롬프트 엔지니어링 Skills' 강의에서는 더욱 발전된 AI 영상 기술을 다루고자 한다.
