ComfyUI Wan2.2 펀 컨트롤 비디오 생성 예시

• 다중 모달 제어: Canny (라인 아트), Depth, OpenPose (인간 자세), MLSD (기하학적 에지), 그리고 궤적 제어를 포함한 여러 제어 조건을 지원합니다.
• 고품질 비디오 생성: Wan2.2 아키텍처를 기반으로 영화급 품질의 비디오를 출력합니다.
• 다국어 지원: 중국어와 영어를 포함한 다국어 프롬프트를 지원합니다.

• 🤗Wan2.2-Fun-A14B-Control
• 코드 저장소: VideoX-Fun

​

ComfyOrg Wan2.2 펀 InP & 제어 유튜브 라이브 스트림 다시보기

​

Wan2.2 Fun Control 비디오 생성 워크플로 예제

1. lightx2v의 Wan2.2-Lightning 4-step LoRA를 사용하는 버전: 비디오의 역동성이 다소 떨어질 수 있지만 속도가 더 빠릅니다.
2. 가속 LoRA가 없는 fp8_scaled 버전

​

1. 워크플로 및 자료 다운로드

여기서는 전처리된 비디오를 사용합니다.

​

2. 모델

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_fun_control_low_noise_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_fun_control_high_noise_14B_fp8_scaled.safetensors
│   ├───📂 loras/
│   │   ├─── wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
│   │   └─── wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

​

3. 워크플로 가이드

1. 고노이즈(High noise) 모델 및 LoRA 로딩
   • Load Diffusion Model 노드가 wan2.2_fun_control_high_noise_14B_fp8_scaled.safetensors 모델을 로드하는지 확인하세요
   • LoraLoaderModelOnly 노드가 wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors를 로드하는지 확인하세요
2. 저노이즈(Low noise) 모델 및 LoRA 로딩
   • Load Diffusion Model 노드가 wan2.2_fun_control_low_noise_14B_fp8_scaled.safetensors 모델을 로드하는지 확인하세요
   • LoraLoaderModelOnly 노드가 wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors를 로드하는지 확인하세요
3. Load CLIP 노드가 umt5_xxl_fp8_e4m3fn_scaled.safetensors 모델을 로드하는지 확인하세요
4. Load VAE 노드가 wan_2.1_vae.safetensors 모델을 로드하는지 확인하세요
5. Load Image 노드에서 시작 프레임을 업로드하세요
6. 두 번째 Load video 노드에서 포즈 제어 비디오를 불러오세요. 제공된 비디오는 전처리되어 있으므로 바로 사용할 수 있습니다
7. 전처리된 포즈 비디오를 제공하므로 해당 비디오 이미지 전처리 노드를 비활성화해야 합니다. 해당 노드를 선택하고 Ctrl + B를 눌러 비활성화할 수 있습니다
8. 프롬프트 수정: 중국어와 영어를 모두 사용할 수 있습니다
9. Wan22FunControlToVideo에서 비디오 크기를 수정하세요. 기본값은 VRAM이 낮은 사용자의 과도한 처리 시간을 방지하기 위해 640×640 해상도로 설정되어 있습니다
10. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용하여 비디오 생성을 실행하세요

​

추가 참고 사항