> ## Documentation Index
> Fetch the complete documentation index at: https://dripart-chore-sync-comfy-api-v2-spec-0ee014e.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# Wan2.2-S2V 오디오 기반 비디오 생성 ComfyUI 네이티브 워크플로우 예시

> 이는 ComfyUI에서 Wan2.2-S2V 오디오 기반 비디오 생성을 위한 네이티브 워크플로우 예시입니다.

Wan2.2-S2V, 고급 오디오 기반 비디오 생성 모델이 이제 ComfyUI에서 기본적으로 지원된다는 소식을 전하게 되어 기쁩니다! 이 강력한 AI 모델은 정적 이미지와 오디오 입력을 동적인 비디오 콘텐츠로 변환할 수 있으며, 대사, 노래, 공연 등 다양한 창작 요구를 지원합니다.

**모델 주요 특징**

* **오디오 기반 비디오 생성**: 정적 이미지와 오디오를 동기화된 비디오로 변환
* **영화급 품질**: 자연스러운 표정과 움직임으로 영화 수준의 비디오 생성
* **분 단위 생성**: 장편 비디오 제작 지원
* **다양한 형식 지원**: 전신 및 반신 캐릭터와 호환
* **향상된 모션 제어**: 텍스트 지침으로 작업과 환경 생성

Wan2.2 S2V 코드: [GitHub](https://github.com/aigc-apps/VideoX-Fun)
Wan2.2 S2V 모델: [Hugging Face](https://huggingface.co/Wan-AI/Wan2.2-S2V-14B)

## Wan2.2 S2V ComfyUI 네이티브 워크플로우

<Tip>
  <Tabs>
    <Tab title="로컬 사용자">
      ComfyUI가 최신 버전으로 업데이트되었는지 확인하세요.

      * [ComfyUI 다운로드](https://www.comfy.org/download)
      * [업데이트 가이드](/ko/installation/update_comfyui)

      이 가이드의 워크플로는 [워크플로 템플릿](/ko/interface/features/template)에서 확인할 수 있습니다.
      템플릿에서 찾을 수 없다면, 귀하의 ComfyUI가 오래된 버전일 수 있습니다.

      워크플로를 로드할 때 노드가 누락되는 경우, 가능한 원인:

      1. 최신 ComfyUI 버전(최신 테스트 버전(nightly))을 사용하고 있지 않음
      2. 일부 노드가 시작 시 가져오기에 실패함
    </Tab>

    <Tab title="클라우드 사용자">
      * [클라우드](https://cloud.comfy.org)는 ComfyUI 안정판 출시 후 업데이트됩니다.

      따라서 이 문서에서 핵심 노드가 누락된 것을 발견했다면, 그 이유는 새로운 핵심 노드가 아직 최신 안정판에 공개되지 않았기 때문일 수 있습니다. 다음 안정판 출시를 기다려 주세요.
    </Tab>
  </Tabs>
</Tip>

<h3 id="video_wan2_2_14B_s2v">
  Wan2.2-S2V 오디오 기반 비디오 생성
</h3>

정적 이미지와 오디오를 동적 비디오로 변환하여 완벽한 동기화와 분 단위 생성을 제공합니다.

<img src="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/templates/video_wan2_2_14B_s2v-1.webp" alt="Wan2.2-S2V 오디오 기반 비디오 생성 워크플로우 미리보기" />

<CardGroup cols={2}>
  <Card title="Comfy Cloud에서 실행" icon="cloud" href="https://cloud.comfy.org/?template=video_wan2_2_14B_s2v&utm_source=docs&utm_medium=referral&utm_campaign=wan2-2-s2v">
    Comfy Cloud에서 열기
  </Card>

  <Card title="워크플로우 다운로드" icon="download" href="https://github.com/Comfy-Org/workflow_templates/blob/main/templates/video_wan2_2_14B_s2v.json">
    JSON 다운로드 또는 템플릿 라이브러리에서 "Wan2.2 S2V" 검색
  </Card>
</CardGroup>

**입력 자료**

일치하는 노드에 다음 파일을 업로드하세요:

<CardGroup cols={2}>
  <Card title="video_wan2_2_14B_s2v_reference_image.jpg" icon="image" href="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/input/video_wan2_2_14B_s2v_reference_image.jpg">
    `LoadImage` 노드 52 · `video_wan2_2_14B_s2v_reference_image.jpg`
  </Card>

  <Card title="video_wan2_2_14B_s2v_input_audio.MP3" icon="music" href="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/input/video_wan2_2_14B_s2v_input_audio.MP3">
    `LoadAudio` 노드 58 · `video_wan2_2_14B_s2v_input_audio.MP3`
  </Card>
</CardGroup>

<div style={{display: 'grid', gridTemplateColumns: 'repeat(2, minmax(0, 1fr))', gap: '1rem', alignItems: 'start'}}>
  <img src="https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/input/video_wan2_2_14B_s2v_reference_image.jpg" alt="video_wan2_2_14B_s2v_reference_image.jpg" style={{width: '100%', height: 'auto', objectFit: 'contain'}} />
</div>

### 2. 모델 링크

모델들은 [우리 리포지토리](https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged)에서 확인하실 수 있습니다.

**diffusion\_models**

<CardGroup cols={2}>
  <Card title="wan2.2_s2v_14B_fp8_scaled.safetensors" icon="download" href="https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/blob/main/split_files/diffusion_models/wan2.2_s2v_14B_fp8_scaled.safetensors?download=true">
    FP8 스케일드 확산 모델. <code>ComfyUI/models/diffusion\_models/</code>에 배치하세요.
  </Card>

  <Card title="wan2.2_s2v_14B_bf16.safetensors" icon="download" href="https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/blob/main/split_files/diffusion_models/wan2.2_s2v_14B_bf16.safetensors?download=true">
    BF16 확산 모델. <code>ComfyUI/models/diffusion\_models/</code>에 배치하세요.
  </Card>
</CardGroup>

**audio\_encoders**

<Card title="wav2vec2_large_english_fp16.safetensors" icon="download" href="https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/blob/main/split_files/audio_encoders/wav2vec2_large_english_fp16.safetensors?download=true">
  오디오 인코더 모델. <code>ComfyUI/models/audio\_encoders/</code>에 배치하세요.
</Card>

**vae**

<Card title="wan_2.1_vae.safetensors" icon="download" href="https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/blob/main/split_files/vae/wan_2.1_vae.safetensors?download=true">
  Wan2.1 VAE 모델. <code>ComfyUI/models/vae/</code>에 배치하세요.
</Card>

**text\_encoders**

<Card title="umt5_xxl_fp8_e4m3fn_scaled.safetensors" icon="download" href="https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/blob/main/split_files/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors?download=true">
  FP8 스케일드 텍스트 인코더. <code>ComfyUI/models/text\_encoders/</code>에 배치하세요.
</Card>

```
ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_s2v_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_s2v_14B_bf16.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   ├───📂 audio_encoders/ # 찾을 수 없는 경우 생성
│   │   └─── wav2vec2_large_english_fp16.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors
```

### 3. 워크플로우 지침

<img src="https://mintcdn.com/dripart-chore-sync-comfy-api-v2-spec-0ee014e/78w9JC11JoEVGcBo/images/tutorial/video/wan/wan_2.2_14b_s2v.jpg?fit=max&auto=format&n=78w9JC11JoEVGcBo&q=85&s=847b760394a7f3fa4ef151affb069fc3" alt="워크플로우 지침" width="4000" height="2131" data-path="images/tutorial/video/wan/wan_2.2_14b_s2v.jpg" />

#### 3.1 Lightning LoRA 정보

#### 3.2 fp8\_scaled 및 bf16 모델 정보

두 모델 모두 [여기](https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/tree/main/split_files/diffusion_models)에서 확인하실 수 있습니다:

<CardGroup cols={2}>
  <Card title="wan2.2_s2v_14B_fp8_scaled.safetensors" icon="download" href="https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/blob/main/split_files/diffusion_models/wan2.2_s2v_14B_fp8_scaled.safetensors?download=true">
    FP8 스케일드 확산 모델
  </Card>

  <Card title="wan2.2_s2v_14B_bf16.safetensors" icon="download" href="https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/blob/main/split_files/diffusion_models/wan2.2_s2v_14B_bf16.safetensors?download=true">
    BF16 확산 모델
  </Card>
</CardGroup>

이 템플릿에서는 `wan2.2_s2v_14B_fp8_scaled.safetensors`를 사용하며, 이 모델은 더 적은 VRAM을 필요로 합니다. 하지만 품질 저하를 줄이기 위해 `wan2.2_s2v_14B_bf16.safetensors`를 시도해볼 수도 있습니다.

#### 3.3 단계별 작동 지침

**Step 1: 모델 로드**

1. **Diffusion 모델 로드**: `wan2.2_s2v_14B_fp8_scaled.safetensors` 또는 `wan2.2_s2v_14B_bf16.safetensors` 로드
   * 제공된 워크플로우에서는 `wan2.2_s2v_14B_fp8_scaled.safetensors`를 사용하며, 이 모델은 더 적은 VRAM을 필요로 합니다.
   * 하지만 품질 저하를 줄이기 위해 `wan2.2_s2v_14B_bf16.safetensors`를 시도해볼 수도 있습니다.

2. **CLIP 로드**: `umt5_xxl_fp8_e4m3fn_scaled.safetensors` 로드

3. **VAE 로드**: `wan_2.1_vae.safetensors` 로드

4. **AudioEncoderLoader**: `wav2vec2_large_english_fp16.safetensors` 로드

5. **LoraLoaderModelOnly**: `wan2.2_t2v_lightx2v_4steps_lora_v1.1_high_noise.safetensors` (Lightning LoRA) 로드
   * 우리는 모든 wan2.2 lightning LoRA를 테스트했습니다. 이는 Wan2.2 S2V용으로 특별히 훈련된 LoRA가 아니므로 많은 핵심 값이 맞지 않지만, 생성 시간을 크게 줄여주기 때문에 추가했습니다. 앞으로 이 템플릿을 계속 최적화할 예정입니다.
   * 이를 사용하면 상당한 동적 및 품질 손실이 발생합니다.
   * 출력 품질이 너무 낮다고 느껴진다면 원래 20단계 워크플로우를 시도해볼 수 있습니다.

6. **LoadAudio**: 제공된 오디오 파일이나 직접 업로드한 오디오를 로드하세요.

7. **Load Image**: 참조 이미지를 업로드하세요.

8. **배치 크기**: 추가하는 Video S2V Extend 서브그래프 노드 수에 따라 설정하세요.
   * 각 Video S2V Extend 서브그래프는 최종 출력에 77프레임을 추가합니다.
   * 예를 들어: Video S2V Extend 서브그래프를 2개 추가했다면 배치 크기는 3이어야 하며, 이는 전체 샘플링 반복 횟수를 의미합니다.
   * **Chunk Length**: 기본값인 77을 유지하세요.

9. **샘플러 설정**: Lightning LoRA 사용 여부에 따라 다른 설정을 선택하세요.
   * 4단계 Lightning LoRA 사용 시: steps: 4, cfg: 1.0
   * 4단계 Lightning LoRA 미사용 시: steps: 20, cfg: 6.0

10. **크기 설정**: 출력 비디오의 크기를 설정하세요.

11. **Video S2V Extend**: 비디오 확장 서브그래프 노드들입니다. 기본 프레임 수가 77이고, 이 모델은 16fps이므로 각 확장은 77 / 16 = 4.8125초의 비디오를 생성합니다.
    * 비디오 확장 서브그래프 노드 수를 입력 오디오 길이와 맞추려면 계산이 필요합니다. 예를 들어: 입력 오디오가 14초라면 총 필요한 프레임 수는 14×16=224이며, 각 비디오 확장은 77프레임이므로 224/77 = 2.9, 즉 3개의 비디오 확장 서브그래프 노드가 필요합니다.

12. Ctrl-Enter를 누르거나 실행 버튼을 클릭하여 워크플로우를 실행하세요.