WanInfiniteTalkToVideo - ComfyUI Built-in Node Documentation

WanInfiniteTalkToVideo는 오디오 입력으로부터 비디오 시퀀스를 생성합니다. 하나 또는 두 명의 화자에게서 추출한 오디오 특징을 조건으로 하는 비디오 확산 모델을 사용하여 토킹 헤드 비디오의 잠재 표현을 생성합니다. 이 노드는 새 시퀀스를 생성하거나 이전 프레임을 모션 컨텍스트로 사용하여 기존 시퀀스를 확장

WanInfiniteTalkToVideo는 오디오 입력으로부터 비디오 시퀀스를 생성합니다. 하나 또는 두 명의 화자에게서 추출한 오디오 특징을 조건으로 하는 비디오 확산 모델을 사용하여 토킹 헤드 비디오의 잠재 표현을 생성합니다. 이 노드는 새 시퀀스를 생성하거나 이전 프레임을 모션 컨텍스트로 사용하여 기존 시퀀스를 확장할 수 있습니다.

​

입력

​

공통 입력

매개변수	설명	데이터 타입	필수 여부	범위
mode	오디오 입력 모드입니다. single_speaker는 하나의 오디오 입력을 사용합니다. two_speakers는 두 화자 입력 섹션에 나열된 추가 오디오 입력과 마스크를 활성화합니다.	DYNAMIC_COMBO	예	"single_speaker" "two_speakers"
model	기본 비디오 확산 모델입니다.	MODEL	예	-
model_patch	오디오 프로젝션 레이어를 포함하는 모델 패치입니다.	MODEL_PATCH	예	-
positive	생성을 안내하는 포지티브 컨디셔닝입니다.	CONDITIONING	예	-
negative	생성을 안내하는 네거티브 컨디셔닝입니다.	CONDITIONING	예	-
vae	이미지를 잠재 공간으로 인코딩하고 잠재 공간에서 복원하는 데 사용되는 VAE입니다.	VAE	예	-
width	출력 비디오의 가로 크기(픽셀)입니다. 16으로 나누어 떨어져야 합니다. (기본값: 832)	INT	예	16 - MAX_RESOLUTION (step 16)
height	출력 비디오의 세로 크기(픽셀)입니다. 16으로 나누어 떨어져야 합니다. (기본값: 480)	INT	예	16 - MAX_RESOLUTION (step 16)
length	생성할 프레임 수입니다. (기본값: 81)	INT	예	1 - MAX_RESOLUTION (step 4)
clip_vision_output	추가 컨디셔닝을 위한 선택적 CLIP 비전 출력입니다.	CLIP_VISION_OUTPUT	아니요	-
start_image	비디오 시퀀스를 초기화하는 선택적 시작 이미지입니다.	IMAGE	아니요	-
audio_encoder_output_1	첫 번째 화자에 대한 특징을 포함하는 기본 오디오 인코더 출력입니다.	AUDIO_ENCODER_OUTPUT	예	-
motion_frame_count	모션 컨텍스트로 사용할 이전 프레임 수입니다. (기본값: 9)	INT	예	1 - 33
audio_scale	오디오 컨디셔닝에 적용되는 스케일링 요소입니다. (기본값: 1.0)	FLOAT	예	-10.0 - 10.0
previous_frames	확장에 사용할 선택적 이전 비디오 프레임입니다. 마지막 motion_frame_count 프레임이 모션 컨텍스트로 사용됩니다.	IMAGE	아니요	-

​

두 화자 입력

이 섹션의 입력은 mode가 "two_speakers"로 설정된 경우 표시됩니다.

매개변수	설명	데이터 타입	필수 여부	범위
audio_encoder_output_2	두 번째 화자에 대한 특징을 포함하는 두 번째 오디오 인코더 출력입니다.	AUDIO_ENCODER_OUTPUT	아니요	-
mask_1	첫 번째 화자용 마스크입니다. 두 개의 오디오 입력을 사용하는 경우 필요합니다.	MASK	아니요	-
mask_2	두 번째 화자용 마스크입니다. 두 개의 오디오 입력을 사용하는 경우 필요합니다.	MASK	아니요	-

매개변수 제약 조건:

• mode가 "two_speakers"로 설정된 경우 두 번째 화자 설정에 audio_encoder_output_2, mask_1, mask_2가 필요합니다.
• audio_encoder_output_2가 제공되면 mask_1과 mask_2도 모두 제공되어야 합니다.
• mask_1과 mask_2가 모두 제공되면 audio_encoder_output_2도 제공되어야 합니다.
• previous_frames가 제공되면 motion_frame_count에 지정된 프레임 수 이상을 포함해야 합니다.

​

출력

출력 이름	설명	데이터 타입
model	오디오 컨디셔닝이 적용된 패치된 모델입니다.	MODEL
positive	시작 이미지나 CLIP 비전 출력과 같은 추가 컨텍스트로 수정될 수 있는 포지티브 컨디셔닝입니다.	CONDITIONING
negative	추가 컨텍스트로 수정될 수 있는 네거티브 컨디셔닝입니다.	CONDITIONING
latent	잠재 공간에서 생성된 비디오 시퀀스입니다.	LATENT
trim_image	시퀀스 확장 시 모션 컨텍스트의 시작 부분에서 잘라내야 하는 프레임 수입니다. previous_frames가 제공되면 motion_frame_count와 같고, 그렇지 않으면 0입니다.	INT

이 문서는 AI에 의해 생성되었습니다. 오류를 발견하거나 개선 제안이 있으시면 기여해 주세요! GitHub에서 편집

---

Source fingerprint (SHA-256): b7359490c1de86d9c82122bc227295b3b7f8a3493f629365ae0f22f9f34d9a66