지금 숏폼 피드를 가득 채우고 있는 특정 종류의 편집 영상들이 있습니다. 누구나 이미 알고 있는 클립(결혼식 영상, 영화 장면, 화제가 된 리액션 샷 등)을 가져와 완전히 다른 얼굴로 바꾸는 방식입니다. 몸짓 언어는 그대로 유지됩니다. 타이밍도 그대로 유지됩니다. 카메라 움직임도 그대로 유지됩니다. 오직 인물만 바뀌며, 익숙한 움직임과 낯선 얼굴 사이의 괴리감이 이 유머의 핵심입니다.
예전에는 이런 영상을 만들려면 로토스코핑, 마스킹 작업과 함께 After Effects에서 긴 밤을 지새워야 했습니다. 하지만 이제는 단 두 단계만 거치면 됩니다. 원하는 캐릭터의 참조 이미지 한 장을 만든 다음, 그 이미지와 원본 클립을 움직임을 유지하고 나머지 모든 것을 다시 그려내는 모델에 전달하기만 하면 됩니다. 아래에는 동일한 기술을 서로 다른 방식으로 활용한 세 가지 가이드가 나와 있습니다.
기존 클립의 캐릭터를 바꾸는 것이 처음부터 생성하는 것보다 나은 이유
텍스트 투 비디오(Text to video)는 장면을 창조하는 데는 유용합니다. 하지만 그 장면 속에서 믿을 수 있는 인간의 움직임을 만들어내는 데는 훨씬 취약합니다. 모델에게 통로를 걸어가는 남자를 요청하면 다소 밋밋하고 일반적인 결과물을 얻게 될 것입니다. 반면, 남자가 통로를 걸어가는 실제 클립을 제공하고 인물만 바꿔달라고 요청하면, 영상이 실제처럼 느껴지게 만드는 모든 물리적 디테일(무게 중심의 이동, 어깨 회전, 미세한 카메라 흔들림 등)이 모델이 작동하기도 전에 이미 해결됩니다.
이것이 캐릭터 변경 형식이 숏폼에서 아주 잘 통하는 이유입니다. 클립의 파급력은 이미 증명되었습니다. 누군가 이미 시청할 가치가 있는 순간을 촬영했거나, 이미 그것을 바이럴시켰기 때문입니다. 여러분은 장면이 흥미로운지 여부를 두고 경쟁하는 것이 아닙니다. 단지 반전을 추가할 뿐입니다. 또한 패턴(참조 이미지와 소스 클립)을 한 번 이해하고 나면, 피드에 올라오는 모든 트렌디한 오디오와 리액션 샷을 활용 가능한 소재로 바꿀 수 있으므로 작업을 반복해서 수행할 수 있습니다.
이 방식이 작동하는 또 다른 이유는 통제력에 있습니다. 프롬프트로 캐릭터를 묘사하면 생성할 때마다 매번 다른 얼굴이 나옵니다. 하지만 참조 이미지를 제공하면 해당 얼굴이 고정되므로, 운 좋게 나온 하나의 결과물에 의존하는 대신 여러 클립에서 동일한 캐릭터가 등장하는 시리즈를 제작할 수 있습니다.
이를 위한 Atlabs 워크플로우
아래의 모든 튜토리얼은 동일한 2단계 패턴을 사용합니다. 먼저 이미지 앱에서 참조 이미지를 만듭니다. 새로운 캐릭터로 전체 장면을 재창조하고 싶을 때는 Grok Imagine을 사용하고, 단일 프레임에 정밀한 변화를 주고 싶을 때는 GPT Image를 사용합니다. 그다음 움직임을 가져옵니다. Modify Video는 3초에서 10초 사이의 클립을 가져와 최대 4개의 참조 이미지를 수용하고, 원본의 움직임을 유지하면서 영상을 새로 작성합니다. Kling Motion Control은 반대 방향으로 작동하여 참조 비디오에서 움직임을 추출하여 캐릭터 이미지에 적용합니다.
두 가지 중 어느 것을 선택할지는 클립에 따라 다릅니다. 장면에 여러 사람이 등장하고 배경과 조명을 보존하고 싶다면 Modify Video가 적합합니다. 단일 캐릭터가 단일 동작을 수행하는 것이 핵심이라면 Motion Control이 더 깔끔한 결과를 제공합니다.
튜토리얼 1: 결혼식 클립을 MCU 장면으로 바꾸기
이 작업은 동시에 세 사람을 교체하면서도 방, 의상, 카메라 앵글을 그대로 유지해야 하기 때문에 세 가지 중 가장 까다롭습니다. 비결은 이미지 단계에서 어려운 창의적인 작업을 모두 처리하여 비디오 단계에서는 결정할 것이 거의 남지 않도록 하는 것입니다.
1단계: 참조 이미지 만들기
Atlabs의 Grok Imagine을 열고 커플과 주례자가 모두 보이는 결혼식 클립의 스틸컷인 입력 이미지를 업로드합니다. 그런 다음 이 프롬프트를 사용하세요.
Recreate this exact wedding scene with Tony Stark as the groom, Pepper Potts as the bride, and James Rhodes (War Machine) as the officiant. Keep the same composition, poses, outfits, background, lighting, and camera angle. Photorealistic MCU movie still, cinematic, natural faces and skin, 16:9.
이 프롬프트의 대부분이 아무것도 변경하지 말라는 지침이라는 점에 주목하세요. 구도, 포즈, 의상, 배경, 조명, 카메라 앵글이 모두 명시적으로 고정되어 있습니다. 유일한 변수는 세 사람이 누구인지입니다. 이것이 바로 출력물을 별도의 이미지가 아닌 참조용 이미지로 사용할 수 있게 만드는 핵심입니다.
2단계: 움직임 적용하기
Modify Video를 열고 클립을 업로드합니다. 클립 길이는 3초에서 10초 사이여야 합니다. Reference Images 아래에 방금 만든 이미지를 추가한 다음, Describe the Final Video 상자에 클립을 @Video1으로 지칭하며 지침을 작성합니다.
Replace the people in @Video1 with the characters from the reference image. Keep the exact same motion, camera movement, framing, lighting and background. Photorealistic MCU movie still look, cinematic, natural faces and skin.
클립에 사용할 수 있는 사운드가 있는 경우 Keep Original Audio를 켜두세요. 생성하면 첫 번째 컷이 완성됩니다.
튜토리얼 2: MJ 밈
이것은 MJ 밈 템플릿이며, 세 가지 중 가장 간단합니다. 캐릭터 한 명, 과장 하나, 모션 전달 하나입니다.
1단계: 첫 프레임 편집하기
비디오의 첫 프레임을 캡처하여 Atlabs의 GPT Image에 업로드합니다. 프롬프트는 의도적으로 짧게 작성합니다.
make him far more obese, increase face fat
여기서는 긴 프롬프트보다 짧은 프롬프트가 더 잘 작동합니다. 모델이 이미 볼 수 있는 이미지에 대해 한 가지 변경을 요청하는 것이므로, 글을 많이 쓸수록 그대로 두고 싶은 부분까지 다시 그리게 만들 위험이 있습니다. 지침은 실제로 원하는 단 한 가지 편집으로만 제한하세요.
2단계: 움직임 전달하기
Kling Motion Control을 열고 클립을 소스로 업로드합니다. 편집된 이미지를 참조 이미지로 추가합니다. 동일한 비디오의 첫 프레임에서 시작했기 때문에 참조 이미지의 포즈가 이미 클립의 시작 포즈와 일치하며, 이 덕분에 움직임이 깔끔하게 연결됩니다. 생성하면 최종 비디오가 완성됩니다.
튜토리얼 3: 호날두 밈
호날두 밈은 정확한 포즈를 유지하면서 인지도 높은 캐릭터를 다른 캐릭터로 바꿉니다. 일치시킬 박자를 파악할 수 있도록 참조 비디오를 먼저 시청하는 것이 좋습니다.
1단계: 첫 프레임의 캐릭터 교체하기
비디오의 첫 프레임을 Atlabs의 GPT Image에 업로드하고 다음을 사용하세요.
replace the tom holland's spiderman with ronaldo, same pose and expression as image1 (spiderman)
이 프롬프트에서 중요한 부분은 뒷부분입니다. 포즈와 표정을 명명하고 소스 이미지를 명시적으로 다시 가리키는 과정을 거쳐야 모델이 다음 단계의 움직임과 일치하지 않는 일반적인 초상화를 내놓는 것을 방지할 수 있습니다.
2단계: 클립 생성하기
Kling Motion Control을 열고 편집한 이미지를 참조 이미지로 추가하고, 사진을 업로드한 뒤 적용하고 싶은 동작을 설명하는 모션 프롬프트를 작성합니다. 'Generate'를 누르면 클립이 만들어지고, 이를 통해 최종 비디오가 완성됩니다.
Atlabs가 이 작업에 매우 적합한 이유
첫 번째 이유는 작업의 양대 축이 모두 같은 공간에 존재하기 때문입니다. 캐릭터 변경 밈은 이미지 모델과 비디오 모델이 서로 연동되어 작동해야 합니다. 일반적인 방식의 워크플로우라면 이미지 생성을 위한 브라우저 탭 하나, 비디오를 위한 탭 하나를 띄워두고, 임시 파일들로 가득 찬 다운로드 폴더를 보며 두 개의 별도 계정을 계속 충전해야 합니다. Atlabs에서는 Grok Imagine 또는 GPT Image에서 만든 이미지가 라이브러리에서 Modify Video 또는 Motion Control로 바로 전달되므로 참조 이미지가 플랫폼을 벗어날 필요가 없습니다.
두 번째는 모델의 선택권입니다. Grok Imagine과 GPT Image는 서로 잘하는 영역이 다릅니다. 이 가이드에서는 의도적으로 두 가지를 모두 사용하여 하나는 전체 장면 재창조에, 다른 하나는 정밀한 단일 편집에 사용했습니다. 비디오 측면에서도 마찬가지로, Modify Video와 Motion Control은 동일한 문제의 서로 다른 두 가지 형태를 해결합니다. 각각에 대해 별도의 API 액세스를 설정할 필요 없이 자유롭게 전환할 수 있다는 점이, 오후 내에 세 가지 접근 방식을 테스트해보는 것과 하나에만 매달리는 것의 실질적인 차이를 만들어냅니다.
세 번째는 클립이 생성된 이후에 진행되는 과정입니다. 성공적인 밈은 세 가지 가로세로 비율로 모두 소장하고 싶기 마련입니다. Reframe은 인위적인 크롭 대신 AI 생성 채우기 기술을 통해 16:9 출력물을 9:16으로 변환해 주며, Upscale은 영상을 내보내기 전에 최대 60fps의 1080p 또는 4K 화질로 업그레이드해 줍니다. 이러한 단계는 생각보다 훨씬 중요합니다. 숏폼 플랫폼의 압축률은 매우 가차 없기 때문에, 아이디어가 아무리 좋아도 화질이 떨어지면 성의 없어 보이기 때문입니다.
자주 묻는 질문 (FAQ)
소스 클립의 길이는 어느 정도여야 하나요?
Modify Video는 3초에서 10초 사이의 클립을 지원합니다. Motion Control은 3초에서 30초 사이의 참조 비디오를 지원합니다. 특히 캐릭터 교체의 경우 클립이 길어질수록 정체성 일관성이 떨어지기 때문에 짧을수록 좋습니다. 핵심이 되는 부분만 잘라내어 생성하세요.
Modify Video와 Motion Control 중 무엇을 사용해야 하나요?
여러 사람, 배경, 유지하고 싶은 조명 등 장면 자체가 중요할 때는 Modify Video를 사용하세요. 단일 캐릭터가 단일 동작을 수행하는 것이 샷의 전부일 때는 Motion Control을 사용하세요. Motion Control은 움직임을 캐릭터 이미지에 적용하므로 주변 환경은 소스 영상이 아닌 프롬프트에서 가져옵니다.
생성할 때마다 출력되는 얼굴이 계속 바뀌는 이유는 무엇인가요?
캐릭터를 이미지가 아닌 텍스트로 묘사할 때 발생하는 현상입니다. 참조 이미지를 한 번 구축한 다음, 시리즈의 모든 클립에서 동일한 파일을 재사용하세요. 얼굴이 이미지에 고정되므로 더 이상 무작위성에 의존하지 않아도 됩니다.
이 클립들을 TikTok, Reels, YouTube Shorts에 동시에 사용할 수 있나요?
네, 가능합니다. 한 번 생성한 후 출력물을 Reframe으로 실행하여 피사체를 프레임 밖으로 잘라내는 대신 AI가 생성한 채우기 방식을 사용하여 9:16, 1:1, 16:9 버전을 제작하고, Upscale을 통해 플랫폼 압축 과정에서도 화질을 유지할 수 있습니다.
최종 결론
캐릭터 변경 밈은 기술이 단순하고, 결과물의 한계가 도구가 아닌 사용자의 센스에 의해 결정되는 몇 안 되는 AI 비디오 형식 중 하나입니다. 위의 모든 과정은 동일한 두 가지 동작으로 요약됩니다. 강력한 참조 이미지 한 장을 만든 다음, 움직임을 그 이미지로 가져오는 것입니다. 튜토리얼 1은 전체 장면을 재창조하고, 튜토리얼 2는 한 캐릭터를 과장하며, 튜토리얼 3은 인지도 높은 얼굴을 다른 얼굴로 바꾸며, 세 가지 모두 동일한 패턴으로 작동합니다.
이 작업을 한 곳에서 처리해야 하는 이유는 이미지 단계와 비디오 단계가 끊임없이 서로 피드백을 주고받기 때문이며, 그 사이에 다운로드와 재업로드를 반복하다 보면 흐름을 놓치기 쉽기 때문입니다. 이미 마음에 드는 클립을 선택하고, 참조 이미지에 노력을 기울인 다음, 나머지는 모델에 맡기세요. 오늘 Atlabs와 함께 시작하여 첫 번째 작품을 만들어 보세요.
