功能
工作流
解决方案
资源
返回

我们如何制作《Glass》:逐场景AI音乐视频教程

我们如何制作《Glass》:逐场景AI音乐视频教程

我们如何制作《Glass》:逐场景AI音乐视频教程

如何逐场景制作逼真的AI音乐视频?

将你的歌曲上传到 Atlabs 音乐视频工作流,选择写实风格和16:9,写下创意,并将你的主角加入角色阵容。Atlabs 会将歌曲拆分为与歌词对应的场景。然后用动作提示词为每个起始帧添加动态,或者从媒体素材库中拖入一段视频片段,直到每个节拍都有合适的镜头。

Golden sun rays breaking through clouds above a crowd raising their hands on a sea cliff

《Glass》是一支67秒的敬拜音乐视频,完全在 Atlabs 中制作。一位女DJ在狭长海崖的尖端打出日出现场,身后人群渐渐聚集。随着歌曲推进,人群闭上双眼,握住十字架吊坠,跪下并举起双手,云朵缓缓汇成一个张开双臂的光之身影。视频以一座夕阳下岛上矗立的十字架收尾。视频配合曲目《Holy Fire Breakthrough》,由25个短场景剪辑而成。

这个项目很有参考价值,因为它的终点并不是起点。故事最初的创意是三个朋友在雨中的玻璃温室里跳舞。随后创作者逐场景重建了画面,变成了你现在看到的崖顶DJ现场,既生成了新片段,也从媒体素材库中引入了其他片段。本教程会展示这两个阶段,然后按顺序展示每个场景的歌词、起始帧和实际运行的提示词。

你需要准备什么

你需要一首完整的歌曲,因为它的歌词和节拍会成为你的场景列表。对场景设定和想要的感觉有个大致想法;如果你已经有主角的脸,请准备好那张肖像以便上传。这个项目用到的是曲目《Holy Fire Breakthrough》、写实风格,以及一位主角:一位拥有迎风长发的DJ。

分步设置

第1步:在“音乐”中上传歌曲

打开 音乐视频工作流 ,并在 音乐 步骤中上传你的曲目。这支视频的脚本来源设置为“上传音频故事”,语言设置为英语,因此场景脚本直接来自歌曲。每个场景都对应一句歌词或一个器乐节拍。

第2步:在“设置风格”中选择外观

在 设置风格中,选择图像风格、宽高比和输出。这个项目使用了写实图像、16:9画幅,输出模式为视频。

第3步:在“创意”中写下概念

在 创意中,为视频定下最初的方向。这里的概念名为“Glasshouse Rhythm”,以下是随故事一同保存的原文:

三位亲密的朋友穿行在一座废弃、杂草丛生的玻璃温室中,一场夏日暴雨正在经过,潮湿的枝叶将光线折射成千万碎片,把空间变成一座舞动的大教堂。世界柔和、翠绿而湿润,扎根于他们共同的疲惫转化为欢愉释放的亲密真实,最终落在三人大笑着瘫倒在长满苔藓的地板上的镜头。主歌蕴藏在空间安静而克制的潜力之中;副歌绽放为混乱而欢快的舞蹈;桥段则捕捉到一份改变了他们所有人的爱所带来的无言羁绊。

The “Glasshouse Rhythm” concept image: an overgrown glasshouse full of green plants

第一轮场景紧扣这个概念。下面是最初的第一个场景,三位朋友在玻璃温室里休息:

The original first scene: three friends sitting inside the overgrown glasshouse

玻璃温室的素材没有一条进入最终成片。每个场景后来都被替换成了日出崖顶DJ现场。这个概念依然重要:它给了故事角色阵容,而安静的主歌、欢快的副歌和改变每个人的羁绊这条弧线,正是最终视频所遵循的弧线。

你永远不会被第一个概念锁死。如果生成的场景不是你想要的,可以逐个替换。每个场景都会保留其歌词和时间点,因此剪辑始终与歌曲保持同步。

第4步:在“定稿”中添加你的角色阵容

在 定稿中,设置角色阵容。这里保存了三个角色:Amara Sterling、Soren Vance 和 Matteo Rossi。角色加入阵容后,场景提示词就可以通过 @提及 来标记他们,Atlabs 会让他们在不同镜头间保持一致的外观。成片时长66.6秒,共25个场景。

第5步:为每个场景填入片段

Atlabs 会将歌曲拆分为场景。每个场景会得到对应的歌词行,如果该部分是器乐,则是一段停顿。系统会为场景创建一个静态起始帧,然后用描述动作和运镜的动作提示词将其变成动态片段。

在这个项目中,25个场景里有9个是用保存的动作提示词这样制作的。其余16个来自 Atlabs 媒体素材库,直接拖入场景,其中四个还经过裁剪以贴合节拍。Atlabs 不会为素材库片段保存提示词,所以下面每一个都会给出一段画面内容的简短描述。

保存的提示词有两种篇幅。两个重大揭示场景,即场景10和场景22,使用的是长而详细的提示词,设定了地点、光线、人群和运镜。其他所有场景则是简短提示词,只有一个动作和一个运镜。

认识角色阵容

Amara Sterling (@AmaraSterling)

Character sheet for Amara Sterling: a young woman with dark locs in an olive linen shirt and denim shorts

一位年轻女性,齐肩深色脏辫,身穿卷起袖子的橄榄绿亚麻衬衫、毛边浅色牛仔短裤和棕色皮凉鞋。她的角色设定图在 Atlabs 内生成。

Soren Vance (@SorenVance)

Character sheet for Soren Vance: a young man with swept back blond hair in a grey hoodie and black jeans

一位年轻男性,向后梳的深金色头发,身穿宽大的灰色连帽衫、修身黑色牛仔裤和白色运动鞋。他的角色设定图同样在 Atlabs 内生成。

Matteo Rossi (@MatteoRossi)

Portrait used for Matteo Rossi: a young woman with long, wind swept auburn brown hair and a black top

这张肖像是以图片形式上传的,而不是用文字描述的。虽然角色阵容中的条目名为 Matteo Rossi,但肖像是一位年轻女性,拥有迎风的棕红色长发,身穿黑色上衣,与最终视频中的DJ造型相同。

Amara Sterling 和 Soren Vance 是玻璃温室概念中三位朋友里的两位,他们没有出现在最终成片中。延续到最后的是 Matteo Rossi 的肖像。如果你已经有想要的确切面孔,请将其作为角色肖像上传,而不是用文字描述,这样每个场景都会从同一张脸开始。

场景地点:日出时的海崖

这个故事的角色阵容中没有保存任何地点。最初的玻璃温室来自概念文本,而最终的场景设定则直接写进了场景提示词。场景10的提示词描述得最好:一处孤立狭窄的崖顶平台,四周是深邃的海洋,金色日出时分。视频以三种方式呈现同一个地方。

空中俯瞰的海崖(场景1至3): 海中一道狭长的岬角,两侧雾气缭绕,DJ台位于平坦的尖端。

The sea cliff from the air, with a DJ setup on its flat rocky top

崖边小径(场景4至6): DJ在她的打碟机前,周围是小径、干草和岬角。

The crowd walking along the cliff path toward the DJ at sunset

日落时的人群(场景7至25): 人群在崖顶面向太阳,远处是大海和一座岩石岛。

The crowd silhouetted on the cliff top facing the sunset and a rocky island

如果你想在多个场景中复用同一个地点,可以将其作为地点保存到角色阵容中。之后就可以像标记角色一样,用 @名称 在提示词中标记它,而不必每次都重新描述。

逐场景详解:每句歌词、画面和提示词

场景1(2.0秒):器乐前奏

Scene 1: a high aerial view of a long, narrow sea cliff with mist rolling up its sides

素材库片段,经过裁剪,因此没有保存提示词。画面以高空航拍开场,狭长的海崖伸入海洋,雾气沿两侧升起,尽头有一张小小的DJ台。开场采用远景,DJ小得像一粒微尘,让观众在看到台上是谁之前,先感受到这个舞台有多偏远。

场景2(2.0秒):器乐

Scene 2: a drone view of the flat cliff platform with the DJ table at one end

用一个早期镜头来交代空间:DJ站在哪里,人群将在哪里。之后的每个镜头就都说得通了。

场景3(2.0秒):器乐

Scene 3: a drone shot looking down on the cliff top with the DJ setup on the edge

素材库片段,因此没有保存提示词。无人机俯视崖顶的平坦台面,DJ设备位于崖边,雾气升腾,远处下方海浪翻涌。

场景4(2.0秒):器乐

Scene 4: the DJ with long wind blown hair at her decks on the cliff path

素材库片段,经过裁剪,因此没有保存提示词。镜头此时位于DJ面前的崖边小径上:一位长发被风吹起、身穿黑色上衣的年轻女性站在一对 Pioneer 打碟机前,身后是海洋和岬角。

场景5(2.0秒):器乐

Scene 5: the crowd walking along the narrow cliff path toward the DJ

素材库片段,因此没有保存提示词。夕阳低悬在海面上,人群沿着狭窄的崖边小径走向DJ台。展示人们到来,能在第一句歌词落下之前营造期待感。

场景6(2.0秒):器乐

Scene 6: close up of the DJ's hands on the mixer with sun glare on the sea behind

素材库片段,经过裁剪,因此没有保存提示词。DJ双手操作混音器和打碟盘的特写,身后海面上阳光闪耀。

场景7(2.0秒):“I've been running through the dark”

Scene 7: hands raised against a golden sunset sky above the crowd

素材库片段,因此没有保存提示词。双手伸向日落的天空,人群在金色光线中呈现剪影。

场景8(2.0秒):器乐

Scene 8: a sea of clouds lit by the low sun

一条简短的提示词也能承载大幅转场。“The camera then dives”把一片云海变成了一次切换。

场景9(4.0秒):“Chasing something I can't name”

Scene 9: the DJ at her decks on the cliff, looking toward the camera

当起始帧里已经有DJ、打碟机和光线时,动作提示词只需要写情绪。

场景10(2.0秒):“Then I heard it in the silence”

Scene 10: sun rays bursting through clouds above the crowd's raised hands

这是第一次揭示,所以它得到了最长的提示词。“made purely of light and cloud shapes (not a solid figure)”这句话让这里的身影保持含蓄,把完整的揭示留到后面。

场景11(2.0秒):器乐

Scene 11: close up of the DJ with eyes closed, hair moving in the wind

“Preserving exact spatial continuity”提醒模型,这个特写与广角镜头处于同一地点。

场景12(2.0秒):“Called me out and I was changed”

Scene 12: a woman with eyes closed hugging herself as the sun sets over the sea

素材库片段,因此没有保存提示词。一位闭着眼睛的女子抱着自己,温柔地微笑,身后的海面上夕阳西沉。

场景13(2.0秒):器乐

Scene 13: a man in the crowd with eyes closed and a cross pendant, the DJ behind him

即使在特写中也要提到人群,比如“the crowd is moving synced to the beats”,这样背景就不会静止。

场景14(2.0秒):“Every chain fell to the floor”

Scene 14: the DJ dancing at her decks as the crowd throws their hands up

素材库片段,经过裁剪,因此没有保存提示词。DJ在打碟机前舞动,头发飞扬,身后的人群高举双手。

场景15(2.0秒):器乐

Scene 15: a young man in the crowd smiling calmly in the low sun

素材库片段,因此没有保存提示词。人群中一位年轻男子的特写,带着平静而感恩的微笑,被低垂的太阳照亮。

场景16(2.0秒):“Every wall came crashing in”

Scene 16: raised hands silhouetted against a bright sunburst

当起始帧承担了大部分工作时,两个词就足够了。这里的画面里已经有高举的双手和太阳光芒。

场景17(2.0秒):器乐

Scene 17: a woman with eyes closed holding the cross pendant on her necklace

素材库片段,因此没有保存提示词。一位闭着眼睛的女子握着项链上的十字架吊坠,身后是人群和落日。

场景18(4.0秒):“Now I'm standing in the middle”

Scene 18: a person kneeling on the cliff top as the crowd faces the sunset

让镜头跟随主体移动。“Camera slightly lowering with the subject”让下跪显得谦卑,而不只是一个姿势。

场景19(4.0秒):“Of a love that has no end”

Scene 19: two people holding each other on the cliff edge with the sea behind

素材库片段,因此没有保存提示词。两个人在崖边相拥,一只手搭在对方背上,身后是阳光照耀的大海。

场景20(4.0秒):“Feeling rising in my chest”

Scene 20: close up of a woman holding a small glowing cross pendant

素材库片段,因此没有保存提示词。一位女子用手指捏着一枚发光的小十字架吊坠的特写。

场景21(4.0秒):“Can't contain what he's released”

Scene 21: the crowd seen from behind facing the sunset and a rocky island

素材库片段,因此没有保存提示词。从人群身后拍摄的广角镜头,所有人都面向落日和海上的一座岩石岛。

场景22(4.0秒):“Every breath becomes a weapon”

Scene 22: a glowing figure with outstretched arms forming in the clouds above the crowd

将此与场景10对比。光之身影在那里只是被暗示。这里的提示词要求它“gradually revealing”,双臂张开,随着歌曲推进。

场景23(4.0秒):“Every heartbeat finds its beat”

Scene 23: a young woman looking up at the sky with a tear on her cheek

素材库片段,因此没有保存提示词。一位年轻女子仰望天空、脸颊带着一滴泪的特写,身后是人群和太阳。

场景24(4.0秒):“Yeah we finally found our rhythm”

Scene 24: a huge figure of light with open arms filling the sky above the cliff

素材库片段,因此没有保存提示词。这是揭示的最宽版本:一个张开双臂的巨大光之身影充满崖顶舞台和人群上方的天空。

场景25(2.6秒):尾声

Scene 25: a man raising both arms toward a cross on an island at sunset

素材库片段,因此没有保存提示词。人群中一位男子向着落日下岛上矗立的十字架举起双臂,鸟群飞过。以一个象征而不是一张脸收尾,用一幅画面为故事画上句号。

这些提示词为什么有效

把笔墨花在揭示上。 场景10和22承载着故事,所以它们的提示词详细写明了地点、光线、人群和运镜。其他大多数提示词只有一行。

分步骤构建揭示。 场景10要求一个由光和云的形状构成的含蓄剪影。场景22接着要求它在双臂张开中逐渐显露,场景24则以完整尺寸呈现。

让背景保持生动。 场景13中的“The crowd is moving synced to the beats”和场景18中的“The crowd and DJ in the background are moving to the synced beats”,能避免特写中的人群静止不动。

说明你在哪里。 “Preserving exact spatial continuity”和“same location continuity”让特写与广角镜头保持在同一地点。

重复一个母题。 十字架吊坠出现在场景13、17和20中,并在场景25中以岛上的巨大十字架再次出现。

生成与剪辑相结合。 生成的片段、素材库片段和裁剪并排使用。用任何能让正确镜头落在正确节拍上的方式。

常见问题

场景生成后我还能更改概念吗?

可以。《Glass》最初是一个玻璃温室的故事,后来每个场景都被替换成了崖顶DJ现场。每个场景都保留其歌词和时间点,因此你可以逐个替换,并与歌曲保持同步。

每个场景都需要提示词吗?

不需要。《Glass》的25个场景中只有9个保存了动作提示词。其余16个是来自 Atlabs 媒体素材库的片段,其中四个经过裁剪以贴合节拍。

如何让我的主角在每个场景中保持一致的外观?

在“定稿”中将他们加入角色阵容。如果你已经有想要的面孔,就将其作为角色肖像上传,就像《Glass》中的DJ那样。

动作提示词应该多长?

这取决于镜头。场景10和22这样的重大揭示使用长提示词,设定地点、光线、人群和运镜。其他大多数场景只需要一个动作和一个运镜,场景16只用了两个词。

最终结论

《Glass》表明,一支出色的AI音乐视频不必与你最初的计划相符。Atlabs 中的四个设置步骤打好了基础:在“音乐”中上传歌曲,在“设置风格”中选择写实和16:9,在“创意”中写下概念,以及在“定稿”中将主角加入角色阵容。之后,创作者重建了每个场景,把长提示词用在两个重大揭示上,其余保持一个动作和一个运镜,并用素材库片段填满了16个节拍。把这里的提示词当作模板:重要时刻用长而详细的,其他一切用简短的,并且随意替换场景,直到视频与你在歌曲中听到的相符。

准备好讲述你的故事了吗?

准备好讲述你的故事了吗?

准备好讲述你的故事了吗?