2024年，多模态人工智能AI技术迎来了飞跃性的发展，特别是在AI视频领域，其迅速崛起的势头尤为显著。年初，Open AI 突如其来地发布了首个文生视频大模型——Sora，这一举动在短时间内引发了公众对AI视频的广泛关注。AI视频为创作者及行业从业者提供了在创意表达和内容创作上前所未有的新途径，同时也预示着AI视频将不断融入更尖端的技术，将整个领域推向一个新的高峰。
尽管AI视频技术目前还处于成长阶段，但我们已经注意到，国内外众多品牌和媒体已经开始积极探索AI视频的商业潜力，并成功实施了一些商业项目。我们预计AI视频将为团队带来新的商业机遇，因此从2023年下半年开始，我们便着手研究AI视频技术。随着Sora的问世，我们更加坚信AI视频技术将成为未来发展的趋势。因此，我们觉得有必要提前掌握AI视频的制作流程，以便更好地迎接这一技术的到来。
鉴于此，我们于4月初正式开启了AI视频制作项目，旨在全面梳理和实践AI视频的制作流程，积累相关经验。我们利用现有的AI技术，先行储备AI视频的相关经验，并计划制作一部原创AI视频。本次视频以夏天即将到来的"2024年法国巴黎奥运会"为主题，我们在团队内部成立了两个视频小组，要求每个小组分别制作一支时长约1分钟的AI视频短片。接下来，我将向大家展示这两部视频的最终成品，随后会详细介绍整个AI视频的制作流程，与大家分享我们的经验和体会。
原创视频《巴黎奥运新视界》
原创视频《圆梦奥运》
关键步骤解析
为了提高制作效率，我们对AI视频短片的创作流程进行了详尽的梳理。经过我们内部的多次测试，并结合AI当前的技术能力，我们认为，基于图片生成视频的创作流程是目前最为可控、效率最高、也最为实际可行的方法。因此，我们将AI视频的整个流程划分为六个关键环节：剧本撰写、分镜脚本制定、AI生成图片、图片生成视频、后期剪辑以及音效处理，这实际上也是一个微型影视作品的制作流程。
1. 编绘剧本蓝图
首要任务是围绕法国巴黎奥运会这一主题，精心勾勒出一个剧本大纲。这是我们团队首次独立着手编写剧本，尽管在经验上略显不足，但整个创作过程无疑是充满乐趣与挑战的。我们的首部作品《巴黎奥运新视界》旨在展现巴黎的浪漫风情与奥运选手们激烈的竞技场面，共同描绘出巴黎的独特城市魅力与奥运的激情氛围。而第二部作品《圆梦奥运》则以我国国宝大熊猫为主角，它与世界各地的动物伙伴们一同参赛，在奥运的舞台上各显神通，共同迎接这一盛大的庆典。
剧本在视频制作的全过程中扮演着至关重要的角色，它奠定了整个创作的基础。一旦剧本确定，我们便能围绕着其核心思想有条不紊地推进后续的创作工作。对于那些对编写剧本尚感陌生的朋友，不妨通过欣赏优秀的电影或短片来汲取灵感，积累经验，以此提升自己的创作技巧。
2. 分镜脚本的打造
在剧本大纲明确之后，紧接着便是着手制作视频的分镜脚本。在这一环节，我们需要对脚本进行细致的剖析和深化，确保每个镜头的详细画面、拍摄角度以及镜头运用技巧都得到明确。为了提高制作的专业度，我们建议各位储备一些视频拍摄的专业术语、画面与镜头的感知能力以及分镜设计等相关技能。
分镜脚本的核心要义在于用文字精确地勾勒出视频中的关键视觉元素，涵盖人物、动作、场景等各个方面。在拍摄视角和镜头运用技巧上，我们可以运用记忆口诀“远景全景中景近景，推拉摇移跟拍”，来掌握不同景别的运用和镜头的运动方式。将抽象的文字描述转化为具体的视觉图像，有助于更精确地把握画面效果。在完成分镜脚本初稿之后，建议大家进行多次审阅，以确保脚本的逻辑性和画面转场的顺畅度。
3. 创作AI生图
根据分镜脚本的详细描述，我们现在可以着手使用AI技术来制作所需的图片了。在此过程中，我们依旧选择Midjourney（以下简称MJ）作为图片生成工具。在动笔之前，我们应当先对视频的整体视觉风格、色调、画面布局、光影效果、镜头距离以及画幅比例等核心元素进行明确界定。一旦这些关键要素得到确认，我们便可以依据分镜脚本的具体描述，筛选出相应的关键词，利用AI技术生成符合预期的图片。
当然，在使用AI技术生成图像时，我们往往会遇到不尽如人意的情况。在图像生成的过程中，我们遭遇了不少挑战，有些问题即便经过AI多次尝试，也难以彻底克服。对此，我们不妨运用Photoshop或其他图像编辑工具，灵活应对这些问题。以下是我们在AI图像生成过程中遇到的一些常见问题，并针对这些问题总结出的三种处理策略：
首先，我们可以采取“添加法”。
当AI在图像中未能精确地添加所需物体或元素时，我们可以借助Photoshop等软件的后期处理功能，亲自添加这些缺失的元素。以熊猫坐在看台上观看比赛为例，AI未能生成彩屑效果，为了营造比赛现场的热烈气氛，我们可以通过后期处理，手动添加彩屑效果，让整个画面更加生动活泼。
● 精简画面
在AI生成的图像中，若不幸出现了多余的物体或是不协调的元素，我们便可以借助Photoshop强大的后期编辑功能，手动进行剔除。以一张描绘小狗打乒乓球的照片为例，观察图中会发现乒乓球的数量超过了预期，此时我们只需挑选出想要保留的那颗乒乓球，将多余的乒乓球一一移除即可。
● 乘法应用
在AI生成图像的过程中，有时会遇到它无法精确再现某些特定物体或细节的情况。这时，我们可以通过后期处理来弥补这一不足。以两只小猫踢足球的画面为例，我们可以观察到AI生成的足球与传统的足球在外观上存在差异。在这种情况下，我们便可以寻找合适的足球图片，将其替换到AI生成的画面中，以达到更加逼真的效果。
在接下来的创作过程中，我们面临了一个小挑战。如图所示，我们的目标是制作一位中国乒乓球运动员的视频短片，然而在尝试生成中国国旗时，AI似乎遇到了困难，未能成功生成符合要求的国旗图案。因此，我们决定采用预先准备好的国旗图片来替代AI的生成结果。我们深知，在追求创意与技术完美结合的同时，对标准和细节的严谨把握同样至关重要。我们优先确保国旗能够以准确无误的方式呈现，以此体现出我们对细节的尊重和对标准的坚守。
通过运用上述技巧，我们得以在AI绘图过程中规避因个别图片局部瑕疵而导致的重复生成，从而节省大量宝贵时间。我们追求以最短的时间、最低的成本，实现我们预想的视觉效果。
4. 图像转视频
紧接着，便是本次教程的重中之重：将静态图像转化为动态视频。在文本生成视频的过程中，AI对文本的理解可能与我们的预期有所出入，导致生成的视频内容与预期不符，这在视频的稳定性和质量一致性方面提出了不小的挑战。相较之下，图像转视频在视觉一致性和生成质量的稳定性上表现更为出色，技术也更加成熟。我们之所以选择先通过AI生成图片，再利用图片生成视频的方法，主要是为了提升工作效率，并最大程度地减少制作过程中的不确定性。具体操作上，我们首先利用Midjourney生成静态画面，在确认这些画面达到理想效果后，再通过图像转视频的AI技术来完成视频的生成。因此，目前寻求一步到位的解决方案还不太现实。我们通过这种分步骤的方法，逐步逼近理想效果，确保画面的可控性和高质量输出。
在挑选图像转视频的AI工具时，我们经过精心挑选，最终选定了三款工具：Runway、Dreamina和Pixverse。这三款工具各具特色。其中，Runway在画面稳定性、细节表现力和运镜方面表现尤为出色，更适用于需要精确控制细节镜头和特定镜头运动的场景。Dreamina擅长制作大幅度的运动效果，并且可以通过上传首尾帧图片，让AI智能填充中间的运动轨迹。而Pixverse支持免费生成4K视频，特别适合用于全景、空镜等不需要精确控制的场景，能够实现自然微动的动态效果。在实际应用中，大家可以根据自己的需求灵活选择AI工具。在图像转视频的生成方式上，我们主要采用了以下两种方法：
● 直接上传一张图片生成视频
正如以下示例所示，只需上传一张图片即可直接生成视频。这种方法操作简便、效率高，是我们最常用的生成视频方式。我们主要使用Runway和Pixverse来完成这一步骤。
● 利用首尾画面合成连贯视频
通过设定起始和结束帧的图像，AI技术能够智能地填充两者之间的动态过程，进而创造出一段连贯的视频。在此过程中，我们采用的AI视频制作工具名为Dreamina。以巴黎铁塔从日出到黄昏的景象为例，我们可以借助Dreamina的功能，轻松制作出从日间到黄昏时段的过渡效果，实现自然的光影变化。
5. 剪辑的精炼
当视频生成阶段圆满落幕，我们便踏入了剪辑制作的领域。利用After Effects软件，我们将生成的视频素材，依照分镜脚本的内容进行精细剪辑。当然，如果你希望以更为简便的方式完成这一环节，剪映也是一个不错的选择。此环节在整条制作流程中，人工的参与度达到了最高。尽管每个视频的原始时长大约介于3至4秒，但实际上能被充分利用的片段仅占总视频的24%。从这个数据可以看出，AI生成的视频并非全部都能直接应用。有时，因为生成过程中的一些问题，我们只能从中提取1至2秒的可用内容。若单个视频的时长不足以满足剪辑要求，我们可以通过生成与现有画面相似或延长画面的额外视频来补充。然而，在大多数情况下，现有的视频素材已经足够应对剪辑任务。
6. 音效的融入
鉴于时间紧迫，本次的视频制作中我们采用了现成的音乐素材，未能实现AI生成音乐素材的创作。尽管如此，我们依然强烈建议大家在时间允许的情况下，尝试探索AI音乐素材的生成。在此，我们也向大家推荐一款优秀的AI音乐生成工具——Suno。它能够根据用户对音乐的具体描述，迅速生成符合预期的音乐作品。这不仅能为我们的视频增添独特的音乐元素，还能显著提升视频作品的艺术价值和观赏性。
制作成本分析
目前，尽管AI技术已经取得了显著的进步，但在视频制作领域，AI的独立运作能力仍然有限，需要大量的人工参与和协作。这两个视频是我们团队在工作的碎片时间中制作完成的成果。从最初的脚本撰写到剪辑制作的六个环节，直至最终成片，每个视频平均花费了60多个小时。在创作过程中，我们通过Midjourney共生成了7600多张图片，经过严格筛选，最终选用了97张图片。这些图片生成了450多个视频，再经过进一步的筛选，我们最终选用了86个视频用于最终的呈现。尽管整个制作过程比预期要长，但考虑到这是我们首次尝试，团队需要时间去磨合和适应。
尽管在AI视频生成技术方面已经取得了显著的进展，但在处理复杂动作和实现完美效果上，仍有待进一步优化。目前，AI生成的视频时长限制在4秒，这使得AI视频在满足我们多样化的需求和期望方面还存在一定的局限性。尽管本次视频制作尚未达到我们心中的理想效果，还有许多改进的空间，但我们依然坚信，AI视频在技术突破、应用拓展以及与其他技术的融合等方面，未来具有广阔的发展前景。在更先进的AI视频技术尚未到来之前，提前掌握AI视频的制作流程显得尤为必要。
作为我们团队制作的首个AI视频，此次实践让我们不仅走通了整个制作流程，还积累了宝贵的经验，为后续的AI视频制作储备了能力，为未来的实践奠定了基础。我们深信，随着AI视频技术的不断进步以及我们团队经验的持续积累，我们有能力制作出更高品质的AI视频，满足更广泛的商业需求，推动团队业务的持续发展。
