视频大模型加速跑马圈地争抢内容创作高地

生活 2024年09月23日 08:16 299 楦翌

本报记者曲忠芳北京报道

自OpenAI的Sora在今年2月中旬引爆视频大模型至今，国内外已有不少于10家公司发布或更新了视频生成模型。大半年时间里，视频生成模型究竟发展到什么程度了？这成为业界关注的热点话题。

近日，中央广播电视总台导演、AIGC（AI生成内容）艺术家石宇翔（森海荧光）向《中国经营报》等媒体记者展示了自制的一条名为《夏日的礼物》的动画短片，同时他分享了创作流程，由国产自研视频模型——生数科技的Vidu平台制作生成，部分文案则由Kimi、智谱清言等国产大语言模型辅助，配乐由Suno生成。另一位是来自首届威尼斯AI生成短片国际电影节最佳影片得主、AinimateLab的负责人陈刘芳，在展示其团队的AIGC短片《一路向南》时介绍，创作团队仅由3人——导演、故事版艺术家、AIGC技术专家各一人组成，制作周期约1周。“同样的短片，如果按照传统流程需要20人，涉及导演、美术、建模、灯光、渲染等不同工种，周期需要1个月左右。”她说道。

本报记者了解到，影视内容生产及IP开发、广告营销等行业成为视频生成技术率先落地使用的领域。无论是海外的Sora、Runway等，还是国内的Vidu、快手“可灵”、智谱AI“清影”等视频大模型，都在加速“跑马圈地”，布局商业化场景。

当前视频模型生成内容的痛点

今年4月，生数科技联合清华大学率先发布了全自研视频大模型Vidu，该模型在7月底正式上线后迅速在TikTok、X等海外社交体“走红”，多家第三方监测数据显示，Vidu上线首月即位列全球网页类产品用户访问量增速第一位。9月中旬，Vidu迭代上线了“主体参照”功能，面向全球用户免费开放。

生数科技联合创始人兼CEO唐家渝在接受记者采访时指出：“视频大模型领域的竞争日益激烈，尽管众多模型层出不穷，但普遍存在一个核心问题，即可控性不足，或者叫一致性不足。”

唐家渝解释道，在实际视频创作中，视频内容往往是围绕某个特定对象展开的，可以是角色或特定物体，这些对象在视频中的形象需要保持连续一致。然而现有的视频模型往往难以实现这一点，常常是主体在生成过程中容易崩坏。尤其在涉及复杂动作和交互的情况下，保持主体的一致性更是一项挑战。此外，视频模型的输出结果具有较大的随机性，对于镜头运用、光影效果等细节的控制也不够精细。因此，现阶段的视频模型虽然在画面表现力、物理规律、想象力等方面实现了一定程度的突破，但可控性的不足限制了它们在创作连贯、完整视频内容方面的应用。大多数的AI视频内容还是基于独立视频素材的拼接，情节的连贯性不足。

对于视频生成的这一“痛点”，记者了解到，业界曾尝试采用“先AI生图、再图生视频的方法”，通过AI绘图工具生成分镜头画面，先在图片层面保持主体一致，再将画面转化为视频片段进行剪辑合成，但效果并不尽如人意。Vidu给出的解法则是“主体参照”，即允许用户上传任意主体的一张图片，Vidu能够锁定该主体的形象，通过描述词任意切换场景，输出与主体一致的视频。需要说明的是，这里的“主体”不局限于单一对象，而是面向任意主体

，包括人物、动物、商品或者动漫角色、虚构主体等，Vidu能够保持主体在不同环境、不同镜头下的形象连贯一致，即保持一致性和可控性。在唐家渝及Vidu团队看来，这是“视频生成领域的一项重要创新，通过上传主体图输入场景描述词的方式直接生成视频素材，视频大模型加速跑马圈地争抢内容创作高地能够大幅减少工作量，降低了创作者的使用门槛”。

多家券商研报均指出，今年国内视频大模型经历快速迭代后，在技术和产品方面都实现了较大进展，在生成时长、分辨率、帧率等方面逐步缩小与Sora之间的差距。据东吴证券研报测算，假如以AI渗透率为15%计算，中国AI视频生成的潜在行业空间达3178亿元。在传统模式下，以2018年为例，电视剧、电视动画片平均投资成本为7519万元/部、686万元/部；电影的制作成本（不含宣发）每部为2300万元—1.7亿元。到2024年5月，微短剧国内和国外的制作成本分别约为50万元人民币、30万美元。在全AI模式下，电影、长剧、动画片、短剧的制作成本分别为2.5万元、9.3万元、3.7万元和0.4万元人民币，相较于传统模式成本降低幅度超过95%。这表明AI视频生成大模型从“玩具”升级为“生产力工具”。

“两条腿”走路：专业生产免费开放

视频大模型如何从尝鲜式的“玩具”“工具”转变为人人皆能用的“生产力工具”呢？本报记者注意到，视频大模型公司普遍采取“两条腿”走路：一方面继续提升视频大模型的性能，不断降低用户使用门槛，提升用户活跃度；另一方面则联合影视内容创作机构、院校创作者、IP品牌等，渗透至专业视频制作行业的各个环节，联合探索视频大模型的落地场景。

作为视频大模型的“引爆者”Sora，尽管一直并未向公众全面开放，但它正在与全球范围内的视觉艺术家、设计师、创意总监、电影制作人等进行合作。例如多媒体制作公司shykids利用Sora制作了关于气球人的短片；艺术家PaulTrillo则通过Sora进行电影制作，探索Sora在艺术创作中的应用价值；快手旗下的可灵AI联合9位知名导演制作出品9部AIGC短片。

智谱AI旗下在今年7月推出了视频生成模型CogVideoX及“清影”产品，智谱CEO张鹏透露，包括视频网站哔哩哔哩（B站）、影视公司华策影视等作为合作伙伴参与到清影产品的研发、模型共建中。生数科技也推出合作伙伴计划，邀请广告、影视、动漫、游戏等行业的机构加入，共同探索新的视频创作模式，在内容共创、技术支持、市场拓展等方面展开合作。首批合作伙伴包括开心麻花、猫眼娱乐、巨人网络、美克家居、融创文化、河南省非物质文化遗产保护和智慧化中心、李可柒画院等。

唐家渝介绍，Vidu目前的商业模式共两种：一是订阅模式，每月会给用户80分的免费积分，如有更多需求或使用更高级能力就需要支付订阅费用；二是API（应用程序编程接口）形式，即以模型能力输出给客户使用，融入他们既有的工作流程中。在他看来，尽管目前AI视频的主体使用者集中于专业用户，但AI视频已经来到“普及”的节点。视频大模型在努力降低创作者的门槛，对于专业创作者来说则在加速创作过程、提升创作效率。

新壹科技副总裁毛木子在接受记者采访时提到，视频生成从专业创作者走向更广泛普及化，还需要跨越三个重要的“关卡”。首先，生成质量与稳定性首当其冲。几乎所有用户都遇到了人物和动作的质量及稳定性不理想的问题，因此接下来，如何能够将视频中的细节（如人物表情、动作、背景等）进行精细化处理，使生成的视频更加真实和自然，是所有视频大模型都要首先解决的问题。其次，用户都希望在短时间内获得高质量的视频，因此生成速度是一个重要的技术指标。特别是在某些应用场景中，如直播或互动式视频生成，实时生成能力尤为关键。虽然现在技术上已经能够解决这些问题，但对于各家公司而言，不断投入算力成本也是一个非常大的挑战。最后，要想从专业走向普及，产品体验至关重要。要把用户的教育成本降下来，让产品能够根据文本提示生成高质量的视频，同时支持复杂的文本输入和多语言处理。

德邦证券《视频大模型奇点时刻加速到来》研究报告称，目前大部分厂商采取免费方式吸引用户，同时利用订阅模式开放更多功能这些方式来增强用户黏性，未来市场竞争向抢占用户、提升黏性等方面演进。视频大模型的逐步成熟奠定了AIGC应用普及的基础，在垂直领域具有广阔的应用场景和市场价值，向用户开放正在初步验证商用潜力。随着用户习惯的培育以及算力基础设施的完善，视频大模型或将在办公、广告、电影、游戏等多领域具有可观的前景。

（编辑：吴清审核：李正豪校对：颜京宁）

标签：视频大模型加速跑马圈地争抢内容创作高地

视频大模型加速跑马圈地争抢内容创作高地

科技巨头的风云变幻：泡沫英特尔困境与英伟达逆袭投向预言家

俄乌战场一士兵意外坠落，生命的脆弱与战争的残酷

最近发表

热门文章