港大经管学院发表Gen AI影片生成能力测评报告
生成式人工智能(Gen AI)发展日趋成熟,从早期的文字与图像生成,演进至现时能够创作高质素影片。有数据显示于今年首八个月,中国内地共推出约43万部微短剧,其中,AI生成短剧占新作品逾90%,反映相关技术正逐步迈向大规模应用。然而,在快速提升生成能力的同时,模型于生成内容安全与风险控制能力亦备受关注。
由港大经管学院创新及资讯管理学教授兼夏利莱伉俪基金教授、人工智能评测实验室主任蒋镇辉教授带领的港大经管学院人工智能评测实验室(AIEL)发表《人工智能视频生成模型性能与安全性测评报告》,评估市面上10多款主流Gen AI 模型生成影片的能力,以及其识别及防范虚假讯息及高风险内容的能力。
研究团队透过两种测试方式进行评估,包括以纯文字指令生成影片,以及结合文字与参考图片生成影片,并从六大范畴评估其生成能力:画面连贯性、物理合理性、美学、遵循指令程度、音质,以及声画配合的程度。同时,研究亦会在指令提示词中加入不同类型的高风险内容,包括虚假讯息、违法内容、暴力及色情内容、具歧视内容,及有版权保护的内容,以评估各模型的安全防护及拦截能力。
主要发现
字节跳动旗下的Seedance 2.0 Pro整体生成影片的表现最佳,并在六个评估范畴均排名榜首。
模型的安全防护能力普遍落后于生成能力,反映普遍存在「重质素、轻防御」的发展倾向:
Seedance 2.0 Pro 生成影片能力方面排名第一,惟安全防护及拦截能力排名仅位列第六;
Hailuo-2.3 在风险测试中表现最佳,安全防护及拦截能力排榜首,惟其生成影片的能力较弱,排名仅得第九;
部分模型在处理涉及暴力及非法行为的指令时,仍会生成不当内容。
纯文字生成影片的整体表现普遍优于文字结合图片生成影片:
当在指令中加入参考图片后,大部分模型生成影片的质素下降;
当中 Wan 2.6 在纯文字生成影片测试中得分为 3.41分,惟加入图片后分数大跌 66%,仅得2.75分。
分析及建议
测试结果显示,现时AI模型的安全防护及拦截能力,普遍落后于其生成内容的能力,反映整体发展仍以提升内容质素为主,而在识别及防范虚假讯息及其他高风险内容方面仍有进步空间。另外,大部分模型同时处理图像及文字指令方面仍有限制,影响生成内容。研究团队建议,未来AI模型可聚焦以下四大发展方向:
加强生成影片的声画同步性及协同性;
提升文字与图片结合生成影片的能力,以及对复杂指令的理解能力;
增强长时序生成与复杂场景的驾驭能力,提升生成内容的连贯性与完整性;
改善安全防护及拦截能力,加强防范虚假讯息及高风险内容、版权保护及伦理合规等方面的训练,并透过红队测试等机制持续评估风险,确保生成能力提升与安全保障水平同步提升。
蒋镇辉教授表示:「AI生成影片技术正处于快速发展的关键阶段,未来行业竞争将不再仅聚焦于影片质素,而是更为着重模型的综合能力,包括处理高风险内容、以及执行复杂指令等方面的表现。」他续指,「 随着技术持续进步,AI 模型有望深度应用在影视创作、广告创意、文化旅游推广等更多领域,重塑数码内容产业的生产范式,而技术创新亦须与伦理治理并行,方能释放其长远社会价值。」
如欲了解完整研究报告,请按 此处 浏览
模型 | 機構 |
CogVideoX-3 | 智譜 |
Hailuo-2.3 | MiniMax |
Kling 3.0 | 快手科技 |
Kling O1 | 快手科技 |
Pika 2.2 | Pika Labs |
PixVerse V5.5 | 愛詩科技 |
Seedance 1.5 Pro | 字節跳動 |
Seedance 2.0 Pro | 字節跳動 |
Sora 2 Pro | OpenAI |
Veo 3.1 | Google DeepMind |
Vidu Q3 Pro | 生數科技 |
Wan 2.6 | 阿里巴巴 |
表1. 參與評測的AI模型
模型 | 文字生成影片能力得分 | 文字及圖片生成影片能力 | 純視覺能力 | 視聽綜合能力 |
Seedance 2.0 Pro | 3.86 | 3.79 | 3.84 | 3.86 |
Veo 3.1 | 3.49 | 3.41 | 3.47 | 3.51 |
Vidu Q3 Pro | 3.42 | 3.49 | 3.44 | 3.49 |
Kling 3 | 3.42 | 2.91 | 3.27 | 3.28 |
Wan 2.6 | 3.41 | 2.75 | 3.22 | 2.95 |
Sora 2.0 Pro | 3.32 | 3.17 | 3.27 | 3.35 |
Seedance 1.5 Pro | 3.26 | 3.21 | 3.25 | 3.37 |
Kling O1 | 3.16 | 2.74 | 3.04 | -* |
Hailuo 2.3 | 3.08 | 2.62 | 2.95 | -* |
CogVideoX-3 | 3.01 | 2.70 | 2.92 | 2.66 |
PixVerse V5.5 | 2.88 | 2.67 | 2.82 | 2.87 |
Pika 2.2 | 2.87 | 2.68 | 2.81 | -* |
表2. 參與評測模型及其通過文字指令生成影片得分,以及結合文字與圖片生成影片得分、純視覺能力得分、視聽綜合綜合能力得分
*註:不支援生成聲音
模型 | 安全防護及攔截能力综合得分 |
Hailuo-2.3 | 3.63 |
Veo 3.1 | 3.62 |
Pika 2.2 | 3.52 |
PixVerse V5.5 | 3.48 |
CogVideoX-3 | 3.35 |
Seedance 2 Pro | 3.12 |
Vidu Q3 Pro | 3.08 |
Kling O1 | 2.50 |
Kling 3.0 | 2.40 |
Wan 2.6 | 2.32 |
Seedance 1.5 Pro | 2.18 |
表3. 參與評測模型及其安全防護及攔截能力
傳媒垂詢,請聯絡:
港大經管學院 |
|
傳訊及公共事務助理總監 李宛納 Ariane LI | 傳訊及公共事務經理 張嘉敏 Karman CHEUNG |