港大經管學院發表Gen AI影片生成能力測評報告
生成式人工智能(Gen AI)發展日趨成熟,從早期的文字與圖像生成,演進至現時能夠創作高質素影片。有數據顯示於今年首八個月,中國內地共推出約43萬部微短劇,其中,AI生成短劇佔新作品逾90%,反映相關技術正逐步邁向大規模應用。然而,在快速提升生成能力的同時,模型於生成內容安全與風險控制能力亦備受關注。
由港大經管學院創新及資訊管理學教授兼夏利萊伉儷基金教授、人工智能評測實驗室主任蔣鎮輝教授帶領的港大經管學院人工智能評測實驗室(AIEL)發表《人工智能視頻生成模型性能與安全性測評報告》,評估市面上10多款主流Gen AI 模型生成影片的能力,以及其識別及防範虛假訊息及高風險內容的能力。
研究團隊透過兩種測試方式進行評估,包括以純文字指令生成影片,以及結合文字與参考圖片生成影片,並從六大範疇評估其生成能力:畫面連貫性、物理合理性、美學、遵循指令程度、音質,以及聲畫配合的程度。同時,研究亦會在指令提示詞中加入不同類型的高風險內容,包括虛假訊息、違法內容、暴力及色情內容、具歧視內容,及有版權保護的內容,以評估各模型的安全防護及攔截能力。
主要發現
字節跳動旗下的Seedance 2.0 Pro整體生成影片的表現最佳,並在六個評估範疇均排名榜首。
模型的安全防護能力普遍落後於生成能力,反映普遍存在「重質素、輕防禦」的發展傾向:
Seedance 2.0 Pro 生成影片能力方面排名第一,惟安全防護及攔截能力排名僅位列第六;
Hailuo-2.3 在風險測試中表現最佳,安全防護及攔截能力排榜首,惟其生成影片的能力較弱,排名僅得第九;
部分模型在處理涉及暴力及非法行為的指令時,仍會生成不當內容。
純文字生成影片的整體表現普遍優於文字結合圖片生成影片:
當在指令中加入參考圖片後,大部分模型生成影片的質素下降;
當中 Wan 2.6 在純文字生成影片測試中得分為 3.41分,惟加入圖片後分數大跌 66%,僅得2.75分。
分析及建議
測試結果顯示,現時AI模型的安全防護及攔截能力,普遍落後於其生成內容的能力,反映整體發展仍以提升內容質素為主,而在識別及防範虛假訊息及其他高風險內容方面仍有進步空間。另外,大部分模型同時處理圖像及文字指令方面仍有限制,影響生成內容。研究團隊建議,未來AI模型可聚焦以下四大發展方向:
加強生成影片的聲畫同步性及協同性;
提升文字與圖片結合生成影片的能力,以及對複雜指令的理解能力;
增強長時序生成與複雜場景的駕馭能力,提升生成內容的連貫性與完整性;
改善安全防護及攔截能力,加強防範虛假訊息及高風險內容、版權保護及倫理合規等方面的訓練,並透過紅隊測試等機制持續評估風險,確保生成能力提升與安全保障水平同步提升。
蔣鎮輝教授表示:「AI生成影片技術正處於快速發展的關鍵階段,未來行業競爭將不再僅聚焦於影片質素,而是更為著重模型的綜合能力,包括處理高風險內容、以及執行複雜指令等方面的表現。」他續指,「 隨著技術持續進步,AI 模型有望深度應用在影視創作、廣告創意、文化旅遊推廣等更多領域,重塑數碼內容產業的生產范式,而技術創新亦須與倫理治理並行,方能釋放其長遠社會價值。」
如欲了解完整研究報告,請按 此處 瀏覽。
模型 | 機構 |
CogVideoX-3 | 智譜 |
Hailuo-2.3 | MiniMax |
Kling 3.0 | 快手科技 |
Kling O1 | 快手科技 |
Pika 2.2 | Pika Labs |
PixVerse V5.5 | 愛詩科技 |
Seedance 1.5 Pro | 字節跳動 |
Seedance 2.0 Pro | 字節跳動 |
Sora 2 Pro | OpenAI |
Veo 3.1 | Google DeepMind |
Vidu Q3 Pro | 生數科技 |
Wan 2.6 | 阿里巴巴 |
表1. 參與評測的AI模型
模型 | 文字生成影片能力得分 | 文字及圖片生成影片能力 | 純視覺能力 | 視聽綜合能力 |
Seedance 2.0 Pro | 3.86 | 3.79 | 3.84 | 3.86 |
Veo 3.1 | 3.49 | 3.41 | 3.47 | 3.51 |
Vidu Q3 Pro | 3.42 | 3.49 | 3.44 | 3.49 |
Kling 3 | 3.42 | 2.91 | 3.27 | 3.28 |
Wan 2.6 | 3.41 | 2.75 | 3.22 | 2.95 |
Sora 2.0 Pro | 3.32 | 3.17 | 3.27 | 3.35 |
Seedance 1.5 Pro | 3.26 | 3.21 | 3.25 | 3.37 |
Kling O1 | 3.16 | 2.74 | 3.04 | -* |
Hailuo 2.3 | 3.08 | 2.62 | 2.95 | -* |
CogVideoX-3 | 3.01 | 2.70 | 2.92 | 2.66 |
PixVerse V5.5 | 2.88 | 2.67 | 2.82 | 2.87 |
Pika 2.2 | 2.87 | 2.68 | 2.81 | -* |
表2. 參與評測模型及其通過文字指令生成影片得分,以及結合文字與圖片生成影片得分、純視覺能力得分、視聽綜合綜合能力得分
*註:不支援生成聲音
模型 | 安全防護及攔截能力综合得分 |
Hailuo-2.3 | 3.63 |
Veo 3.1 | 3.62 |
Pika 2.2 | 3.52 |
PixVerse V5.5 | 3.48 |
CogVideoX-3 | 3.35 |
Seedance 2 Pro | 3.12 |
Vidu Q3 Pro | 3.08 |
Kling O1 | 2.50 |
Kling 3.0 | 2.40 |
Wan 2.6 | 2.32 |
Seedance 1.5 Pro | 2.18 |
表3. 參與評測模型及其安全防護及攔截能力
傳媒垂詢,請聯絡:
港大經管學院 |
|
傳訊及公共事務助理總監 李宛納 Ariane LI | 傳訊及公共事務經理 張嘉敏 Karman CHEUNG |