最新加入开源阵营的是腾讯混元团队研发的端到端视频音效生成方案HunyuanVideo-Foley。
该模型可同步处理无声视频与文字描述输入，在0-6秒片段生成脚步声、6-21秒呈现枪响效果、21-27秒则精准合成打火石迸溅声与人物喘息声等复杂音效场景。
无论是夸张滑稽的卡通音效还是真实乐器演奏配音均可高质量完成。
当前视频生成技术虽已实现视觉层面的逼真呈现，但音频同步缺失导致沉浸感严重不足。
针对视频转音频（V2A）生成面临的动态匹配、模态失衡、保真度三大核心挑战： 腾讯混元团队构建了创新性多模态音频生成框架HunyuanVideo-Foley： 1. 场景泛化能力卓越 该模型能精准识别人物互动、动物行为、自然景观、卡通动画及科幻场景等不同视频类型，在”双手分开时细微声响伴随拥抱动作”及”老旧木质风车吱呀作响”等复杂场景中均能生成与画面高度同步的音频信号。
2. 多源信息融合机制 通过双流多模态扩散变换器（MMDiT）架构实现视频帧级对齐与文本语义注入，在”海浪拍打海岸”的文字提示下不仅能同步海浪声效，还能捕捉人群交谈与海鸥鸣叫等画面隐含音源，并自然融入环境背景音形成层次化听觉体验。
3. 专业级音频质量保障 采用改进型DAC-VAE架构支持48kHz高采样率，在汽车驶过湿滑路面场景中可精准还原引擎转速变化、轮胎摩擦质感及空间位移声场变化等细节特征。
技术实现层面： – 自动化数据管道构建了约10万小时规模的TV2A训练集 – 引入表征对齐（REPA）损失函数优化音频特征表达 – 通过交叉注意力机制平衡多模态输入权重 该方案在MovieGen-Audio-Bench基准测试中核心指标超越现有最佳模型MMAudio：其生成音频在动态匹配度、语义准确性及声音保真度维度均实现显著提升，并已在影视制作、游戏开发及虚拟现实等领域提供高效解决方案。
项目资源获取： 官方网站：https://szczesnys.github.io/hunyuanvideo-foley/ 代码仓库：https://github.com/Tencent-Hunyuan/HunyuanVideo-Foley 模型体验平台：https://hunyuan.tencent.com/modelSquare/home/play?from=modelSquare&modelId=143
评论列表 (0条)：
加载更多评论 Loading...