Sonilo 已完成一轮 $11 million 的融资,由 B Capital 领投,Redpoint 参投。这笔投资将支持其生成与视频相匹配的音乐和音效的技术。
公司已将这笔资金规划用于:
- 扩展计算基础设施,以提升模型性能。
- 拓展面向创作者和开发者平台的市场业务。
- 扩大音乐授权业务。
根据视频和文本生成音频
Sonilo 开发以视频为核心的专有音乐和声音模型。其 Sound World Model 将视频理解、音频生成和时间对齐整合到一个多模态人工智能(AI)系统中。
该模型利用场景的时间节奏、动作和情绪变化来生成配套音频。创作者可以提供视频素材、文本指令或两者结合,生成可供商业使用的同步配乐。
Sonilo 的 CEO 兼 co-founder Shawn Song 表示,使用基于文本的音频工具时,创作者可能需要花费数小时,为单条内容描述音乐、将音乐与视频素材对齐,并挑选音效。
Song 表示,Sonilo 则会逐帧分析视频素材,利用其中的节奏、情绪和叙事,生成适合场景的音乐和音效。
团队的方法源于多年来开发平台级推荐和生成系统的经验。Sonilo 表示,模型开发以创作者的工作流程为导向,而非行业基准测试。
创作者工具与分发
创始团队希望将多模态 AI 研究、音乐授权专业知识,以及围绕创作者工作方式展开的产品开发结合起来。
B Capital 的 general partner Daisy Cai 表示,Sonilo 提供文本和视频输入选项、Song 在多模态音乐生成方面的专业能力,以及团队对创作者工作流程的重视,都是投资该公司的原因。
Cai 表示,B Capital 预计,生成式音频将成为以 AI 为核心的视频技术中不可或缺的组成部分。
Sonilo 还提供带有同步口型的 AI 配音,旨在帮助短剧和内容工作室将视频适配为不同语言,无需手动进行后期制作。
早期分发合作伙伴包括 AI 创作工具聚合平台 TapNow 和 ComfyUI。
音乐授权与面向消费者的应用上线
Sonilo 正在利用获得授权的源素材建设其商业音乐基础设施,Shutterstock 是其早期授权合作伙伴之一。
公司表示,其模型使用获得授权的音乐数据集进行训练,并向权利人和艺人支付授权费和收入分成。
Sonilo 正在与主要权利机构敲定母带录音和音乐词曲版权协议。这些交易预计将在未来几周内完成。
一款面向消费者的应用计划于第四季度推出,让个人创作者能够直接使用 Sonilo 的视频转音乐生成技术。