Sonilo ha recaudado $11 millones en una ronda de financiamiento liderada por B Capital, con la participación de Redpoint. La inversión respaldará su tecnología para generar música y efectos de sonido adaptados al video.
La empresa ha destinado los fondos a:
- Infraestructura de cómputo para ampliar el rendimiento de los modelos.
- Expansión comercial en plataformas para creadores y desarrolladores.
- Crecimiento en el otorgamiento de licencias musicales.
Generación de audio a partir de video y texto
Sonilo desarrolla modelos propios de música y sonido diseñados en torno al video. Su Sound World Model combina la interpretación de video, la generación de audio y la sincronización temporal en un sistema de inteligencia artificial (AI) multimodal.
El modelo utiliza los tiempos, el movimiento y la progresión emocional de una escena para generar el audio que la acompaña. Los creadores pueden aportar material de video, instrucciones de texto o ambos para producir una banda sonora sincronizada destinada al uso comercial.
Shawn Song, CEO y co-founder de Sonilo, señaló que las herramientas de audio basadas en texto pueden exigir que los creadores dediquen horas a describir la música, sincronizarla con el video y seleccionar efectos de sonido para una sola pieza de contenido.
Song explicó que Sonilo analiza el video cuadro por cuadro y utiliza su ritmo, emoción y narrativa para generar música y efectos adecuados para la escena.
El enfoque del equipo se nutre de años de desarrollo de sistemas de recomendación y generación a escala de plataforma. Sonilo afirma que los flujos de trabajo de los creadores guían el desarrollo de sus modelos, en lugar de las pruebas de referencia de la industria.
Herramientas para creadores y distribución
El equipo fundador busca combinar la investigación en AI multimodal, la experiencia en licencias musicales y el desarrollo de productos centrado en la forma de trabajar de los creadores.
Daisy Cai, general partner de B Capital, mencionó las opciones de entrada de texto y video de Sonilo, la experiencia de Song en generación musical multimodal y la atención del equipo a los flujos de trabajo de los creadores como motivos para respaldar a la empresa.
Cai señaló que B Capital prevé que el audio generativo se convierta en un componente esencial de la tecnología de video basada en AI.
Sonilo también ofrece doblaje con AI y movimientos labiales sincronizados, diseñado para ayudar a los estudios de dramas cortos y contenido a adaptar videos a distintos idiomas sin posproducción manual.
Entre sus primeros socios de distribución se encuentran el agregador de herramientas de AI para creadores TapNow y ComfyUI.
Licencias musicales y lanzamiento para consumidores
Sonilo está desarrollando su infraestructura musical comercial con material de origen autorizado mediante licencias, y Shutterstock figura entre sus primeros socios en este ámbito.
La empresa afirma que sus modelos se entrenan con conjuntos de datos musicales bajo licencia y que paga tarifas de licencia y participaciones en los ingresos a los titulares de derechos y artistas.
Sonilo está ultimando acuerdos sobre grabaciones maestras y edición musical con importantes organizaciones de gestión de derechos. Se espera que esos acuerdos se cierren en las próximas semanas.
Está previsto lanzar una aplicación para consumidores en el cuarto trimestre, que dará a los creadores individuales acceso directo a la tecnología de Sonilo para generar música a partir de video.
