Sonilo ha recaudado $11 million en una ronda de financiamiento liderada por B Capital, con la participación de Redpoint. La inversión impulsará su tecnología para generar música y efectos de sonido adaptados al video.
La empresa ha destinado los fondos a:
- Infraestructura de cómputo para aumentar el rendimiento de los modelos.
- Expansión comercial en plataformas para creadores y desarrolladores.
- Ampliación de las licencias musicales.
Generación de audio a partir de video y texto
Sonilo desarrolla modelos propios de música y sonido diseñados en torno al video. Su Sound World Model combina la interpretación de video, la generación de audio y la sincronización temporal en un sistema de inteligencia artificial (AI) multimodal.
El modelo utiliza los tiempos, el movimiento y la progresión emocional de una escena para generar el audio que la acompaña. Los creadores pueden proporcionar material de video, instrucciones de texto o ambos para producir una banda sonora sincronizada destinada al uso comercial.
Shawn Song, CEO y co-founder de Sonilo, señaló que las herramientas de audio basadas en texto pueden exigir que los creadores dediquen horas a describir la música, sincronizarla con el video y seleccionar efectos de sonido para una sola pieza de contenido.
Song explicó que Sonilo, en cambio, analiza el video cuadro por cuadro y utiliza su ritmo, emoción y narrativa para generar música y efectos adecuados para la escena.
El enfoque del equipo se basa en años de desarrollo de sistemas de recomendación y generación a escala de plataforma. Sonilo afirma que los flujos de trabajo de los creadores orientan el desarrollo de sus modelos, en lugar de las pruebas de referencia de la industria.
Herramientas para creadores y distribución
El equipo fundador busca combinar la investigación en AI multimodal, la experiencia en licencias musicales y el desarrollo de productos centrado en la forma de trabajar de los creadores.
Daisy Cai, general partner de B Capital, citó las opciones de entrada de texto y video de Sonilo, la experiencia de Song en generación musical multimodal y la atención del equipo a los flujos de trabajo de los creadores como motivos para respaldar a la empresa.
Cai afirmó que B Capital prevé que el audio generativo se convierta en un componente esencial de la tecnología de video desarrollada en torno a la AI.
Sonilo también ofrece doblaje con AI y movimientos labiales sincronizados, diseñado para ayudar a los estudios de dramas cortos y de contenido a adaptar videos a distintos idiomas sin posproducción manual.
Entre sus primeros socios de distribución se encuentran el agregador de herramientas de AI para creadores TapNow y ComfyUI.
Licencias musicales y lanzamiento para consumidores
Sonilo está desarrollando su infraestructura musical comercial a partir de material con licencia, con Shutterstock entre sus primeros socios de licencias.
La empresa afirma que sus modelos se entrenan con conjuntos de datos de música con licencia y que paga tarifas de licencia y participaciones en los ingresos a los titulares de derechos y artistas.
Sonilo está ultimando acuerdos sobre grabaciones maestras y edición musical con importantes organizaciones de derechos musicales. Se espera que esos acuerdos se cierren en las próximas semanas.
Está previsto lanzar una aplicación para consumidores en el cuarto trimestre, que dará a los creadores individuales acceso directo a la tecnología de Sonilo para generar música a partir de video.
