Sonilo a levé $11 millions lors d’un tour de table mené par B Capital, avec la participation de Redpoint. Cet investissement soutiendra sa technologie de génération de musique et d’effets sonores adaptés aux vidéos.
L’entreprise a prévu d’affecter ces fonds aux axes suivants :
- Le développement de l’infrastructure de calcul pour accroître les performances des modèles.
- Le déploiement commercial sur les plateformes destinées aux créateurs et aux développeurs.
- Le développement des licences musicales.
Générer de l’audio à partir de vidéos et de texte
Sonilo développe des modèles propriétaires de musique et de son conçus autour de la vidéo. Son Sound World Model associe l’interprétation vidéo, la génération audio et la synchronisation temporelle au sein d’un système d’intelligence artificielle (AI) multimodal.
Le modèle s’appuie sur le rythme, les mouvements et la progression émotionnelle d’une scène pour générer l’audio qui l’accompagne. Les créateurs peuvent fournir des séquences vidéo, des instructions textuelles ou les deux pour produire une bande-son synchronisée destinée à un usage commercial.
Shawn Song, CEO et co-founder de Sonilo, a déclaré que les outils audio fondés sur le texte peuvent obliger les créateurs à passer des heures à décrire la musique, à la synchroniser avec les images et à sélectionner des effets sonores pour un seul contenu.
Song a expliqué que Sonilo analyse plutôt les séquences image par image, en s’appuyant sur leur rythme, leur émotion et leur narration pour générer une musique et des effets adaptés à la scène.
L’approche de l’équipe s’appuie sur des années de développement de systèmes de recommandation et de génération à l’échelle de grandes plateformes. Selon Sonilo, le développement des modèles est guidé par les méthodes de travail des créateurs, plutôt que par les tests de référence du secteur.
Outils pour les créateurs et distribution
L’équipe fondatrice entend associer la recherche en AI multimodale, l’expertise en licences musicales et un développement produit centré sur les méthodes de travail des créateurs.
Daisy Cai, general partner chez B Capital, a cité les possibilités de saisie de texte et de vidéo proposées par Sonilo, l’expertise de Song en génération musicale multimodale et l’attention portée par l’équipe aux méthodes de travail des créateurs parmi les raisons ayant motivé son soutien à l’entreprise.
Cai a déclaré que B Capital s’attend à ce que l’audio génératif devienne une composante essentielle des technologies vidéo conçues autour de l’AI.
Sonilo propose également un doublage par AI avec synchronisation des mouvements des lèvres, conçu pour aider les studios de séries courtes et de création de contenus à adapter leurs vidéos à différentes langues sans postproduction manuelle.
Ses premiers partenaires de distribution comprennent l’agrégateur d’outils de création par AI TapNow et ComfyUI.
Licences musicales et lancement grand public
Sonilo développe son infrastructure musicale commerciale à partir de contenus sources sous licence, avec Shutterstock parmi ses premiers partenaires en matière de licences.
L’entreprise indique que ses modèles sont entraînés sur des jeux de données musicales sous licence, et que des redevances de licence et des parts de revenus sont versées aux ayants droit et aux artistes.
Sonilo finalise des accords portant sur les enregistrements master et l’édition musicale avec de grandes organisations de gestion des droits. Ces accords devraient être conclus dans les prochaines semaines.
Une application grand public est prévue pour le quatrième trimestre, afin de donner aux créateurs individuels un accès direct à la technologie de Sonilo permettant de générer de la musique à partir de vidéos.
