Panjaya révolutionne le doublage vidéo avec l’IA générative : quand la technologie deepfake devient vertueuse

Dans l’univers effervescent de l’intelligence artificielle, une startup nommée Panjaya vient de lever le voile sur une innovation qui pourrait bien changer la donne dans le monde du doublage vidéo. Imaginez pouvoir regarder votre série préférée en mandarin, avec les lèvres des acteurs parfaitement synchronisées et leurs voix naturellement adaptées – sans cette sensation bizarre de décalage qui nous fait souvent préférer les sous-titres. C’est précisément ce que propose BodyTalk, leur nouvelle solution alimentée par l’IA.

Une technologie de pointe née de l’expertise israélienne

Derrière cette prouesse technologique se cachent trois cerveaux brillants :

• Hilik Shani et Ariel Shalom, deux experts en deep learning issus des services gouvernementaux israéliens
• Guy Piekarz, ancien entrepreneur ayant vendu sa startup Matcha à Apple pour 10-15 millions de dollars

BodyTalk : bien plus qu’un simple outil de traduction

La solution développée par Panjaya se distingue par sa capacité à :

• Traduire automatiquement vers 29 langues différentes
• Reproduire fidèlement la voix originale dans la langue cible
• Synchroniser parfaitement les mouvements labiaux
• Adapter naturellement les expressions faciales

Une technologie qui séduit déjà les grands noms

Les premiers résultats sont plus qu’encourageants : TED rapporte une augmentation de 115% des vues sur les vidéos doublées avec BodyTalk, et les taux de visionnage complet ont doublé. JFrog fait également partie des premiers clients conquis par cette innovation.

La question éthique au cœur du projet

Consciente des débats autour des deepfakes, Panjaya prend ses distances avec ce terme controversé. L’entreprise préfère se positionner dans la catégorie « deep real » et met en place plusieurs garde-fous :

• Focalisation exclusive sur le marché B2B
• Contrôle strict des accès à la technologie
• Développement prévu d’outils de watermarking

FAQ

Cette technologie va-t-elle remplacer les sous-titres ?

Pas nécessairement. Selon une étude CBS, 55% des Américains utilisent régulièrement les sous-titres. BodyTalk vient plutôt compléter l’offre existante, particulièrement pour les contenus professionnels et éducatifs.

Quels sont les principaux concurrents ?

Vimeo, ElevenLabs, Speechify et Synthesis proposent des solutions similaires, mais Panjaya se démarque par sa technologie de synchronisation labiale propriétaire.

Quel est le temps de traitement ?

Actuellement, BodyTalk traite les vidéos en « quasi temps réel », soit quelques minutes. Une version en temps réel est en développement.

Perspectives d’avenir

Avec un financement initial de 9,5 millions de dollars, Panjaya ambitionne de développer :

• Une API pour faciliter l’intégration
• Des solutions en temps réel
• De nouvelles applications dans les domaines du sport, de l’éducation et de la santé

Conclusion

Alors que le marché de la traduction vidéo continue de croître, Panjaya pose les jalons d’une nouvelle ère dans le doublage audiovisuel. Entre innovation technologique et considérations éthiques, l’entreprise démontre qu’il est possible d’utiliser les techniques de deepfake à des fins constructives et professionnelles. Une chose est sûre : le futur du doublage vidéo s’annonce passionnant.