Détection des défauts dans des films anciens

Suite à une réponse positive de l’appel à projet “Services Numériques Innovants” lancé par le Ministère de la Culture, nous avons lancé une collaboration avec la Cinémathèque de Toulouse pour la détection de défauts dans des films anciens qui ont été numérisés.

Par un réseau de neurones de type U-net que nous avons entraînés à partir des images défectueuses et des images restaurées par un expert de la Cinémathèque de Toulouse, nous avons obtenu un détecteur de défauts dont vous pouvez voir quelques exemples ci-dessous. En rouge les détections vont même au-delà de celles corrigées par l’expert. En bleu le masque de défauts issu de la restauration, qui contient parfois trop de modifications par rapports aux défauts réels.

• 

• 

• 

• 

• 

• 

• 

• 

• 

Inpainting des défauts dans des films anciens

Si l’inpainting de défauts a d’abord été obtenu par des méthodes basées sur la diffusion des pixels présents au bords du défaut en conservant les structures globales, les approches par patchs ont quant à elles permis de pouvoir propager la texture.

En combinant les deux approches, nous avons pu allier les qualités des deux méthodes. C’est-à-dire que les structures sont reconstruites et servent à guider le raffinement avec les textures. Ci-dessous vos trouverez un exemple d’image avant et après notre inpainting vidéo.

• 

• 

Futurs travaux

Les prochains axes de recherche seront basés sur la restauration et l’amélioration des films au sens large, comme la colorisation ou la super-résolution. La suite des travaux se fera toujours en lien avec la Cinémathèque de Toulouse.