Le lab propose un catalogue d’outils de fouille et d’analyse automatisée spécifiquement adaptés aux corpus multimédias. Ces logiciels et technologies sont issus des travaux du service de la recherche de l’INA et s’appuient sur ses infrastructures de calcul. Ils viennent compléter les nombreuses ressources et “boîtes à outil” existantes dans le champ des humanités numériques et des sciences sociales computationnelles.
Ces outils facilitent l’extraction, le traitement et la visualisation de grands volumes de données, notamment audio, vidéo et textuelles. Dans l’intérêt d’un dialogue entre les approches qualitatives et quantitatives, et d’un usage responsable et éthique de l’IA, nous proposons également un accompagnement technologique et méthodologique à destination des porteurs de projets.
inaFaceAnalyzer est une suite d’outils Python open source, permettant d’extraire des informations à partir des visages au sein de flux massifs d’images et de vidéo. Elle fournit notamment un pipeline de traitement qui permet de prédire l’âge et le genre des personnes, et d’exporter ces information sous forme de jeux de données, de vidéos enrichies ou de sous-titres.
La suite d’outils open-source InaSpeechSegmenter permet de détecter automatiquement la parole, la musique, et le genre des locuteurs au sein d’un média. Elle a été créée à l’INA dans le but d’alimenter des études à grande échelle sur le temps de parole des hommes et des femmes dans les médias.
La reconnaissance optique de caractères (OCR) permet de détecter et d’analyser un grand nombre d’objets visuels représentés à différents moments de la chaîne de production audiovisuelle : bandeaux, titres, mais aussi caractères filmés dans une portion de l’image (bannières, pancartes voire documents).
Snoop est un moteur de recherche iconographique permettant d’effectuer une requête à partir d’une image et d’afficher les images contenant le même objet, décor, personne… L’usager peut, via une annotation manuelle des résultats, affiner le classificateur pour obtenir rapidement des résultats précis.
L’analyse automatique de l’audio permet d’enrichir la description d’une émission avec la transcription textuelle intégrale des paroles prononcées. Plusieurs outils de reconnaissance de la parole (ASR) pourront être mobilisés pour les projets accompagnés par le lab en fonction des priorités, de l’envergure du projet et des corpus, et du temps de calcul disponible.
Trombinos est un système de gestion de base de données de visages développé à l’INA, qui permet à l’utilisateur de naviguer, de traiter et d’étendre efficacement un ensemble de données de visages à grande échelle, grâce à son modèle de reconnaissance faciale intégré.
