Documents statiques et multimodalité
Type de matériel :
1
RésuméCet article illustre le rôle central que peuvent jouer les documents statiques dans des applications multimodales et en particulier dans l’analyse et l’indexation d’enregistrements de réunions. L’article montre ainsi l’apport des structures de documents pour segmenter des réunions, tâche complexe en utilisant uniquement l’audio et la vidéo, et propose quatre étapes afin de lier temporellement les documents et des données multimédias de réunions. D’abord, une installation permet d’enregistrer toutes les modalités d’une réunion (audio, vidéo, document, etc.). Une méthode hybride d’analyse crée ensuite une représentation multicouche des documents électroniques. Les documents, ainsi représentés, sont ensuite alignés avec la parole et la vidéo. Finalement, une interface utilisateur, basée sur les documents et bénéficiant de tous les liens temporels construits, permet de naviguer sur des archives multimédias de réunions.
Printable documents play a central role in multimodal applications such as meeting recording and browsing. They provide a variety of structures, in particular thematic, for segmenting meetings, structures that are often hard to extract from audio and video. In this article, we present four steps for bridging a temporal link between documents and multimedia meeting archives. First, a document-centric meeting environment is presented, then, a document analysis tool, which builds a multi-layered representation of documents and creates index that are further used by document/speech and document/video alignment methods. Finally, a document-enabled browsing system, putting all the alignments together, is described.
Réseaux sociaux