Publication

Integrating visual and semantic descriptions for effective, flexible and user-friendly image retrieval

Zoran Pecenovic
2003
Thèse EPFL
Résumé

Effectively managing a large collection of multimedia documents is a challenge, addressed by many disciplines from signal processing through database systems to artificial intelligence and interaction design. The problems to be solved have rarely been considered together. We propose a series of novel solutions for: the system architecture, the document content characterization, the retrieval methodology, and the user interaction schemes. We propose and describe a communicating components architecture using a new open and flexible protocol for messaging. Its foundation, the multimedia retrieval markup language (mrml) is specified with examples of the benefits of this approach. The general multimedia application domain is restricted mainly to image documents that carry semantic annotation like captions or meta-data. The integration of perceptual and semantic content descriptions into a single retrieval structure is the principal contribution of our work. The proposed method allows for improved effectiveness, augmented functionality and high flexibility for the extension to other media types like audio or video. The relationships among the two different representational characteristics can be exploited for more effective retrieval and other tasks like semi-automatic image annotation or illustration of semantic concepts. The final contribution is the study and implementation of user interaction metaphors that are intuitive and attempt to further bridge the gap between user's and system's notion of relevance. A rich set of information need formulation tools is proposed to users of varying skill and of varying requirements. Merging query specification with result visualization and browsing, using interactively explorable search spaces, offers a single access point to most retrieval tasks.

À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.
Concepts associés (40)
Design numérique
vignette|366x366px Incluant l’ensemble des pratiques utilisant des matières informatisées comme moyen et comme fin dans la conception, le design numérique (également appelé design d'interaction ou design interactif) définit les structures et comportements de systèmes interactifs. Apparaissant comme un nouveau champ issu de la révolution numérique, il réinvente la manière de façonner le design en mettant l’accent sur l’expérience de l’acteur et non l’objet en soi.
Interaction technique
An interaction technique, user interface technique or input technique is a combination of hardware and software elements that provides a way for computer users to accomplish a single task. For example, one can go back to the previously visited page on a Web browser by either clicking a button, pressing a key, performing a mouse gesture or uttering a speech command. It is a widely used term in human-computer interaction. In particular, the term "new interaction technique" is frequently used to introduce a novel user interface design idea.
Interface utilisateur
L’interface utilisateur est un dispositif matériel ou logiciel qui permet à un usager d'interagir avec un produit informatique. C'est une interface informatique qui coordonne les interactions homme-machine, en permettant à l'usager humain de contrôler le produit et d'échanger des informations avec le produit. Parmi les exemples d’interface utilisateur figurent les aspects interactifs des systèmes d’exploitation informatiques, des logiciels informatiques, des smartphones et, dans le domaine du design industriel, les commandes des opérateurs de machines lourdes et les commandes de processus.
Afficher plus
Publications associées (131)
MOOCs associés (16)
Digital Signal Processing [retired]
The course provides a comprehensive overview of digital signal processing theory, covering discrete time, Fourier analysis, filter design, sampling, interpolation and quantization; it also includes a
Digital Signal Processing
Digital Signal Processing is the branch of engineering that, in the space of just a few decades, has enabled unprecedented levels of interpersonal communication and of on-demand entertainment. By rewo
Instructional Design with Orchestration Graphs
Discover a visual language for designing pedagogical scenarios that integrate individual, team and class wide activities.
Afficher plus

Graph Chatbot

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.