Búsqueda multimodal

Una búsqueda multimodal es un tipo de motor de búsqueda que utiliza más de un método para obtener resultados relevantes, puede utilizar cualquier tipo de búsqueda, por palabra clave, por concepto, mediante ejemplo, etc.

Introducción

Un motor de búsqueda multimodal intenta imitar la flexibilidad y agilidad con la que actúa la [mente humana]] para crear y procesar ideas y descartar características irrelevantes. Así, cuantos más elementos se dispongan para poder comparar, más precisa puede llegar a ser la búsqueda.

Los motores de búsqueda multimodales permiten el uso de muchas entradas de distinta naturaleza y métodos de búsqueda de manera simultánea con la posibilidad de agrupar los resultados en una combinación de los elementos en el conjunto de la búsqueda. También hay buscadores que permiten una retroalimentación de los resultados para la mejora de la búsqueda y poder refinarla cada vez más.

Actualmente los dispositivos móviles que en un principio tenían la función de comunicarse con otros dispositivos, han ido evolucionando hasta al punto de poder realizar infinidad de funciones desde cualquier lugar gracias a la conexión a internet y al Gps. Pantallas táctiles, sensores de movimiento, reconocimiento de voz son algunas de las características que tienen los dispositivos móviles actualmente, llamados smartphones. Todas las características y funcionalidades de los móviles hacen posible poder realizar búsquedas multimodales desde cualquier lugar del mundo y en cualquier momento.

Elementos de la búsqueda

En las búsquedas multimodales, se puede utilizar texto y también elementos multimedia como imágenes, vídeos, audio, la voz humana, documentos, y datos del mundo real para obtener más precisión en los resultados, los cuales también pueden ser de diferente naturaleza.

Aun actualmente se están descubriendo diferentes maneras de poder interactuar con un buscador, tanto por lo que respeta a los elementos de entrada para poder realizar la búsqueda como en la variedad de los resultados que se obtienen.

Contexto personal

Muchas búsquedas desde dispositivos móviles se basan en los servicios basados en localización (LBS), actualmente de 3ª generación, que utilizan la ubicación del usuario para interactuar con las aplicaciones. El navegador utiliza el GPS del dispositivo móvil si está disponible, o bien realiza el cálculo aproximado basado en la triangulación de torres celulares, siempre con el permiso del usuario, el cual tiene que estar de acuerdo en compartir su localización con la aplicación en el momento de la descarga. Así, las búsquedas multimodales no sólo utilizan datos o elementos audiovisuales que proporciona el usuario directamente, sinó que también puede ayudar el contexto donde se encuentra el usuario, ya sea su ubicación, su idioma, la hora en aquel momento, la página web o documento donde navega, u otros elementos que pueden ayudar en la mejora de una búsqueda adaptada a cada situación.

Clasificación de los resultados

El buscador realiza por separado y simultáneamente, una búsqueda de más a menos relevancia de cada elemento introducido directamente o indirectamente (contexto personal) y posteriormente combina todos los resultados en una fusión donde cada elemento tiene un peso asociado a cada tipo de descriptor.

El buscador analiza los descriptores de cada elemento y los etiqueta, de manera que puede comparar estas etiquetas con las que ya se encuentran indexadas en las bases de datos y así poder hacer una clasificación de los resultados de más a menos importancia.

Es importante definir la importancia que se le da a cada elemento. Hay buscadores que lo hacen automáticamente, pero también hay que se puede modificar de manera manual, dando más o menos importancia individualmente a cada elemento del conjunto de la búsqueda. Es importante también por parte del usuario, intentar introducir información relevante para la búsqueda, ya que demasiada información podría confundir al sistema y realizar una búsqueda que no se acerca a lo que se desea. Con las búsquedas multimodales se obtienen mejores resultados que con las búsquedas simples, pero a la vez, al tener más información a procesar en la entrada, también pueden tardar más tiempo en ser procesadas y requerir más espacio en memoria.

Un motor de búsqueda eficiente interpreta las consultas de los usuarios, extrapola sus intenciones y aplica una estrategia de búsqueda con la que se pueden obtener resultados relevantes, es decir, se adapta a cada consulta de entrada independientemente, y también facilita al usuario la manera de introducir los múltiplos elementos para la búsqueda, así como los resultados que se obtienen de la combinación de los elementos.

Aplicaciones

Hoy en día los buscadores multimodales que existen no son muy complejos, y algunos están en fase experimental. Algunos sencillos que hay son Google Images [1] o Bing [2], que utilizan texto e imágenes como fuentes de entrada para encontrar imágenes de salida.

MMRetrieval [3] es un motor de búsqueda experimental que utiliza información multilingüe y multimedia mediante una interfaz web integral.Busca de forma paralela los diferentes elementos de entrada y luego fusiona los resultados mediante distintos métodos que se pueden escoger. También proporciona diferentes etapas de recuperación y la línea original del texto simple para poder realizar comparaciones de la evolución de la búsqueda. Aprovechando los servicios basados en localización, se pueden encontrar diferentes aplicaciones para dispositivos móviles basadas en el contexto personal del usuario y el texto, imagen, por ejemplo la cámara en tiempo real o la voz del usuario, u otros elementos audiovisuales que proporcione el usuario.

Referencias

Query-Adaptive Fusion for Multimodal Search,Lyndon Kennedy, Student Member IEEE, Shih-Fu Chang, Fellow IEEE, and Apostol Natsev[4]
Context-aware Querying for Multimodal Search Engines,Jonas Etzold, Arnaud Brousseau, Paul Grimm and Thomas Steiner [5]
Apply Multimodal Search and Relevance Feedback In a Digital Video Library, Thesis of Yu Zhong [6]
Aplicació rica d’internet per a la consulta amb text i imatge al repositori de vídeos de la Corporació Catalana de Mitjans Audiovisuals, Ramon Salla, Universitat Politècnica de Catalunya [7]
MMRetrieval [8]

Datos: Q3816445