@Title: Premio Mavir 2008
@File: mavir11.xml
@Participants: ROD, Álvaro, (man, C, 3, computer specialist, lecturer, unkwown origin)
@Date: 27/11/2008
@Place: Madrid
@Situation: Conference (III Jornadas MAVIR), conference room, not hidden, researcher as observer
@Topic: Evaluation and Development of Question Answering Systems
@Source: MAVIR
@Class: formal in natural context, conference, monologue
@Length: 20' 20"
@Words: 3130
@Acoustic_quality: A
@Transcriber: Marta Garrote
@Revisor: L. Campillos
@Comments:
ROD hola 00:01
ROD vale / muchas gracias / a -> [///] bueno / muchas gracias a todos // por la presentación 00:08
ROD y bueno / ya como se ha dicho / os voy a hacer la presentación de la tesis de máster / con la que he ganado este premio 00:13
ROD y -> / quería empezar esta presentación &eh mostrando mis agradecimientos / en primer lugar al Consorcio Mavir / por la creación de este premio / y a las empresas patrocinadoras / que &po [/] que podemos ver aquí 00:27
ROD &eh mi mayor &agradeci [///] también / quiero mostrar mi agradecimiento al jurado / que ha tenido que tomar la decisión 00:33
ROD &eh mi mayor agradecimiento ahora va dedicado a mi director Anselmo Peñas / al cual le tengo que dedicar mucho / &eh lo que ha sido mi carrera investigadora 00:41
ROD también / &eh / dar las gracias / a todos mis compañeros y amigos / que me han estado apoyando / y todavía siguen en ello {%act: laugh} / a pesar de [/] de que siempre estoy comiéndome la cabeza con mis investigaciones 00:53
ROD y / en / último lugar / aunque no por ello menos importante / quiero agradecer y dedicar este premio a toda mi familia 00:59
ROD bueno / vamos ahora a ver la presentación 01:02
ROD este es el esquema que voy a seguir durante la presentación 01:05
ROD comenzaré realizando una introducción / donde / definiré unos términos que nos van a ser de utilidad para el resto de la presentación 01:13
ROD entre ellos está / &eh la tarea variación de respuestas / ya que en el siguiente punto / realizaré una propuesta de evaluación de sistemas de este tipo 01:21
ROD a continuación / realizaré una &aproximaci [/] &eh / propondré una aproximación basada / en reconocimiento de entidades / para / la validación de respuestas 01:30
ROD y terminaré dando algunas conclusiones del trabajo / y las publicaciones a las que dio lugar 01:35
ROD empezamos por la introducción 01:37
ROD &eh los sistemas de búsqueda de respuestas / son sistemas que reciben una pregunta en lenguaje natural / y generan / una respuesta / a dicha pregunta / y un texto que soporta la veracidad // de dicha respuesta 01:50
ROD al contrario de los sistemas de recuperación / como los motores de búsqueda / como Google o &ya [/] Yahoo / a los cuales se les consulta con preguntas &clav [/] con // perdón // palabras clave / y genera una lista de documentos / donde manualmente tenemos que buscar nosotros / las respuestas 02:04
ROD con lo cual / facilitan el acceso a la información 02:06
ROD un ejemplo puede ser el que muestro aquí 02:09
ROD para la pregunta / ¿ cuál es la longitud de río Tajo ? 02:12
ROD podemos / obtener / de un sistema la respuesta 02:15
ROD mil siete kilómetros / y como texto / para soportar la [/] dicha respuesta / el Tajo es el río más largo de la Península Ibérica / con un total de mil siete kilómetros / que el cual nos demuestra / que la respuesta obtenida es correcta 02:28
ROD por otro lado / tenemos la tarea de validación de respuestas / que consiste en decidir / si las respuestas generadas / por los sistemas de búsqueda de respuestas / son o no correctas 02:38
ROD para ello / un sistema de validación / recibiría / al igual que el sistema de búsqueda de respuestas / la pregunta / y / la &pre [/] la respuesta y texto soporte / generado por los sistemas de búsqueda de respuestas / generando como salida / un valor binario / indicando si considera / que la respuesta es o no correcta / de acuerdo al texto soporte 02:57
ROD en el ejemplo anterior que tenemos / un sistema de validación debería indicar / que la respuesta es correcta / según el texto 03:04
ROD de este modo / al incluir &eh [/] al poder incluir criterios para considerar &eh [/] los sistemas de búsqueda de respuestas / {%alt: pa} para considerar si sus / respuestas son o no correctas / se espera que se mejoren los resultados obtenidos / actualmente sin validación de respuestas 03:19
ROD y ahora voy a hablar de / reconocimiento de implicación textual 03:24
ROD es una / tarea / que consiste en determinar / &eh dado un texto / si su significado implica / al de otro texto al que llamamos hipótesis / o lo que podemos -> / decir de otra manera / si el significado del texto llamado hipótesis / &implic [/] está [/] se puede obtener / a partir del primer texto 03:39
ROD un ejemplo muy sencillo lo podemos ver aquí 03:42
ROD dado el texto / Luis y Ana se casaron / el treinta de enero en Madrid 03:46
ROD y la hipótesis / Luis es el marido de Ana 03:49
ROD si no tenemos ninguna noticia de que haya habido un divorcio / podemos ver que hay implicación / entre el texto hipótesis 03:55
ROD usando esta idea de implicación textual / &eh nosotros realizamos / una propuesta / de evaluación de sistemas de validación de respuestas / que voy a / exponer ahora mismo la metodología propuesta 04:06
ROD para ello &eh / propusimos las &i [/] el uso de la siguiente arquitectura 04:11
ROD tenemos &eh / la arquitectura básica un sistema de pregunta &respues [/] de / búsqueda de respuestas / que recibe una pregunta / y como ya hemos dicho / genera una respuesta candidata / y un texto soporte 04:22
ROD y / por otro lado / &eh un sistema de validación / que recibiría la misma pregunta / y la respuesta / y el texto soporte / de xxx por el sistema de búsqueda de respuestas 04:32
ROD de tal manera / que el sistema de validación / genera [/] indica / si la respuesta es o no correcta 04:38
ROD en caso de que no sea correcta / podemos volver a preguntar / por una -> [/] podemos / &eh volver a realizar otra consulta con el fin de encontrar en este caso una respuesta correcta 04:47
ROD al usar implicación textual // como he dicho que tenemos texto y -> [/] e hipótesis // vemos que / nos falta la hipótesis / con lo cual tiene que haber un paso intermedio / de generación / &eh de hipótesis 04:59
ROD ese es el caso / es / &eh / lo que debemos de incluir / al usar / implicación textual / en la validación de respuestas 05:05
ROD es por ello que los pasos a seguir para usar implicación textual / para la validación de respuestas / el primero / sería generar &u [/] &eh / &di [/] diversas hipótesis // combinando preguntas y respuestas 05:19
ROD de tal modo que si / tenemos la pregunta / ¿ quién es Vicente Fox ? 05:22
ROD y la respuesta -> [/] y una respuesta generada / que es presidente de Méjico 05:26
ROD una posible hipótesis es / Vicente Fox / es el presidente de Méjico 05:30
ROD teniendo ya esa hipótesis / y el texto soporte / podemos usar implicación textual / para comprobar / si hay &eh [/] si el texto soporte implica la hipótesis creada / y por tanto si la respuesta es o no válida 05:43
ROD &eh / una vez tenemos / una xxx esa arquitectura / es necesario crear unas colecciones de evaluación / para poder / usar los sistemas de validación que utilizan implicación textual 05:56
ROD por tanto / &eh nosotros también desarrollamos un método / en el que tomábamos como partida / la salida &rea [/] la salida / de sistemas reales / de búsqueda de respuestas / y los juicios otorgados / por evaluadores humanos / a dichas respuestas 06:10
ROD el &prime [/] &eh / el objetivo es construir / un conjunto de pares texto hipótesis / sobre los cuales se va a evaluar 06:18
ROD primer paso / es crear las hipótesis 06:20
ROD para ello / necesitamos a &trav [/] &eh / a partir de la pregunta / crear un patrón de hipótesis / &eh / como por &e [/] un patrón de hipótesis / &eh / en el que luego se instancian las distintas respuestas 06:32
ROD &eh / lo podemos ver mejor aquí en el ejemplo 06:35
ROD si tenemos la pregunta / ¿ cuál es la capital de Croacia ? 06:38
ROD podemos / crear como posible patrón de hipótesis / una posible respuesta / es la capital de Croacia 06:44
ROD y ya con cada / respuesta generada / por los sistemas de búsqueda / podemos ir creando diversas hipótesis / instanciando este patrón 06:52
ROD de tal manera / que si una respuesta es Zagreb / podemos tener la hipótesis 06:56
ROD Zagreb / es la capital de Croacia 06:58
ROD de este modo / con esta hipótesis / y el texto soporte devuelto / ya tenemos / un par texto hipótesis / para esta respuesta generada 07:06
ROD el siguiente paso / es &eh / qué valor de implicación otorgar / a este par 07:12
ROD dado que en los sistemas / de búsqueda de respuestas / los evaluadores pueden otorgar cuatro posibles valores / y en implicación textual / &eh solamente hay dos posibles valores / es necesario hacer una transformación 07:23
ROD es por ello / que nosotros proponemos esta / transformación 07:27
ROD caso de respuesta correcta / la consideran los evaluadores / cuando la respuesta / a la pregunta es correcta / y soportada por el texto 07:35
ROD por lo tanto cabe esperar / que el texto implique / a la hipótesis que / generamos / con el método propuesto / y por tanto / &eh será un valor positivo de implicación 07:44
ROD caso de respuestas no soportadas / &eh se [/] lo otorgan los evaluadores cuando / aun siendo la respuesta cierta / no se puede soportar / su veracidad / con el texto soporte 07:55
ROD en este caso / la reformulación de la hipótesis / no va a ser implicada por el texto 08:00
ROD por tanto no habrá implicación / y lo indicamos 08:03
ROD caso de respuestas incorrectas / es también &se [/] es &eh / &simila [/] es semejante 08:09
ROD no [/] el texto no va a implicar la hipótesis generada / puesto que la respuesta es incorrecta / y no va a haber implicación 08:16
ROD caso de las respuestas sean exactas / es un caso más difícil 08:19
ROD este tipo de &evalua [/] de -> [/] de juicio / se otorga cuando la respuesta / es en parte correcta / pero puede ser más larga / o más corta / de lo estrictamente necesario 08:31
ROD las hipótesis que se generan / no está claro / si son ciertas o no 08:35
ROD teniendo en cuenta / que son una / &eh [/] un bajo porcentaje / de todas las respuestas otorgadas por sistemas // decidimos eliminarlas &con [/] para nuestros fines de evaluación 08:45
ROD una vez tenemos / &eh las colecciones de evaluación / el siguiente paso / es describir la &me [/] &eh / las medidas con la cual se va a / evaluar / y sobre todo comparar / los distintos sistemas 08:58
ROD decidimos descartar el uso / de una medida global / dado que / en los sistemas actuales / cuando presentamos este trabajo / de buscar respuestas / un alto porcentaje de respuestas / &se [/] eran evaluadas como incorrectas // bueno / un setenta por ciento observamos / en la tarea de buscar respuestas del [/] del CLEF 09:17
ROD y se tenía la posibilidad de que un sistema de validación / que siempre diera [/] siempre &de [/] devolviera que no / en esta situación / tendría / un valor / de [/] de medida [/] un valor / de evaluación del setenta por ciento de precisión // lo cual / parece muy alto para un sistema tan sencillo / y para nuestros fines de evaluación 09:35
ROD es por ello / que nuestro interés se centra / en / concentrarse en la detección / de respuestas correctas 09:41
ROD nosotros proponemos / medir la precisión / cobertura / y su media armónica // más conocida como medida efe // sobre las respuestas correctas 09:49
ROD aquí podemos ver las fórmulas 09:52
ROD en el caso de la precisión / nuestro objetivo / es / &eh / medir / la habilidad de los sistemas / prediciendo respuestas correctas 10:01
ROD caso de la cobertura / se encarga de [/] de observar / y medir / la capacidad de los sistemas / detectando las respuestas correctas que existen 10:09
ROD y la medida efe lo que hace es ponderar ambos valores / dándoles la misma importancia 10:14
ROD una vez &eh / desarrollamos esta metodología / la pusimos en marcha / como una tarea de evaluación / llamada / Answer Validation Exercise / dentro del Cross Language Evaluation Forum / del que ha hablado / Paul 10:28
ROD y que la realizamos en el dos mil seis 10:30
ROD también se ha ido [/] se ha ido realizando los siguientes años 10:33
ROD y nuestro objetivo / era / evaluar los &disti [/] los distintos enfoques que [/] que había para validación de respuestas 10:40
ROD para ello / tomamos como entrada / la salida / de los sistemas de búsqueda de respuestas que participaban / en el CLEF / que eran sistemas reales 10:48
ROD y &tu [/] lo pudimos desarrollar / de [/] dado la &multili [/] multilingualidad del CLEF / en siete lenguas distintas 10:55
ROD tuvimos una gran aceptación / y una gran participación / con once grupos / participantes / y un total de treinta y ocho ejecuciones / en distintos idiomas 11:03
ROD ahora voy a hablaros / de la aproximación que nosotros proponemos para validación de respuestas / basándonos {%alt: basándono} en reconocimiento de entidades 11:12
ROD para ello / primero voy a pasar / a / definiros / lo que nosotros consideramos entidades 11:17
ROD nosotros llamamos entidades / a lo que / son los nombres de personas / organizaciones / o localizaciones / como nombres de países o ciudad / también las expresiones numéricas / y las expresiones temporales 11:29
ROD nuestra motivación para trabajar con entidades / en reconocimiento de implicación textual / y validación / fue que observando las colecciones / de búsqueda de respuestas / las preguntas que / había en las colecciones / un alto porcentaje / esperaban / como respuesta una entidad / ¿no? 11:46
ROD pues ser / &eh / un lugar / un nombre de una persona / una organización 11:51
ROD son las consultas más frecuentes que hay 11:53
ROD además / en implicación textual / en el foro más importante que se celebra / el / RTE Challenge / observamos que en las colecciones que se proponían para test / también había un alto porcentaje de entidades 12:05
ROD con lo cual queríamos estudiar su importancia en esta tarea 12:09
ROD dado {%alt: dada} que en / &ere [/] en / implicación textual / se considera / que para que haya implicación / todos los elementos de la hipótesis / han de ser implicados / por elementos del texto // &nues [/] &eh llevando esto al campo de las entidades // nuestra propuesta es / que todas las entidades de la hipótesis / deben de estar implicadas / por entidades en el [/] en el texto 12:29
ROD de este modo / nosotros realizamos / dos propuestas / sobre [/] sobre implicación de entidades 12:36
ROD en nuestra primera aproximación / decidimos no usar la clasificación de entidades que he hablado de nombres / expresiones numéricas / expresiones temporales 12:44
ROD de este modo // consideramos que una entidad implica a otra / si el &co [/] si el texto de la primera &contie [/] perdón // si el texto de la primera contiene al texto de la segunda 12:53
ROD en el ejemplo / la entidad / dos de agosto / de mil novecientos noventa / implicaría mil novecientos noventa 12:59
ROD lo cual podemos ver que en este caso es correcto 13:01
ROD nuestra segunda aproximación // la cual es más elaborada // tiene en cuenta la clasificación de entidades / dadas por los reconocedores actuales de entidades 13:11
ROD diferenciamos entre nombres / expresiones temporales y numéricas / y hay que / definir / un tipo de [/] de implicación / en [/] dependiendo del tipo de entidad que tenemos 13:20
ROD caso de nombres / &eh semejante a la anterior 13:23
ROD una entidad implica a otra 13:25
ROD si la primera implica [///] si la primera contiene a la segunda 13:28
ROD en el ejemplo / Yasir Arafat / implica Arafat 13:31
ROD lo cual podemos ver que es claro 13:33
ROD caso de expresiones temporales / consideramos que una expresión temporal / implica a otra / si el rango de la primera / está incluido en la segunda 13:40
ROD un ejemplo muy sencillo es / que el dos de agosto / implica a agosto 13:45
ROD podemos ver que algo que ha ocurrido / en esa fecha / el dos de agosto / también ha ocurrido / en agosto / o es un periodo de tiempo mayor 13:52
ROD caso de expresiones numéricas / una / expresión numérica / implica a otra / si el rango asociado a la segunda / incluye / al rango de la primera 14:01
ROD de manera similar a expresiones temporales 14:03
ROD podemos ver en el ejemplo que cinco mil / implica más de dos mil 14:06
ROD lo cual también está claro 14:08
ROD con el fin de comparar estas dos &eh [/] estas dos aproximaciones / realizamos un experimento / sobre una colección de implicación textual balanceada / con igual porcentaje de / ejemplos de implicación y ejemplos de no implicación / usando como medida de evaluación la accuracy / que se suele usar en esta tarea / que es el porcentaje de pares acertados 14:29
ROD y nuestra hipótesis de partida era / que el método más elaborado / que tenía en cuenta clasificación / iba a obtener mejores resultados 14:36
ROD sin embargo / viendo los resultados vimos / que son muy semejantes / dado que nos enfrentamos / &eh y arrastramos / el error en la clasificación / de los actuales reconocedores 14:47
ROD se puede ver el error en este ejemplo // donde la expresión mil novecientos noventa // que en este caso es un año // una expresión temporal / se reconoce como un número 14:56
ROD en &e [/] esta expresión numérica / no encontraría / otra expresión numérica en el texto que la implicase / y ahí tendríamos / un error / y un problema 15:04
ROD por ello decidimos usar / el método menos elaborado / que no tiene clasificación / dado que es más robusto / a &erro [/] a errores en la clasificación / y además es más sencillo 15:15
ROD usando este método / &eh realizamos / una serie de experimentos en el AVE 2006 / &us [/] también la realizamos con otros sistemas para ver [/] para realizar un estudio 15:27
ROD el primero de los sistemas era un &clasificadio [/] clasificador SVM / que utilizaba varias características de solapamiento léxico / porcentaje de palabras / de la hipótesis en el texto / porcentaje de lemas / bigramas y trigramas / de la hipótesis en el texto 15:43
ROD por bigramas me refiero / &eh dos lemas consecutivos / trigramas tres lemas consecutivos 15:47
ROD son &eh [/] son atributos de solapamiento muy sencillos 15:51
ROD el segundo sistema que -> [/] que quisimos / poner a prueba / es &eh [/] usaba la implicación de entidades que he descrito / considerando que había implicación / si todas las entidades que había en la hipótesis / que había &ge [/] sido generada a partir de pregunta &hipótesi [/] a partir de pregunta y respuesta como he explicado antes / estaban implicadas / y no en caso contrario 16:12
ROD y también decidimos / comprobar los resultados de una serie de combinaciones de estos sistemas 16:17
ROD podemos ver que nuestro sistema SVM / &eh a pesar de usar = perdón 16:24
ROD {%com: he drinks} # perdón // nuestro sistema SVM / a pesar de usar atributos / &eh muy sencillos solapamiento léxico / &o [/] obtenía un valor / por encima del baseline / otorgado por [/] otorgado -> / en la [/] por la organización 16:49
ROD y se quedaba más o menos cerca / del [/] de ese [///] mejor sistema en el AVE 2006 16:54
ROD también quisimos poner a prueba nuestro sistema de entidades // el cual / mejoraba todavía más [/] mejoraba los &i [/] &eh &me [/] todavía más al sistema baseline / y al sistema SUV que nosotros / hemos realizado / y nos quedábamos / también todavía más cerca del mejor sistema / del AVE 2006 / que era un sistema que utilizaba / procesamientos más complejos 17:16
ROD decidimos que / dada la alta precisión de nuestro sistema de [/] de entidades / reconociendo / pares negativos / pares donde no hay implicación / las respuestas son incorrectas / una buena idea era probar a usarlo como filtro / para el sistema SVM 17:30
ROD de tal manera que nos quitásemos todos los pares / sin implicación / con una alta precisión / y luego el sistema SVM decidiera / en cuáles había implicación y en cuáles no 17:40
ROD nuestra intuición / no funcionó / &eh ya que obtuvimos resultados / &eh más bajos que los sistemas que combinaba 17:49
ROD y otra combinación que realizamos era la de / incluir las entidades como un atributo más / en la [/] en el aprendizaje / en el SVM 17:57
ROD en este caso / podemos ver que los resultados / son mejores que los presentados / y muy cercanos // apenas similares // a los / del mejor sistema 18:06
ROD esto nos hace ver / y nos &ha [/] nos hace ver / que la información de entidades / es muy importante / en este campo y de hecho / los mejores sistemas que hay actualmente tanto en validación como en implicación / tienen / la &gasifi [/] la [/] el reconocimiento de entidades / como uno [/] como uno de los atributos más importantes de sus sistemas 18:25
ROD también decidimos probar en [/] en un foro de [/] en el foro de evaluación de implicación textual que se celebró el año pasado / ya que -> / en este foro se generan pares / para evaluar de &dis [/] que capturan características de distintas tareas del lenguaje natural / no solamente búsqueda de respuestas / sino también extracción de información / recuperación de información / y resumen automático 18:50
ROD en [/] en las ejecuciones que &utili [/] que realizamos / &eh vimos que en la [/] en la [///] perdón // la tarea / que más entidades nombradas tenía / era la extracción de información 19:00
ROD la información que nos otorgaban sus sistemas de entidades / no nos hacía mejorar mucho / ya que era necesaria todavía más información 19:08
ROD sin embargo / seguíamos manteniendo buenos resultados / en búsqueda de respuestas 19:12
ROD de hecho era / donde mejor resultados obteníamos 19:15
ROD y ahora / algunas conclusiones a las que llegamos con ese trabajo / son que es posible reformular / la validación de respuestas / como un problema / de reconocimiento de implicación textual 19:28
ROD por ello / realizamos una propuesta metodológica / que llevamos a cabo con éxito / como una tarea de evaluación internacional / en la cual hubo / varios participantes / y se ha seguido / realizando esa tarea 19:40
ROD también estudiamos una aproximación para validación de respuestas / en la implicación textual / basándonos en entidades / en las cuales / &re [/] obtuvimos resultados prometedores 19:49
ROD pero / &mm [/] pero vimos que &ta [/] había ahí un margen de mejora / usando esa información / que se puede complementar / para obtener mejores resultados 19:57
ROD estas son las publicaciones a las cuales dio &es [/] lugar este trabajo 20:02
ROD y su continuación luego ha dado lugar / todavía a más publicaciones 20:06
ROD y ya este es el fin de la presentación 20:08
ROD si tenéis alguna duda 20:09
ROD bueno / muchas gracias por atender primero 20:11
ROD si tenéis alguna duda estaré encantado de resolvérosla 20:14
