Sistema de control de calidad desarrollado por IBM y colaboradores"La arquitectura basada en la evidencia probabilística masivamente paralelo"El hardware es un sistema IBM de gama alta, la plataforma IBM Power7.10 servidores Power790 servidores4 procesadores / servidor8 núcleos de procesador /Brazo robótico para pulsar el timbre.La entrada es sólo texto, sin el reconocimiento de voz, no visual.

Watson

Software está construido en la cima de UIMA: aplicación de gestión de la información no estructurada. UIMA es una acumulación marco por IBM y como de código abierto.El corpus de información se descargó y offline indexada; sin acceso a la web durante el juego.Corpus fue desarrollado a partir de una gran variedad de fuentes de texto:la línea de base de la wikipedia, el Proyecto Gutenberg, artículos de prensa, tesauros, etc.extender con la recuperación web, extraer texto "pepitas" potencialmente relevantes, anotar para informativa, combinar mejor en corpusCorpus primaria es texto no estructurado, no etiquetados semánticamente o base de conocimiento formal.Alrededor del 2% de Jeopardy! respuestas pueden consultarse directamente.También aprovecha las fuentes semiestructuradas y estructuradas como Wordnet y Yago.

Cerca de 100 diferentes técnicas generales.Adquisición de contenido: corpus, juegos de la muestra. Fuera de línea, antes del juego en sí.preprocesamientoHerramientas de lenguaje naturalRecuperar posibles respuestasscore respuestaszumbido enestrategias de juego

• Determinar categoría pregunta• factoide• descomponible• rompecabezas• Nota: preguntas excluidos con componentes AV y

categorías "Manual de especial"• Determine el tipo de respuesta léxica (LAT)• filmar? la persona? colocar? novela? canción?• alrededor de 2500 en la muestra de 20.000 preguntas.

Alrededor del 12% de las pistas no indican el tipo

Motivation

Question

Question Analysis

Keywords

DocumentRetrieval

Corpus

Docs

AnswerExtraction

Answercandidates

AnswerSelection

Which city in China has the largest number of foreign financial companies?

Keywords: China largest foreign financial company Answer type: location (city)

Answer candidates

Score Document extracted

Beijing 0.7 AP880603-0268

Hong Kong 0.65 WSJ920110-0013

Shanghai 0.64 FBIS3-58

Taiwan 0.5 FT942-2016

Shanghai 0.4 FBIS3-45320

Document ID Rank

FBIS3-58 (relevant) 1

AP880603-0268 2

WSJ920110-0013 3

FBIS3-45320 (relevant) 4

FT942-2016 5

Answer

Shanghai

Typical QA Pipeline

What did we learn from Watson?

• QA systems can be fast enough, accurate enough, and confident enough to perform in the real world

• Key factors:– Scalable, parallel architecture– Agile, open advancement process

• Next big challenge: rapid domain adaptation

Procesamiento del Lenguaje Natural Inicial

• pregunta parse• Semánticamente etiquetar los componentes

de la cuestión• Referencia y correferencia resolución• Reconocimiento de entidades con nombre• detección relación• Descomposición en subconsultas

Recuperar Texto pertinente

• Componente más similar a una búsqueda en la web• El foco está en el recuerdo• Los motores de búsqueda incluyen Indri, Lucene, SPARQL• Para algunos LAT "cerradas" (Todos los Estados Unidos,

presidentes, etc) pueden generar lista de candidatos directamente

• Extraer lo contrario respuesta real• título?• la persona? etc• Varios cientos de hipótesis genera típicamente

score hipótesis• Evaluar respuestas candidatos• filtrado suave. Ligero Fast filtra respuestas podar a aproximadamente

100• recuperación de evidencia. Consultas estructuradas o no estructuradas

adicionales• score respuestas• PORCIONES de algoritmos! - Más de 50 componentes• Rango de la simple palabra cuenta para el razonamiento espacial y

temporal complejo• Crea un perfil pruebas: taxonómica, geo-espacial, temporal,

confiabilidad de la fuente, etc.• Combinar respuestas• Determinar estimación ranking y confianza