Paul Cruz Ordoñez

Modelo Selectivo de Markov para la predicción en el

acceso a las páginas web

Este trabajo presenta el análisis del comportamiento de navegación del usuario web basado en cadenas de Markov a tiempo continuo. La hipótesis que se plantea, se basa en el supuesto de la propiedad markoviana en la elección de la navegación que realiza un usuario visitando las páginas de un sitio durante su sesión.

INTRODUCCIÓN

Andréi Andréyevich Márkov fue un matemático ruso conocido por sus trabajos en la teoría de los números y la teoría de probabilidades.

Márkov influyó sobre diversos campos de las matemáticas como: fracciones continuas, teoría de la probabilidad.

Su aportación más conocida fue la cadena de Márkov (procesos estocásticos) que involucra componentes aleatorios.

HISTORIA

En la teoría de la probabilidad, se conoce como cadena de Márkov a un tipo especial de proceso estocástico discreto en el que la probabilidad de que ocurra un evento depende del evento inmediatamente anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Márkov de las series de eventos independientes

Física Las cadenas de Markov son usadas en

muchos problemas de la termodinámica y la física estadística.

Meteorología Formula modelos climatológicos básicos. Simulación Proveen una solución analítica a ciertos

problemas de simulación.

APLICACIONES

Internet El pagerank de una página web (usado por

Google en sus motores de búsqueda) se define a través de una cadena de Markov, donde la posición que tendrá una página en el buscador será determinada por su peso en la distribución estacionaria de la cadena.

Música Diversos algoritmos de composición musical

usan cadenas de Markov, por ejemplo el software Csound o Max

El alto crecimiento y avance en el desarrollo del mundo web a conseguido que se incremente el uso de las web-sites. Por tal motivo hay necesidad de modelar para poder predecir el comportamiento de un usuario en una web site para personalizar e influenciar en una experiencia de navegación, como por ejemplo: Recomendación de paginas relacionadas Mejorar el ingenio en la búsqueda. Comprender e influenciar los patrones de compra. Personalizar la experiencia de navegación.

PLANTEAMIENTO DEL PROBLEMA

En tal sentido los modelos de Markov que han sido usados para estudio de modelos estocásticos se mostraban muy adecuados para modelar y predecir el comportamiento de crecimiento de un usuario en un sitio web.

Sin embargo, los modelos de Markov de primer orden no son muy precisos en predecir el comportamiento de navegación del usuario, no utilizan el historial pasado para discriminar correctamente los diferentes patrones observados. En consecuencia se usan los modelos de orden superior los que infortunadamente tienen limitaciones asociadas a la complejidad del espacio de estado e incluso de poca precisión en la predicción.

De ahí que se deduce que si bien es cierto se tenía la herramienta principal para la solución al problema de búsqueda y predicción por un usuario en la web, había que realizar una selección adecuada de los modelos de Markov apoyados en diversas técnicas las cuales en base a una evaluación experimental de sus algoritmos en una variedad de conjuntos de datos puedan brindar la solución a este problema de agilizar el acceso a las páginas web.

Para satisfacer tal necesidad, se han presentado una serie de técnicas para combinar inteligente los modelos de Markov de diferente orden, de modo que el modelo resultante tenga un bajo estado de complejidad, mejora la precisión de predicción y conserva todas las k-ésimas ordenes de modelos de Markov.

Se presentan tres esquemas para reducir los estados de todas las késimas ordenes de los modelos Markov, llamados

(i) soporte de poda (ii) confianza de poda (iii) error de poda

a tal punto que para muchos estos esquemas reducen hasta el 90 % de los estados de todas las k-ésimas ordenes de los modelos de Markov, y mejora la precisión hasta en un 11%.

Por ejemplo, estas técnicas eran usados para predecir el siguiente comando tipeado por el usuario en el procesador de palabras basado en la secuencia pasada o para predecir el estado de alarma de los interruptores de teléfono basado en el estado pasado.

Las técnicas derivadas de los modelos de Markov han sido extensivamente usadas para predecir la acción que un usuario deberá tomar a continuación dado de la secuencia de acciones que él o ella ha ya realizado. Para este tipo de problemas, Los modelos de Markov están representados por tres parámetros <A,S,T>, donde A es el conjunto de todas las posibles acciones que pueden ser realizadas por el usuario, S es el conjunto de todos los posibles estados para que los modelos de Markov está construido, y T es una Matriz de Probabilidad de Transición (TPM) , donde cada entrada ti j corresponde a la probabilidad de realizar la acción j cuando está en el estado i.

FUNDAMENTO MATEMÁTICO

El espacio de estado de los modelos de Markov depende en el número de acciones previas usadas en predecir la siguiente acción. Lo modelos de Markov más simples predicen la siguiente acción por solo buscar a la última acción realizada por el usuario. En este modelo, además conocemos como los modelos de Markov de primer orden, a cada acción que pueda ser realizada por un usuario corresponde a un estado en el modelo. Un modelo algo más complicado calcula las predicciones observando a las dos acciones realizadas por el usuario. Esto es llamado los modelos de Markov de segundo orden, y sus estados corresponden a todos las posibles par de acciones que pueden ser realizadas en secuencia.

  Por ejemplo, consideramos el problema de predecir la siguiente página accedida por un usuario en una web site. La entrada de datos para generar los modelos de Markov consiste de sesiones web, donde cada sesión consiste de la secuencia de las páginas accedidas por el usuario durante su visita al sitio. En este problema, las acciones para los modelos de Markov corresponden a las diferentes páginas en la web site, y los estados corresponden a todas las páginas consecutivas de longitud k que eran observados en las diferentes sesiones. En el caso de los modelos de primer orden. Los estados corresponderán a páginas simples, en el caso de los modelos de segundo orden, los estados corresponderán a todos los pares de páginas consecutivas, etcétera.

Una vez que los estados de los modelos de Markov han sido identificados, la matriz de probabilidad de transición puede luego ser calculada. Hay algunos caminos en que los TPM pueden ser construído. El método más comúnmente usado es usar un entrenamiento conjunto de secuencias de acciones y estimar cada t j i de entrada basado en la secuencia de los eventos en que la acción ai sigue el estado s j. Por ejemplo la figura 1:

Figura 1: Ejemplo de sesiones web con la correspondiente matriz de probabilidad de primer y segundo orden.

Sin embargo, los modelos de Markov tienen limitaciones. En algunas aplicaciones, los modelos de Markov de primer orden no son exitosos en predecir la siguiente acción para ser tomado por el usuario. Esto es porque estos modelos no miran lejos en el pasado para discriminar correctamente los diferentes modos de comportamiento de los diferentes usuarios y si vemos los modelos de orden superior, infortunadamente tienen un número de limitaciones asociados con (i) alta complejidad del espacio de estado, (ii) cobertura reducida, y (iii) algunas veces incluso precisión errónea en la predicción.

LIMITACIONES

Figura 2. Trazado de precisión comparativo, cobertura y tamaño modelo las órdenes de modelos de Markov.

Como se vio en el fundamento todos los modelos késimos ordenes de modelos de Markov mantienen la promesa de la más alta precisión de predicción y mejorar la cobertura de un simple modelo de Markov al margen de la complejidad del espacio de estado. Esto permite usar técnicas para combinar de manera inteligente las ordenes de los modelos de Markov que resultan de modelos que tienen la más baja complejidad, mejora la precisión de predicción, y mantiene la cobertura de todas la késimas ordenes de Markov.

METODOS DE SOLUCIÓN

Existen múltiples késimas ordenes que pueden ser usados para realizar la predicción. En realidad, ahí pueden estar tanta cantidad de estados como número de diferentes ordenes de modelos de Markov usados para formar todas las késimas ordenes de modelos de Markov. Así dependiendo del número de estados involucrados, cada uno de ellos tiene diferente precisión de predicción y en base a esta observación nosotros podemos empezar desde todas las késimas ordenes de modelos de Markov y eliminar a las que se espera una baja precisión de predicción. Esto nos guiara a reducir la complejidad de todos los estados sin afectar lo realizado del esquema general.

Nosotros usamos un número de técnicas para eliminar ciertos estados a través de las diferentes ordenes de modelos de Markov y el conjunto de estados que sobreviven este paso, llegan a ser el modelo final de predicción. El objetivo de este paso de poda es primeramente reducir la complejidad de estado y segundamente mejorar precisión de predicción del modelo resultante. Nosotros nos referimos a estos como modelos selectivos de Markov.

El paso clave en nuestro algoritmo es el esquema usado para determinar la potencial precisión de un particular estado. En el resto de está sección se presentamos tres diferentes esquemas con un incremento del nivel de complejidad. El primer esquema simplemente elimina los estados que tienen muy bajo soporte. El segundo esquema técnica estadísticas para identificar los estados para los cuales la transición de probabilidad a los más destacadas acciones no sean estadísticamente significativas y finalmente, el tercer esquema usa un error base de poda enfocado en eliminar los estados con baja precisión de predicción.

Los modelos de Markov de soporte de poda (SPMM) está basado en la observación de los estados que tienen bajo soporte en el conjunto de instrucciones que tienden a tener una baja precisión de predicción. En consecuencia, estos bajos soportes de estado pueden ser eliminados sin afectar la precisión total así como la cobertura del modelo resultante: la cantidad de poda en el esquema SPMM es controlado por el parámetro fi referido como la frecuencia UMBRAL. En particular el SPMM elimina todos los estados de las diferentes ordenes de modelos de Markov que están soportados menos que fi instancias de un conjunto de instrucciones.

a. Modelos de Markov de soporte de poda:

Uno de las limitaciones del esquema SPMM es que no capturan todos los parámetros que influyen en la precisión del estado. En particular la distribución de probabilidad de las acciones de salida de un estado es completamente ignorado por lo que idealmente nos gustaría que el esquema e poda no solo considere el soporte de los estados sino además el peso de la distribución de probabilidad de las acciones de salida antes de realizar sus decisiones de poda.

b. Modelos de Markov de confidencia de poda:

En los esquemas anteriores, se utiliza tanto el soporte de un estado o de la distribución de probabilidades de sus acciones salientes para medir el potencial de error asociado. Sin embargo, el error de cada estado puede ser automáticamente estimado y usado para decidir si podar o no un particular estado.

c. Modelos de Markov de error de poda:

Los modelos de Markov de error de poda nos dice específicamente que nosotros tenemos que desarrollar dos diferentes estratégicas de poda para errores base que usan diferentes definiciones en cuanto a lo que constituye la tasa de error de un estado de Markov. Nosotros nos referimos a estos esquemas como error de poda global y error de poda individual.

Experimentalmente evaluó el desempeño de los modelos propuestos selectivos de Markov en una variedad de conjuntos de datos. En el resto de esta sección describimos brevemente estos conjuntos de datos, la metodología experimental, y presentar los resultados obtenidos por nuestros esquemas.

RESULTADOS EXPERIMENTALES

Se tiene la evaluación del rendimiento de los esquemas propuestos de los modelos selectivos de Markov en cuatro conjuntos de datos, cuyas características se muestran en la Tabla 1

Tabla 1: Estadística del dataset preliminar

DATASETS

Ecommerce Web Logs: Registro web de comercio electrónico. Se usan los registros web de 2 compañías para nuestro análisis. Estos conjunto de datos están referidos a EC1 Y Ec2, cada sesión contiene el acceso a páginas web donde los accesos a imágenes son ignorados.

OWL DATASET: Contiene el registro de los comandos tipeados por diferentes usuarios en Microsoft Word sobre un período de 2 años cuyo objetivo en este dataset es predecir el siguiente comando tipeado por el usuario basado en la secuencia pasada de comandos del usuario .

Los diferentes comandos tipeados representan una acción del modelo de Markov.

Telephone Switch Dataset: Este conjunto de datos es obtenido de una gran compañía de telecomunicaciones que mantiene las redes nacionales de telefonía. El conjunto de datos contiene el registro de las diferentes alarmas generadas por el interruptor teléfono por un período de un mes. Cada alarma generada es considerada una acción.

Para hacer la evaluación de los diferentes esquemas manejables, se ha limitado únicamente al problema de predecir solo la última acción de una prueba de sesión.

DISEÑO EXPERIMENTAL Y MÉTRICA

Resultado para el modelo de Markov de soporte podado

Resultado del modelo de Markov de confianza

podada

Resultados del modelo de Markov de error podado

Gracias