Algoritmo EM.pdf

  • Published on
    28-Nov-2015

  • View
    43

  • Download
    12

Embed Size (px)

Transcript

<ul><li><p>CHAVEZ ABARCA</p><p>VARAS VILLAFUERTE</p><p>Esperanza - Maximizacin</p><p>U N I V E R S I D A D N A C I O N A L D E I N G E N I E R I A</p></li><li><p>El Algoritmo EM: Visin General</p><p> Tcnica general para encontrar EMV para modelos paramtricos de data incompleta.</p><p> Idea Intuitiva:</p><p> contiene informacin relevante para estimar .</p><p> nos ayuda a obtener valores de los .</p><p> El Algoritmo EM se enfoca en las recurrencias anteriores.</p><p>Yfaltante </p><p> Yfaltante</p></li><li><p>Estimacin por Mxima Verosimilitud</p><p> Vector Aleatorio X con f.d.p.</p><p> Vector de parmetros desconocidos en</p><p> Funcin de Verosimilitud para obtenida de la data </p><p>observada:</p><p> Ecuacin Log-Verosimilitud</p><p>De cuyas races obtenemos el EMV . </p><p> = (1; : : : ; d)0</p><p>g(x; )</p><p>L() = g(x; )</p><p>log L()</p><p>= 0</p><p>^</p></li><li><p>Problema de Data Incompleta</p><p>Yobservada</p><p>Yfaltante</p><p>Data Completa</p><p>Disponible</p><p>No Disponible</p><p>Situaciones de Data Incompleta:</p><p>Explicitas</p><p> Data Faltante Distribuciones Truncadas Observaciones Agrupadas</p><p>Implcitas</p><p> Efectos Aleatorios Mixturas Convoluciones Modelos Log-Lineales Clases Latentes Estructuras Variables Latentes</p></li><li><p>Formulacin del Algoritmo EM</p><p> Definicin de variables y trminos:</p><p> : vector n-dimensional de cantidades observadas.</p><p> : vector m-dimensional de cant. no observadas.</p><p> : data completa.</p><p> : funcin de densidad de Y.</p><p> : densidad condicional de la data faltante dada la observada (que tambin depende de ).</p><p>Yobs 2 Rn</p><p>Yfal 2 Rm</p><p>Y 2 Rn+m</p><p>p(Y j) = p(Yobs; Yfalj); 2 </p><p>p(YfaljYobs; )</p></li><li><p>Formulacin del Algoritmo EM</p><p> Para cualquier problema de data incompleta:</p><p> Log-Verosimilizando cada termino:</p><p> Elementos:</p><p> : log-verosimilitud de la data completa</p><p> : log-verosimilitud de la data observada</p><p> : distribucin predictiva de la data faltante dado . </p><p>p(Y j) = p(Yobsj)p(YfaljYobs)</p><p>l(jY ) = l(jYobs) + log p(YfaljYobs; )</p><p>l(jY )</p><p>l(jYobs)</p><p>p(YfaljYobs; )</p></li><li><p>Formulacin del algoritmo EM</p><p> es desconocido, luego tomamos promedios sobre la distribucin predictiva .</p><p> es un estimado del parmetro desconocido .</p><p> Del promedio:</p><p>Yfal</p><p>p(YfaljYobs;(t))</p><p>(t) </p><p>Q(j(t)) = l(jYobs) + H(j(t))</p><p>Q(j(t)) = EYfaljYobs;(t) [l(jY )]</p><p>H(j(t)) = EYfaljYobs;(t) [log p(YfaljYobs; )]</p><p>EYfaljYobs;[l(jYobs)] = l(jYobs)</p></li><li><p>Implementacin del Algoritmo EM</p><p>1. Iniciar seleccionando un arbitrario.</p><p>2. Para </p><p>1. Paso E: Evaluacin de </p><p>2. Paso M: Seleccin de del espacio parametrl que maximiza , esto es: </p><p>(0)</p><p>Q(; (j1)) = EYfaljYobs;(j1) [l(; Y )]</p><p>(j+i)</p><p>Q(; (j1))</p><p>Q((j+1); (j)) Q(; (j)); 8 2 </p><p>j = 1;2; : : :</p></li><li><p>function teta=em2(y1,y2,y3,y4,tol, start)</p><p>n=y1+y2+y3+y4;</p><p>tetaactual = start;</p><p>teta= tetaactual;</p><p>tetalast =0;</p><p>iter =0; </p><p>while (abs (tetalast-teta)&gt;tol )</p><p>[x1,x2]=estep(tetaactual,y1);</p><p>teta= mstep (x2, x1, y4 ,n);</p><p>tetalast = tetaactual;</p><p>tetaactual =teta;</p><p>iter = iter+1; </p><p>end</p><p>disp('numero de iteraciones');</p><p>disp(iter);</p><p>function [x1,x2]=estep(tetaactual,y1)</p><p>x1=(2*y1)/(2+tetaactual );</p><p>x2=y1-x1;</p><p>function tetanuevo = mstep (x2,x1,y4,n)</p><p>tetanuevo =(x2+y4)/(n-x1);</p></li><li><p>Ejemplo2: RESPUESTA ALEATORIZADA </p><p>Una proporcin (teta) de individuos pertenecientes a cierta categora </p><p>estigmatizada debe ser estimada. Para evitar la no respuesta (y su </p><p>consecuente perdida de informacin) un nuevo esquema de muestreo es </p><p>propuesto. Una pregunta alternativa no relacionada a la principal con </p><p>proporcin conocida de SI es introducida junto con la garanta de que la pregunta seleccionada ser conocida solamente por el que responde. La </p><p>idea es incrementarle la confianza para que nos de la respuesta correcta sin </p><p>revelarnos su verdadero estatus. </p><p>La probabilidad de la respuesta SI sera </p><p>Donde teta es la probabilidad de seleccionar la pregunta de inters y teta(A) </p><p>es la probabilidad conocida de un SI a la pregunta alternativa y pi es la probabilidad de seleccionar la pegunta de inters. En una muestra de 150 </p><p>individuos, 60 respuestas SI fueron obtenidas. Basadas en un procedimiento con pi igual a 0.7 y teta(A) igual a 0.6</p></li><li><p>Usando el algoritmo EM tenemos que de la data observada es X es el </p><p>numero de SI respondidos y X se distribuye como una binomial:</p><p>Asimismo, de los datos no observados es Z el numero de individuos que </p><p>seleccionen la pregunta de inters .</p><p>Entonces tenemos que Z se distribuye:</p></li><li><p>function teta=em2(n,x,tetaA,pi,tol, start)</p><p>tetaactual = start;</p><p>teta= tetaactual;</p><p>tetalast =0;</p><p>iter =0; </p><p>while (abs (tetalast-teta)&gt;tol )</p><p>z=estep(tetaactual,x,pi,tetaA);</p><p>teta= mstep (z,pi,tetaA,n,x);</p><p>tetalast = tetaactual;</p><p>tetaactual =teta;</p><p>iter = iter+1; </p><p>end</p><p>disp('numero de iteraciones');</p><p>disp(iter);</p><p>function z=estep (tetaactual,x,pi,tetaA)</p><p>z=(x*tetaactual*pi)/((pi*tetaactual)+((1-pi)*tetaA));</p><p>function tetanuevo = mstep (z,pi,tetaA,n,x)</p><p>tetanuevo =(z*(1-(tetaA*(1-pi))))/(z+((n-x)*pi));</p></li><li><p>GRACIAS</p><p>TOTALES</p><p>EMEM2</p></li></ul>