root/applications/dual/SIDP/text/ch2.tex @ 965

P�likaci matematick� modelov� na ���k�onkr��lohy se obvykle pot�s probl�m, jak ur� konstanty, kter�an�l ur��Zkoum�-li nap�d n�k�k��yst� z rozboru fyzik�� z�nitost�bvykle zn� tvar rovnic, kter�r��eho v� �e, nicm� po�e� podm�y �parametry, kter� rovnic� vystupuj� jsou pro dan��charakteristick�m� z�at pouze nep� obvykle m�n�vhodn�li�. Modifikac�lohy stochastick� ��ro p� p�nosti nezn�ch parametr�zab�to kapitola.

\section{Formulace � stochastick� �� nep�mi daty}
Informace o stavu syst� $x_t$ v �e $t$ z��me pomoc�� $y_t$, kter��jako
\begin{equation}
\label{poz}
y_0=h_0(x_0,v_0),\qquad y_t=h_t(x_t,u_{t-1},v_t), \qquad t=1,\ldots,N-1,
\end{equation}
kde $v_t$ je n�dn�eli�a charakterizuj� chybu m�n�Po�e� stav $x_0$ je d�rozd�n�pravd�dobnosti $P^{x_0}$ a dal���yst� ur�e soustava \eqref{sys}.

Informace, kter�sou v pr� �� dispozici je zvykem ps�ve form�zv. \emph{informa�ho vektoru}, kter�var
\begin{equation}
I_0=y_0,\qquad I_t=(y_{0:t},u_{0:t-1}), \qquad  t=1,\ldots,N-1.
\end{equation}

�d� strategie $\pi=\mu_{0:N-1}$ nyn�em�xplicitn��set na stavu syst�, proto�e m� k dispozici pouze informa� vektor. Hled� tedy
\begin{equation}
\label{icon}
\mu_t(I_t)=u_t \, \qquad t=0,1,\ldots,N-1,
\end{equation}

PRIPUSTNE STRATEGIE

�olem je naj�p�tnou strategii \eqref{icon}, kter�y minimalizovala o��nou ztr�
\begin{equation}
\label{ilos}
J_\pi=\E_{\substack{x_0,\ w_{0:N-1},\\ v_{0:N-1}}}\left\{g_N(x_N)+\sum_{t=0}^{N-1}g_t(x_t,\mu_t(I_t),w_t)\right\},
\end{equation}
za podm�k \eqref{sys} a \eqref{poz}.

\section{P� na � s �mi daty}
Proto�e v �e $t$ nem� k dispozici p�stav syst� $x_t$, ale pouze informa� vektor $I_t$, nem� pou��postup z p�oz�apitoly. P��je pot�� vhodn�ransformovat. Za t�o �m zap�me informa� vektor ve tvaru
\begin{equation}
\label{nep}
I_0=y_0,\qquad I_{t+1}=(I_t,u_t,y_{t+1}), \qquad  t=1,\ldots,N-1.
\end{equation}

Na tuto rovnost m� pohl�t jako na rovnice syst� \eqref{sys}. Stav v �e $t$ je nyn�I_t$, vstup $u_t$ a $y_{t+1}$ n�dn�eli�a podm�n�I_t$ a $u_t$ p�eqref{poz}.

D� p�me k nov�tr�v�unkci, kterou definujeme jako
\begin{gather}
\tilde{g}_N(I_N)=\E_{x_N}\left\{g_N(x_N)|I_N\right\}, \\ \tilde{g}_t(I_t,u_t,w_t)=\E_{x_t}\left\{g_t(x_t,u_t,w_t)|I_t,u_t\right\}, \qquad  t=1,\ldots,N-1.
\end{gather}

O��nou ztr� nyn�� ps�ve tvaru
\begin{gather}
J_N(I_N)=\tilde{g}_N(I_N)\\
J_t(I_t)=\min_{u_t \in U_t}\E_{w_t,y_{t+1}}\left\{\tilde{g}_t(I_t,u_t,w_t)+J_{t+1}((I_t,u_t,y_{t+1}))|I_t,u_t\right\} \qquad t=0,\ldots,N-1
\end{gather}

Tato � ji� m��ena pomoc�ynamick� programov�. P��en�udeme postupovat od konce �� horizontu a postupn�ledat $J_t(I_t)$. Potom libovoln�\pi=\{\mu_0,\ldots,\mu_{N-1}\}$, kter�ab�nim����n�tr� $J_0(y_0)$ je optim��osloupnost rozhodnut�

\section{�zen�yst� s nezn�mi parametry}
Pokud chceme � syst� jeho� v�z�s�a n�k�nezn�m konstant�parametru $\theta$, m� vyu��znalosti ��robl� s ne�m pozorov�m. Parametr $\theta$ bude reprezentovat stav syst� $x_t$, kter�yn� �e nem�.

V t� � m� v� syst� $y_t$ pops� jako 
\begin{equation}
\label{poz2}
y_0=h_0(\theta,v_0),\qquad y_t=h_t(I_{t-1},\theta,u_{t-1},v_t), \qquad t=1,\ldots,N-1,
\end{equation}

Ztr�v�unkce je nyn�\begin{equation}
\label{los2}
g(y_{0:N},u_{0:N-1},v_{0:N-1})=g_N(y_N)+\sum_{t=0}^{N-1}g_t(y_t,u_t,v_t).
\end{equation}

Ozna� $T_t$ testovac�tatistiku pro parametr $\theta$ zalo�enou na informac� dostupn� �e $t$. Do $T_t$ zahrneme rovnez ty cleny $I_t$, kter�ystupuj� \eqref{poz2}, abychom mohli ps�
\begin{equation}
\label{poz3}
y_{t+1}=h_t(T_t,\theta,u_t,v_{t+1}).
\end{equation}

P�kl�jme d�, �e o parametru $\theta$ m� n�kou apriorn�nformaci v podob�ustoty pravd�dobnosti $f(\theta|T_0)$. Aposteriorn�ustotu $f(\theta|T_{t+1})$ z�� pomoc�ayesova vzorce
\begin{equation}
\label{bay}
f(\theta|T_{t+1})=\frac{f(T_{t+1}|\theta,T_t)f(\theta|T_t)}{\int f(T_{t+1}|\theta,T_t)f(\theta|T_t)\mathrm{d}\theta}
\end{equation}
Rekurzivn�ou�it�zorce \eqref{bay} pro odhad parametru $\theta$ je postup Bayesovsk� u��cite{peterka1981bayesian}.

Pro v�estovac�tatistiky v �e m� podle \eqref{bay} ps�
\begin{equation}
\label{the}
T_{t+1}=f_t(T_t,u_t,y_{t+1}), \qquad  t=1,\ldots,N-1.
\end{equation} 
Rovnici \eqref{the} m� podobn�ako \eqref{nep} pova�ovat za rovnici syst� \eqref{sys} pro stav $T_t$ a vstup $u_t$ s �umem $y_{t+1}$. 

Hustota pravd�dobnosti pro odhad parametru $\theta$ v rovnici pro v�\eqref{poz3} je v �e $t$ ur�a testovac�tatistikou $T_t$. Rovnice \eqref{the}, \eqref{poz3} a \eqref{los2} potom p�avuj�lohu stochastick� �� nep�mi daty.

\subsection{Kalman�ltr}
Pokud v rovnic� \eqref{poz2} popisuj�ch v�syst� vystupuje aditivn�aussovk�a nezn� parametr je separov�jako line� �n, m� vypo�at konkr��var rovnice \eqref{the}, tzv. Kalman�ltr \cite{kalman1960new}.

Dle p�kladu m��v �e $t$ tvar
\begin{equation}
\label{sys2}
y_{t+1}=\tilde{h}_t(I_t,u_t)+A_t(I_t,u_t))\theta+v_{t+1}, , \qquad t=0,\ldots,N-1.
\end{equation}

kde $\tilde{h}_t(I_t,u_t)$, resp. $A_t(I_t,u_t)$ je zn� funkce, resp. matice z�s� na informa�m vektoru a aktu��stupu. D� p�kl�me gaussovsk�ozlo�en�umu $v_{t+1}$ se zn�m rozptylem
\begin{equation}
v_{t+1}\sim N(0,Q_{t+1}),
\end{equation}
gaussovsk�ozlo�en�dhadu nezn�ho parametru $\theta_t$ a jejich nekorelovanost, tedy
\begin{gather}
\theta_t\sim N(\hat{\theta}_t,P_t),\\
\cov(v_{t+1},\theta_t)=0.
\end{gather}

Dosazen�do \eqref{bay} se odvod��e aposteriorn�ustota pravd�dobnosti $f(\theta_{t+1}|I_t)$ je rovn�gaussovsk�a jej�arametry $(\hat{\theta}_{t+1}, P_{t+1})$ spl�
\begin{gather}
K_t=P_tA_t(A_t^TP_tA_t+Q_t)^{-1}\\
\hat{\theta}_{t+1}=\hat{\theta}_t+K_t(y_{t+1}-\tilde{h}_t(I_t,u_t)-A_t\hat{\theta}_t),\\
P_{t+1}=(I-K_tA_t)P_t.
\end{gather}
Odvozen�ze nal� v \cite{peterka1981bayesian}.

Alternativn�dvozen�ez po�adavku gaussovsk� �umu je mo�n�rov� za p�kladu, �e odhadovac�roceduru st� hodnoty parametru $\theta_{t+1}$ budeme hledat ve tvaru line��pravy st� hodnoty $\theta_t$ ��eur�osti v syst�. Tedy �e
\begin{equation}
\label{opr}
\hat{\theta}_{t+1}=\hat{\theta}_t+K_t(y_{t+1}-\E_{\theta,v_t}y_{t+1}),
\end{equation}
kde $K_t$ je nezn� matice, kterou ur�e z po�adavku minimalizace v��atice rozptylu $P_{t+1}$. Pro �um $v_t$  budeme po�adovat nulovou st� hodnotu a existenci druh� momentu. Matici rozptylu ozna�e op�$Q_t$.

Pro matici $P_{t+1}$ jako funkci $K_t$ m� ps�
\begin{equation}
P_{t+1}(K_t)=\E[(\theta-\hat{\theta}_{t+1})(\theta-\hat{\theta}_{t+1})^T].
\end{equation}

Dosazen�za $\hat{\theta}_{t+1}$ z \eqref{opr} a za $y_t$ ze \eqref{sys2} a �ou dostaneme (pro libovolnou matici $B$ budeme pro lep��itelnost nam�o $BB^T$ ps�zkr�n�B^2$)
\begin{align*}
P_{t+1}(K_t)&=\E_{\theta,v_t}\left\{(\theta-\hat{\theta}_t-K_t(y_{t+1}-\tilde{h}_t(I_t,u_t)-A_t\hat{\theta}_t))^2\right\} \\
&=\E_{\theta,v_t}\left\{((I-K_tA_t)(\theta-\hat{\theta}_t)-K_tv_t)^2\right\} \\
&=(I-K_tA_t)\E\left\{(\theta-\hat{\theta_t})^2\right\}(I-K_tA_t)^T-(I-K_tA_t)\cov(\theta,v_t)K_t^T-\\
&-K_t\cov(\theta,v_t)(I-K_tA_t)^T+K_t\E\left\{v_t^2\right\}K_t^T.
\end{align*}

Pou�it�definice $P_t$, $Q_t$ a p�kladu $\cov(\theta,v_t)=0$ m�
\begin{equation}
\label{Pt+1}
P_{t+1}(K_t)=(I-K_tA_t)P_t(I-K_tA_t)^T+K_tQ_tK_t^T.
\end{equation}
Proto�e po�adujeme minim��ozptyl odhadu $\hat{\theta}_{t+1}$, ur�e $K_t$ z rovnice
\begin{equation}
\frac{\partial \tr( P_t)}{\partial K_t}=0.
\end{equation}

K proveden�derivace pou�ijeme vzorce*ODVOZENI BUDE ASI AZ V DODATKU*
\begin{gather}
\frac{\partial\tr(MXN)}{\partial X}=M^TN^T,\\
\frac{\partial\tr(MXNX^TO)}{\partial X}=M^TO^TXN+OMXN,
\end{gather}
kde $M,N$ a $O$ jsou konstantn�atice.

T�z�� line��ovnici pro $K_t$ tvaru
\begin{equation}
-P_t^TA_t-P_tA_t+K_tA_tP_tK_t+K_tA_t^TP_tK_t+2Q_tK_t=0,
\end{equation}
kter��e�en�\begin{equation}
\label{Kt}
K_t=P_tA_t(A_t^TP_tA_t+Q_t)^{-1}
\end{equation}
Dosazen�\eqref{Kt} do \eqref{Pt+1} po ��ostaneme
\begin{equation}
\label{Pt+12}
P_{t+1}=(I-K_tA_t)P_t
\end{equation}
Rovnice \eqref{opr}, \eqref{Kt} a \eqref{Pt+12} p�avuj�ovnice Kalmanova filtru.