P�i aplikaci matematick�ho modelov�n� na �e�en� n�jak� konkr�tn� �lohy se obvykle pot�k�me s probl�mem, jak ur�it konstanty, kter� dan� model ur�uj�. Zkoum�me-li nap��klad n�jak� fyzik�ln� syst�m, z rozboru fyzik�ln�ch z�konitost� obvykle zn�me tvar rovnic, kter� ur�uj� jeho v�voj v �ase, nicm�n� po��te�n� podm�nky �i parametry, kter� v rovnic�ch vystupuj� a jsou pro dan� syst�m charakteristick�, m��eme z�skat pouze nep��mo, obvykle m��en�m vhodn�ch veli�in. Modifikac� �lohy stochastick�ho ��zen� pro p��pad p��tomnosti nezn�m�ch parametr� se zab�v� tato kapitola.

\section{Formulace �lohy stochastick�ho ��zen� s nep�esn�mi daty}
Informace o stavu syst�mu $x_t$ v �ase $t$ z�sk�v�me pomoc� v�stupu $y_t$, kter� je d�n jako
\begin{equation}
\label{poz}
y_0=h_0(x_0,v_0),\qquad y_t=h_t(x_t,u_{t-1},v_t), \qquad t=1,\ldots,N-1,
\end{equation}
kde $v_t$ je n�hodn� veli�ina charakterizuj�c� chybu m��en�. Po��te�n� stav $x_0$ je d�n rozd�len�m pravd�podobnosti $P^{x_0}$ a dal�� v�voj syst�mu ur�uje soustava \eqref{sys}.

Informace, kter� jsou v pr�b�hu ��zen� k dispozici je zvykem ps�t ve form� tzv. \emph{informa�n�ho vektoru}, kter� m� tvar
\begin{equation}
I_0=y_0,\qquad I_t=(y_{0:t},u_{0:t-1}), \qquad  t=1,\ldots,N-1.
\end{equation}

��d�c� strategie $\pi=\mu_{0:N-1}$ nyn� nem��e explicitn� z�viset na stavu syst�mu, proto�e m�me k dispozici pouze informa�n� vektor. Hled�me tedy
\begin{equation}
\label{icon}
\mu_t(I_t)=u_t \, \qquad t=0,1,\ldots,N-1,
\end{equation}

PRIPUSTNE STRATEGIE

�kolem je naj�t p��pustnou strategii \eqref{icon}, kter� by minimalizovala o�ek�vanou ztr�tu
\begin{equation}
\label{ilos}
J_\pi=\E_{\substack{x_0,\ w_{0:N-1},\\ v_{0:N-1}}}\left\{g_N(x_N)+\sum_{t=0}^{N-1}g_t(x_t,\mu_t(I_t),w_t)\right\},
\end{equation}
za podm�nek \eqref{sys} a \eqref{poz}.

\section{P�evod na �lohu s �pln�mi daty}
Proto�e v �ase $t$ nem�me k dispozici p��mo stav syst�mu $x_t$, ale pouze informa�n� vektor $I_t$, nem��eme pou��t postup z p�edchoz� kapitoly. P�ed t�m je pot�eba �lohu vhodn� transformovat. Za t�mto ��elem zap�eme informa�n� vektor ve tvaru
\begin{equation}
\label{nep}
I_0=y_0,\qquad I_{t+1}=(I_t,u_t,y_{t+1}), \qquad  t=1,\ldots,N-1.
\end{equation}

Na tuto rovnost m��eme pohl�et jako na rovnice syst�mu \eqref{sys}. Stav v �ase $t$ je nyn� $I_t$, vstup $u_t$ a $y_{t+1}$ n�hodn� veli�ina podm�n�n� $I_t$ a $u_t$ p�es \eqref{poz}.

D�le p�ejdeme k nov� ztr�tov� funkci, kterou definujeme jako
\begin{gather}
\tilde{g}_N(I_N)=\E_{x_N}\left\{g_N(x_N)|I_N\right\}, \\ \tilde{g}_t(I_t,u_t,w_t)=\E_{x_t}\left\{g_t(x_t,u_t,w_t)|I_t,u_t\right\}, \qquad  t=1,\ldots,N-1.
\end{gather}

O�ek�vanou ztr�tu nyn� m��eme ps�t ve tvaru
\begin{gather}
J_N(I_N)=\tilde{g}_N(I_N)\\
J_t(I_t)=\min_{u_t \in U_t}\E_{w_t,y_{t+1}}\left\{\tilde{g}_t(I_t,u_t,w_t)+J_{t+1}((I_t,u_t,y_{t+1}))|I_t,u_t\right\} \qquad t=0,\ldots,N-1
\end{gather}

Tato �loha ji� m��e b�t �e�ena pomoc� dynamick�ho programov�n�. P�� �e�en� budeme postupovat od konce ��d�c�ho horizontu a postupn� hledat $J_t(I_t)$. Potom libovoln� $\pi=\{\mu_0,\ldots,\mu_{N-1}\}$, kter� nab�v� minim�ln� o�ek�van� ztr�ty $J_0(y_0)$ je optim�ln� posloupnost rozhodnut�. 

\section{��zen� syst�mu s nezn�m�mi parametry}
Pokud rovnice syst�mu obsahuje n�jak� nezn�m� parametr $\theta$, m��eme vyu��t znalosti �e�en� probl�mu s ne�pln�mi informacemi. 

Hledan� ��zen� by m�lo nejen minimalizovat aktu�ln� ztr�tu, ale rovn� z�skat o syst�mu co nejv�ce informac� pro minimalizaci budouc�ch ztr�t. Tento postup se naz�v� du�ln� ��zen� [ref].

V �loze du�ln�ho ��zen� m�me v�stupy syst�mu $y_t$ pops�ny jako 
\begin{equation}
\label{poz2}
y_0=h_0(\theta,v_0),\qquad y_t=h_t( I_{t-1},\theta,u_{t-1},v_t), \qquad t=1,\ldots,N-1,
\end{equation}

Ztr�tov� funkce je nyn�
\begin{equation}
\label{los2}
g(y_{0:N},u_{0:N-1},v_{0:N-1})=g_N(y_N)+\sum_{t=0}^{N-1}g_t(y_t,u_t,v_t).
\end{equation}

P�edpokl�dejme d�le, �e o parametru $\theta$ m�me n�jakou apriorn� informaci $\theta_0$ a  odhadovac� proceduru tvaru
\begin{equation}
\label{the}
\theta_{t+1}=f_t(I_t,\theta_t,u_t,y_{t+1}), \qquad  t=1,\ldots,N-1.
\end{equation} 
Rovnici \eqref{the} m��eme podobn� jako \eqref{nep} pova�ovat za rovnici syst�mu \eqref{sys} pro stav $(I_t, \theta_t)$, vstup $u_t$ s �umem $y_{t+1}$. Do rovnice \eqref{poz2} dosad�me za $\theta$ jeho aktu�ln� odhad, tedy
\begin{equation}
\label{poz3}
y_0=h_0(\theta_0,v_0),\qquad y_t=h_t(\theta_{t-1}, I_{t-1},u_{t-1},v_t), \qquad t=1,\ldots,N-1,
\end{equation} 

Rovnice \eqref{the}, \eqref{poz3} a \eqref{los2} p�edstavuj� �lohu stochastick�ho ��zen� s nep�esn�mi daty.

\subsection{Bayesovsk� u�en�}
P��mo�ar� postup, jak pro nezn�m� parametr $\theta$ z�skat aposteriorn� hustotu pravd�podobnosti $f(\theta_{t+1}|I_t)$, je-li k dispozici apriorn� hustota pravd�podobnosti $f(\theta_t)$ a informa�n� vektor $I_t$, je aplikace Bayesova vzorce
\begin{equation}
\label{bay}
f(\theta_{t+1}|I_t)=\frac{f(I_t|\theta_{t+1})f(\theta_t)}{\int f(I_t|\theta_{t+1})f(\theta_t)\mathrm{d}\theta_t}
\end{equation}
Rekurzivn� pou�it� vzorce \eqref{bay} pro odhad parametru $\theta$ je postup Bayesovsk�ho u�en� [ref].

P�i konkr�tn�m vypo�tu m� v�ak tento p��stup dv� nev�hody: 1) nikdy nem�me k dispozici $f(I_t|\theta_{t+1})$, ale pouze aproximaci z m��en� $I_t$ a 2) aposteriorn� hustota pravd�podobnosti nemus� m�t analytick� vyj�d�en�, co� jej� pou�it� v dal��m v�po�tu komplikuje.

\subsection{Kalman�v filtr}
Pokud v rovnic�ch \eqref{poz2} popisuj�c�ch v�stup syst�mu vystupuje gausovk� �um a nezn�m� parametr je separov�n jako line�n� �len, situace se zna�n� zjednodu��.

Dle p�edpokladu m� v�stup v �ase $t$ tvar
\begin{equation}
\label{sys2}
y_{t+1}=\tilde{h}_t(I_t,u_t)+A_t(I_t,u_t))\theta_t+v_{t+1}, , \qquad t=0,\ldots,N-1.
\end{equation}

kde $\tilde{h}_t(I_t,u_t)$, resp. $A_t(I_t,u_t)$ je zn�m� funkce, resp. matice z�vis�c� na informa�n�m vektoru a aktu�ln� vstupu. D�le p�edpokl�d�me gausovsk� rozlo�en� �umu $v_{t+1}$ se zn�m�m rozptylem
\begin{equation}
v_{t+1}\sim N(0,Q_{t+1}),
\end{equation}
gausovsk� rozlo�en� odhadu nezn�m�ho parametru $\theta_t$ a jejich nekorelovanost, tedy
\begin{gather}
\theta_t\sim N(\hat{\theta},P_t),\\
\cov(v_{t+1},\theta)=0.
\end{gather}

Budeme po�adovat, aby odhadovac� procedura \eqref{the} st�edn� hodnoty parametru $\theta_{t+1}$ byla tvaru line�rn� opravy st�edn� hodnoty $\theta_t$ �m�rn� neur�itosti v syst�mu. Tedy �e
\begin{equation}
\label{opr}
\hat{\theta}_{t+1}=\hat{\theta}_t+K_t(y_{t+1}-\tilde{h}_t(I_t,u_t)-A_t\hat{\theta}_t),
\end{equation}
kde $K_t$ je nezn�m� matice, kterou ur��me z po�adavku minimalizace v�sledn� matice rozptylu $P_{t+1}$. Pro ni jako funkci $K_t$ m��eme ps�t
\begin{equation}
P_{t+1}(K_t)=\E[(\theta-\hat{\theta}_{t+1})(\theta-\hat{\theta}_{t+1})^T].
\end{equation}

Dosazen�m za $\hat{\theta}_{t+1}$ z \eqref{opr} a za $y_t$ ze \eqref{sys2} a �pravou dostaneme (pro libovolnou matici $B$ budeme pro lep�� �itelnost nam�sto $BB^T$ ps�t zkr�cen� $B^2$)
\begin{align}
P_{t+1}(K_t)&=\E_{\theta,v_t}\left\{(\theta-\hat{\theta}_t-K_t(y_{t+1}-\tilde{h}_t(I_t,u_t)-A_t\hat{\theta}_t))^2\right\} \nonumber \\
&=\E_{\theta,v_t}\left\{((I-K_tA_t)(\theta-\hat{\theta}_t)-K_tv_t)^2\right\} \nonumber \\
&=(I-K_tA_t)\E\left\{(\theta-\hat{\theta_t})^2\right\}(I-K_tA_t)^T-(I-K_tA_t)\cov(\theta,v_t)K_t^T-\nonumber \\
&-K_t\cov(\theta,v_t)(I-K_tA_t)^T+K_t\E\left\{v_t^2\right\}K_t^T.
\end{align}

Pou�it�m definice $P_t$, $Q_t$ a p�edpokladu $\cov(\theta,v_t)=0$ m�me
\begin{equation}
\label{Pt+1}
P_{t+1}(K_t)=(I-K_tA_t)P_t(I-K_tA_t)^T+K_tQ_tK_t^T.
\end{equation}
Proto�e po�adujeme minim�ln� rozptyl odhadu $\hat{\theta}_{t+1}$, ur��me $K_t$ z rovnice
\begin{equation}
\frac{\partial \tr( P_t)}{\partial K_t}=0.
\end{equation}

K proveden�m derivace pou�ijeme vzorce*ODVOZENI BUDE ASI AZ V DODATKU*
\begin{gather}
\frac{\partial\tr(MXN)}{\partial X}=M^TN^T,\\
\frac{\partial\tr(MXNX^TO)}{\partial X}=M^TO^TXN+OMXN,
\end{gather}
kde $M,N$ a $O$ jsou konstantn� matice.

T�m z�sk�me line�rn� rovnici pro $K_t$ tvaru
\begin{equation}
-P_t^TA_t-P_tA_t+K_tA_tP_tK_t+K_tA_t^TP_tK_t+2Q_tK_t=0,
\end{equation}
kter� m� �e�en�
\begin{equation}
\label{Kt}
K_t=P_tA_t(A_t^TP_tA_t+Q_t)^{-1}
\end{equation}
Dosazen�m \eqref{Kt} do \eqref{Pt+1} po �prav� dostaneme
\begin{equation}
\label{Pt+12}
P_{t+1}=(I-K_tA_t)P_t
\end{equation}
Celkov� tedy od p�vodn�ho odhadu parametru $N(\hat{\theta}_t,P_t)$ k nov�mu $N(\hat{\theta}_{t+1},P_{t+1})$ p�ejdeme pomoc�
\begin{gather}
K_t=P_tA_t(A_t^TP_tA_t+Q_t)^{-1}\\
\hat{\theta}_{t+1}=\hat{\theta}_t+K_t(y_{t+1}-\tilde{h}_t(I_t,u_t)-A_t\hat{\theta}_t),\\
P_{t+1}=(I-K_tA_t)P_t.
\end{gather}

Tato odhadovac� procedura se naz�v� Kalman�v filtr [ref].