\section{Z�kladn� �loha stochastick�ho ��zen�}
Tento odd�l se zab�v� obecnou formulac� �lohy stochastick�ho ��zen� a pojmy s t�m spojen�mi.

\subsection{Syst�m a jeho popis}
�st�edn�m pojmem v teorii ��zen� je syst�m. Syst�m je ��st sv�ta, kterou chceme poznat �i ��dit. Ovliv�ov�n� syst�mu, a� u� za ��elem jeho lep��ho pozn�n�, �i za ��elem ��zen�, prov�d�me pomoc� vstup� (��d�c�ch z�sah�). 
Ve v�t�in� p��pad� je �e�en� �lohy stochastick�ho ��zen� prov�d�no numericky, je proto ��eln� pracovat s diskr�tn�m �asem.  Budeme-li proto uva�ovat diskr�tn� povahu �asu, stav syst�mu v �asov�m okam�iku $t$ pod�l kone�n�ho ��d�c�ho horizontu d�lky $N$ popisuje soustava rovnic
\begin{equation}
\label{sys}
x_{t+1}=f_t(x_t,u_t,w_t), \qquad t=0,1,\ldots,N-1.
\end{equation}
Zde $x_t$ p�edstavuje stav syst�mu v �ase $t$, $u_t$ ��d�c� z�sah v �ase $t$ a $w_t$ n�hodnou veli�inu reprezentuj�c� p��tomnost �umu. P�edpokl�d�me, �e tvar rovnic $f_t$ je n�m zn�m, nap��klad z fyzik�ln�ho rozboru �lohy, �i ze znalosti konstrukce stroje, kter� popisujeme. D�le p�edpokl�d�me, �e  stav syst�mu m��eme p��mo pozorovat. P��pad ne�pln�ho pozorov�n� bude probr�n pozd�ji. 

\subsection{Ztr�tov� funkce a optim�ln� ��zen�}
C�lem ��zen� je pro syst�m popsan� soustavou \eqref{sys} navrhnout regul�tor (posloupnost ��d�c�ch z�sah�), kter� bude stav syst�mu udr�ovat co nejbl�e  po�adovan� hodnot�. Pro tyto ��ely m�me v �loze ��zen� k dispozici p�edepsanou ztr�tovou (resp. ��elovou) funkci
\begin{equation}
g(x_{1:N},u_{0:N-1}),
\end{equation}
kter� ur�uje, nakolik jsme vyty�en�ch c�l� dos�hli.

Ozna�me $U(x_t)$ nepr�zdnou mno�inu p��pustn�ch ��d�c�ch z�sah� pro syst�m nach�zej�c� se ve stavu $x_t$. P��pustnou ��d�c� strategi� $\pi=\mu_{0:N-1}$ budeme rozum�t posloupnost zobrazen�
\begin{equation}
\label{con}
\mu_t(x_t)=u_t, \qquad t=0,1,\ldots,N-1,
\end{equation}
kde $\mu_t(x_t)=u_t  \in U(x_t)$ je p��pustn� ��d�c� z�sah. Nepr�zdn� mno�ina $\Pi$ pak bude zna�it mno�inu v�ech p��pustn�ch ��d�c�ch strategi�.

Pro danou ��d�c� strategii ozna�me o�ek�vanou ztr�tu jako
\begin{equation}
\label{los}
J_\pi(x_0)=\E_{w_{0:N-1}}\left\{g(x_{1:N},\mu_{0:N-1}(x_{0:N-1}))\right\}.
\end{equation}

�lohou ��zen� je potom naj�t takovou $\pi^*$, pro kterou plat�
\begin{equation}
J_{\pi^*}(x_0)=\min_{\pi \in \Pi}J_\pi(x_0).
\end{equation}

Celkov� se tedy jedn� o optimaliza�n� �lohu nal�zt takovou posloupnost funkc� \eqref{con}, kter� minimalizuje o�ek�vanou ztr�tovou \eqref{los} za podm�nek \eqref{sys}.

\section{�loha stochastick�ho ��zen� s aditivn� ztr�tou}
�lohu stochastick�ho ��zen� tak, jak byla definov�na v p�edchoz� ��sti, nelze obecn� �e�it. Je tedy pot�eba �lohu n�jak bl�e specifikovat.
\subsection{Aditivn� ztr�tov� funkce}
Jako vhodn� se ukazuje omezit se na n�jak� speci�ln� tvar ztr�tov� funkce \eqref{los}. Budeme proto d�le uva�ovat tzv. aditivn� tvar ztr�tov� funkce, tedy �e existuj� funkce $g_t$ takov�, �e m��eme ps�t
\begin{equation}
\label{adi}
g(x_{1:N},u_{0:N-1})=\sum_{t=0}^{N-1}g_t(x_{t+1},u_t).
\end{equation}

O�ek�vanou ztr�tu \eqref{los} potom m��eme p�epsat do tvaru
\begin{equation}
\label{ex}
J_\pi(x_0)=\E_{w_{0:N-1}}\left\{\sum_{t=0}^{N-1}g_t(x_{t+1},\mu_t(x_t))\right\}.
\end{equation}

\subsection{Dynamick� programov�n�}
Takto specifikovan� �loha stochastick�ho ��zen� se d� �e�it pou�it�m dynamick�ho programov�n� \cite{bellman1957dynamic}. Dynamick� programov�n� je p��stup k �e�en� optimaliza�n�ch �loh, na kter� se m��eme d�vat jako na posloupnost rozhodnut�, pro kter� plat� tzv. princip optimality.  Ten ��k�, �e optim�ln� posloupnost rozhodnut� m� tu vlastnost, �e pro libovoln� po��te�n� stav a rozhodnut� mus� b�t v�echna n�sleduj�c� rozhodnut� optim�ln� vzhledem k v�sledk�m rozhodnut� prvn�ho.

Platnost principu optimality pro o�ek�vanou ztr�tu tvaru \eqref{ex} je intuitivn� snadno pochopiteln�. Pokud by toti� n�jak� �sek ��d�c� strategie nebyl optim�ln�, pak o�ek�vanou ztr�tu sn��me p�echodem ke strategii, ve kter� onu neoptim�ln� ��st nahrad�me optim�ln�m �e�en�m podprobl�mu na tomt� �seku. P�esn� d�kaz platnosti principu optimality pro o�ek�vanou ztr�tu tvaru \eqref{ex} lze nal�zt nap��klad v \cite{bertsekas1995dynamic}.

\subsection{Pou�it� dynamick�ho programov�n� p�i �e�en� �lohy stochastick�ho ��zen� s aditivn� ztr�tou}
P�i �e�en� �lohy stochastick�ho ��zen� s aditivn� ztr�tou je mo�n� postupovat, jak je u �loh �e�en�ch pomoc� dynamick�ho programov�n� zvykem. Za t�mto ��elem ozna�me $J_t(x_t)$ minim�ln� hodnotu st�edn� ztr�ty od okam�iku $t$ do $N$ v z�vislosti na $x_t$. Dle \eqref{ex} pro ni m��eme ps�t
\begin{gather}
J_N(x_N)=0,\\
J_t(x_t)=\min_{u_t \in U(x_t)}\E_{w_t}\left\{g_k(x_{t+1},u_t)+J_{t+1}(x_{t+1})\right\}, \qquad t=0,\ldots,N-1.
\end{gather}

P�i konstrukci optim�ln� ��d�c� strategie budeme postupovat od konce ��d�c�ho horizontu a postupn� hledat $J_t(x_t)$. Pro v�po�et $x_{t+1}$ se pou�ije rovnice \eqref{sys}. 
Libovoln� ��d�c� strategie $\pi=\{\mu_0,\ldots,\mu_{N-1}\}$, kter� spl�uje syst�m rovnic
\begin{equation}
\label{impl}
J_t(x_t)=\E_{w_t}\left\{g_k(x_t,\mu_t(x_t),w_t)+J_{t+1}(f_t(x_t,\mu_t(x_t),w_t))\right\}, \qquad t=0,\ldots,N-1,
\end{equation}
pak bude optim�ln� posloupnost� rozhodnut�.

\section{�loha stochastick�ho ��zen� s nep�esn�mi daty}
P�i aplikaci matematick�ho modelov�n� na �e�en� n�jak� konkr�tn� �lohy se obvykle pot�k�me s probl�mem jak ur�it konstanty, kter� dan� model ur�uj�. Zkoum�me-li nap��klad n�jak� fyzik�ln� syst�m, z rozboru fyzik�ln�ch z�konitost� obvykle zn�me tvar rovnic, kter� ur�uj� jeho v�voj v �ase. Nicm�n� po��te�n� podm�nky �i parametry, kter� v rovnic�ch vystupuj� a jsou pro dan� syst�m charakteristick�, m��eme z�skat pouze nep��mo, obvykle m��en�m vhodn�ch veli�in. 

Tento odd�l se zab�v� modifikac� �lohy stochastick�ho ��zen� pro p��pad p��tomnosti nezn�m�ch parametr�.

\subsection{V�stup syst�mu a informa�n� vektor}
Informace o stavu syst�mu $x_t$ v �ase $t$ z�sk�v�me pomoc� v�stupu $y_t$, kter� je d�n jako
\begin{equation}
\label{poz}
y_0=h_0(x_0,v_0),\qquad y_{t+1}=h_{t+1}(x_{t+1},u_t,v_{t+1}), \qquad t=1,\ldots,N-1,
\end{equation}
kde $v_t$ je n�hodn� veli�ina charakterizuj�c� chybu m��en�. P�edpokl�d�me znalost funkc� $h_t$. Po��te�n� stav $x_0$ je d�n rozd�len�m pravd�podobnosti $P^{x_0}$ a dal�� v�voj syst�mu ur�uje soustava \eqref{sys}.

Informace, kter� jsou v pr�b�hu ��zen� k dispozici je zvykem ps�t ve form� tzv. informa�n�ho vektoru, kter� m� tvar
\begin{equation}
I_0=y_0,\qquad I_{t+1}=(y_{0:t+1},u_{0:t}), \qquad  t=1,\ldots,N-1.
\end{equation}

\subsection{Optim�ln� ��zen� pro �lohu s nep�esn�mi daty}
��d�c� z�sah nyn� nem��e explicitn� z�viset na stavu syst�mu, proto�e m�me k dispozici pouze informa�n� vektor. Podobn� jako v p�ede�l� kapitole proto zav�d�me nepr�zdnou mno�inu $U(I_t)$ v�ech p��pustn�ch ��d�c�ch z�sah� za informace $I_t$. P��pustnou ��d�c� strategi� $\pi=\mu_{0:N-1}$ bude posloupnost
\begin{equation}
\label{icon}
\mu_t(I_t)=u_t, \qquad t=0,1,\ldots,N-1,
\end{equation}
kde $\mu_t(I_t)=u_t \in U(I_t)$ je p��pustn� ��d�c� z�sah.

�kolem je naj�t p��pustnou strategii, kter� by minimalizovala o�ek�vanou ztr�tu
\begin{equation}
\label{ilos}
J_\pi=\E_{\substack{x_0,\ w_{0:N-1},\\ v_{0:N}}}\left\{\sum_{t=0}^{N-1}g_t(x_{t+1},\mu_t(x_t))\right\},
\end{equation}
za podm�nek \eqref{sys} a \eqref{poz}.

\subsection{P�evod na �lohu s �pln�mi daty}
Proto�e v �ase $t$ nem�me k dispozici p��mo stav syst�mu $x_t$, ale pouze informa�n� vektor $I_t$, nem��eme pou��t postup z p�edchoz� kapitoly. P�ed t�m je pot�eba �lohu vhodn� transformovat. Za t�mto ��elem zap�eme informa�n� vektor ve tvaru
\begin{equation}
\label{nep}
I_0=y_0,\qquad I_{t+1}=(I_t,u_t,y_{t+1}), \qquad  t=1,\ldots,N-1.
\end{equation}
Na tuto rovnost m��eme pohl�et jako na rovnice syst�mu \eqref{sys}. Stav v �ase $t$ je nyn� $I_t$, vstup $u_t$ a $y_{t+1}$ n�hodn� veli�ina podm�n�n� $I_t$ a $u_t$ p�es \eqref{poz}.

D�le p�ejdeme k nov� ztr�tov� funkci, kterou definujeme jako
\begin{equation}
\tilde{g}_t(I_{t+1},u_t)=\E_{x_{t+1}}\left\{g_t(x_{t+1},u_t)|I_t,u_t\right\}, \qquad  t=1,\ldots,N-1,
\end{equation}
kde $x_{t+1}$ se po��t� dle \eqref{sys} a $x_t$ se pova�uje za n�hodnou veli�inu podm�n�nou informa�n�m vektorem $I_t$.

O�ek�vanou ztr�tu podprobl�mu od �asu $t$ do $N$ nyn� m��eme ps�t ve tvaru
\begin{gather}
J_N(I_N)=0,\\
J_t(I_t)=\min_{u_t \in U_t}\E_{w_t,y_{t+1}}\left\{\tilde{g}_t(I_{t+1},u_t)+J_{t+1}(I_{t+1})|I_t,u_t\right\}, \qquad t=0,\ldots,N-1.
\end{gather}

Tato �loha ji� m��e b�t �e�ena pomoc� dynamick�ho programov�n�. P�� �e�en� budeme postupovat od konce ��d�c�ho horizontu a postupn� hledat $J_t(I_t)$. Potom libovoln� $\pi=\{\mu_0,\ldots,\mu_{N-1}\}$, kter� nab�v� minim�ln� o�ek�van� ztr�ty $J_0(y_0)$ je optim�ln� ��d�c� strategie. 

\section{�loha ��zen� syst�mu s nezn�m�mi parametry}
Pokud chceme ��dit syst�m, jeho� v�stup z�vis� na n�jak�m nezn�m�m konstantn�m parametru $\theta$, m��eme vyu��t znalosti �e�en� probl�mu s ne�pln�m pozorov�n�m. Parametr $\theta$ bude reprezentovat stav syst�mu $x_t$, kter� se nyn� v �ase nem�n�.

\subsection{Syst�m s nezn�m�mi parametry, hyperstav}
V t�to �loze m�me v�stupy syst�mu $y_t$ pops�ny jako 
\begin{equation}
\label{poz2}
y_0=h_0(\theta,v_0),\qquad y_{t+1}=h_t(I_t^{(d)},\theta,u_t,v_{t+1}), \qquad t=0,\ldots,N-1,
\end{equation}
kde $I_t^{(d)}=(y_{t:t-d},u_{t-1:t-d})$ a ��slo $d$ se naz�v� ��d modelu.

Ozna�me $T_t$ dostate�nou statistiku pro parametr $\theta$ zalo�enou na informac�ch dostupn�ch  v �ase $t$. Pokud dostate�n� statistika neexistuje, pak bude $T_t$ ozna�ovat n�jakou jej� vhodnou aproximaci. Ozna�me d�le $H_t=(I_t^{(d)},T_t)$ tzv. hyperstav syst�mu.

P�edpokl�dejme d�le, �e o parametru $\theta$ m�me n�jakou apriorn� informaci v podob� hustoty pravd�podobnosti $f(\theta|T_0)$. Aposteriorn� hustotu $f(\theta|T_{t+1})$ z�sk�me pomoc� Bayesova vzorce
\begin{equation}
\label{bay}
f(\theta|T_{t+1}) = \frac{f(y_{t+1} | \theta, I_t^{(d)},u_t) f(\theta| T_t)}
{\int f(y_{t+1} | \theta, I_t^{(d)},u_t) f(\theta| T_t)\mathrm{d}\theta}.
\end{equation}
Rekurzivn� pou�it� vzorce \eqref{bay} pro odhad parametru $\theta$ se naz�v� postup Bayesovsk�ho u�en� \cite{peterka1981bayesian}.

Pro v�voj hyperstavu $H_t$ v �ase m��eme na z�klad� \eqref{bay} ps�t
\begin{equation}
\label{the}
H_{t+1}=f_t(H_t,u_t,y_{t+1}), \qquad  t=1,\ldots,N-1.
\end{equation} 
Rovnici \eqref{the} m��eme podobn� jako \eqref{nep} pova�ovat za rovnici syst�mu \eqref{sys} pro stav $H_t$ a vstup $u_t$ s �umem $y_{t+1}$. 

\subsection{P�evod na �lohu s nep�esn�mi daty}
Ztr�tov� funkce je nyn�
\begin{equation}
\label{los2}
g(y_{1:N},u_{0:N-1})=\sum_{t=0}^{N-1}g_t(y_{t+1},u_t).
\end{equation}

�lohou je nalezen� ��d�c� strategie $\pi=\mu_{0:N-1}$, kter� by minimalizovala o�ek�vanou ztr�tu
\begin{equation}
\label{ilos2}
J_\pi=\E_{\theta_0,v_{0:N-1}}\left\{\sum_{t=0}^{N-1}g_t(y_{t+1},\mu_t(H_t))\right\},
\end{equation}
za apriorn� informace $f(\theta|T_0)$, zn�m�ho rozd�len� �umu $v_t$ a podm�nek \eqref{the} a \eqref{poz2}.

Rovnice \eqref{the}, \eqref{poz2} a \eqref{los2} potom p�edstavuj� �lohu stochastick�ho ��zen� s nep�esn�mi daty.

�lohu op�t �e��me pomoc� dynamick�ho programov�n�, tedy postupnou minimalizac� o�ek�van� ztr�ty od konce ��d�c�ho horizontu
\begin{gather}
J_N(H_N)=0,\\
J_t(H_t)=\min_{u_t \in U_t}\E_{y_{t+1}}\left\{g_t(y_{t+1},u_t)+J_{t+1}(H_{t+1})|H_t,u_t\right\}, \qquad t=0,\ldots,N-1,
\end{gather}
kde $H_{t+1}$ se po��t� dle \eqref{the}. St�edn� hodnota vzhledem k $y_{t+1}$ se po��t� pomoc� \eqref{poz2} a $f(\theta|T_t)$ jako�to aktu�ln�ho odhadu na parametr $\theta$.

\subsection{Kalman�v filtr}
Pokud v rovnic�ch \eqref{poz2} popisuj�c�ch v�stup syst�mu vystupuje aditivn� gaussovk� �um a nezn�m� parametr je separov�n jako line�rn� �len, m��eme vypo��tat konkr�tn� tvar rovnice \eqref{the}, tzv. Kalman�v filtr \cite{kalman1960new}.

Dle p�edpokladu m� v�stup v �ase $t$ tvar
\begin{equation}
\label{sys2}
y_{t+1}=\tilde{h}_t(I_t,u_t)+A_t(I_t,u_t)\theta+v_{t+1},  \qquad t=0,\ldots,N-1.
\end{equation}

kde $\tilde{h}_t(I_t,u_t)$, resp. $A_t(I_t,u_t)$ je zn�m� funkce, resp. matice z�vis�c� na informa�n�m vektoru a aktu�ln� vstupu. D�le p�edpokl�d�me gaussovsk� rozlo�en� �umu $v_{t+1}$ se zn�m�m rozptylem
\begin{equation}
v_{t+1}\sim N(0,Q_{t+1}),
\end{equation}
gaussovsk� rozlo�en� odhadu nezn�m�ho parametru $\theta_t$ a jejich nekorelovanost, tedy
\begin{gather}
\theta_t\sim N(\hat{\theta}_t,P_t),\\
\cov(v_{t+1},\theta_t)=0.
\end{gather}

Dosazen�m do \eqref{bay} se odvod�, �e aposteriorn� hustota pravd�podobnosti $f(\theta|T_{t+1})$ je rovn� gaussovsk�  a jej� parametry $(\hat{\theta}_{t+1}, P_{t+1})$ spl�uj� rovnice
\begin{gather}
K_t=P_tA_t(A_t^TP_tA_t+Q_t)^{-1},\\
\hat{\theta}_{t+1}=\hat{\theta}_t+K_t(y_{t+1}-\tilde{h}_t(I_t,u_t)-A_t\hat{\theta}_t),\\
P_{t+1}=(I-K_tA_t)P_t.
\end{gather}
Odvozen� lze nal�zt v \cite{peterka1981bayesian}.

Alternativn� odvozen� bez po�adavku gaussovsk�ho �umu je mo�n� prov�st za p�edpokladu, �e odhadovac� proceduru st�edn� hodnoty $\hat{\theta}_{t+1}$  nezn�m�ho parametru $\theta$ budeme hledat ve tvaru line�rn� opravy st�edn� hodnoty $\hat{\theta}_t$ �m�rn� neur�itosti v syst�mu. Tedy �e
\begin{equation}
\label{opr}
\hat{\theta}_{t+1}=\hat{\theta}_t+K_t(y_{t+1}-\E_{\theta,v_t}y_{t+1}),
\end{equation}
kde $K_t$ je nezn�m� matice, kterou ur��me z po�adavku minimalizace v�sledn� matice rozptylu $P_{t+1}$. Pro �um $v_t$  budeme po�adovat nulovou st�edn� hodnotu a existenci druh�ho momentu. Matici rozptylu ozna��me op�t $Q_t$.

Pro matici $P_{t+1}$ jako funkci $K_t$ m��eme ps�t
\begin{equation}
P_{t+1}(K_t)=\E[(\theta-\hat{\theta}_{t+1})(\theta-\hat{\theta}_{t+1})^T].
\end{equation}

Dosazen�m za $\hat{\theta}_{t+1}$ z \eqref{opr} a za $y_t$ ze \eqref{sys2} a �pravou dostaneme (pro libovolnou matici $B$ budeme pro lep�� �itelnost nam�sto $BB^T$ ps�t zkr�cen� $B^2$)
\begin{align*}
P_{t+1}(K_t)&=\E_{\theta,v_t}\left\{(\theta-\hat{\theta}_t-K_t(y_{t+1}-\tilde{h}_t(I_t,u_t)-A_t\hat{\theta}_t))^2\right\} \\
&=\E_{\theta,v_t}\left\{((I-K_tA_t)(\theta-\hat{\theta}_t)-K_tv_t)^2\right\} \\
&=(I-K_tA_t)\E\left\{(\theta-\hat{\theta_t})^2\right\}(I-K_tA_t)^T-(I-K_tA_t)\cov(\theta,v_t)K_t^T-\\
&-K_t\cov(\theta,v_t)(I-K_tA_t)^T+K_t\E\left\{v_t^2\right\}K_t^T.
\end{align*}

Pou�it�m definice $P_t$, $Q_t$ a p�edpokladu $\cov(\theta,v_t)=0$ m�me
\begin{equation}
\label{Pt+1}
P_{t+1}(K_t)=(I-K_tA_t)P_t(I-K_tA_t)^T+K_tQ_tK_t^T.
\end{equation}
Proto�e po�adujeme minim�ln� rozptyl odhadu $\hat{\theta}_{t+1}$, ur��me $K_t$ z rovnice
\begin{equation}
\frac{\partial \tr( P_t)}{\partial K_t}=0.
\end{equation}

K proveden� derivace pou�ijeme vzorce
\begin{gather}
\frac{\partial\tr(MXN)}{\partial X}=M^TN^T,\\
\frac{\partial\tr(MXNX^TO)}{\partial X}=M^TO^TXN+OMXN,
\end{gather}
kde $M,N$ a $O$ jsou konstantn� matice.

T�m z�sk�me line�rn� rovnici pro $K_t$ tvaru
\begin{equation}
-P_t^TA_t-P_tA_t+K_tA_tP_tK_t+K_tA_t^TP_tK_t+2Q_tK_t=0,
\end{equation}
kter� m� �e�en�
\begin{equation}
\label{Kt}
K_t=P_tA_t(A_t^TP_tA_t+Q_t)^{-1}.
\end{equation}
Dosazen�m \eqref{Kt} do \eqref{Pt+1} po �prav� dostaneme
\begin{equation}
\label{Pt+12}
P_{t+1}=(I-K_tA_t)P_t
\end{equation}
Rovnice \eqref{opr}, \eqref{Kt} a \eqref{Pt+12} p�edstavuj� rovnice Kalmanova filtru.